🤖 machine learning

Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation

يقدم "أوروبوروس" (Ouroboros) نظاماً ديناميكياً لتوليد الأوزان للمحولات التكرارية يستخدم شبكة تحكم فائقة (Controller hypernetwork) مشروطة بالمدخلات لتعديل قواعد "لورا" (LoRA) المجمدة عند كل خطوة تكرار، مما يقلل بشكل كبير من خسارة التدريب ويستعيد فجوات الأداء في البنى المضغوطة مع تسليط الضوء على الدور الحاسم للتكرار المبوّب والقيود الحالية للتعميم على البيانات غير المحتفظ بها.

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ناطحة سحاب رائعة مكونة من 36 طابقاً (نموذج ذكاء اصطنا-عي ضخم) يمكنها حل المشكلات المعقدة. لكن بناء وصيانة مبنى مكون من 36 طابقاً أمر مكلف للغاية. أنت تريد تقليص حجمه إلى 17 طابقاً فقط لتوفير المال، لكنك قلق من أنه لن يعمل بنفس الكفاءة لأنه فقد نصف ارتفاعه.

عادةً، عندما تقلص حجم مبنى، فإنك تقوم ببساطة بإزالة الطوابق الوسطى. المشكلة هي أن الطوابق المتبقية ستقوم بنفس الو وظيفة مراراً وتكراراً، مما يجعل المبنى غير فعال.

نظام OUROBOROS هو نظام جديد يحل هذه المشكلة عن طريق تحويل المبنى المكون من 17 طابقاً إلى آلة "حلقة زمنية". بدلاً من امتلاك 17 طابقاً مختلفاً، لديك طابق واحد خاص تزوره 17 مرة متتالية. ولكن هنا تكمن الخدعة السحرية: في كل مرة تزور فيها هذا الطابق، تتغير الغرفة قليلاً لتناسب المهمة المحددة التي تقوم بها.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. مصعد "الحلقة الزمنية" (المحولات التكرارية - Recursive Transformers)

عادةً، يقرأ الذكاء الاصطناعي جملة من خلال تمريرها عبر 36 طبقة مختلفة من "التفكير".

الطريقة القديمة: اقطع المبنى إلى النصف. ستفقد 19 طابقاً من قوة التفكير.
طريقة OUROBOROS: احتفظ بالطوابق الثمانية العليا (المقدمة - Prelude) والطوابقت الثمانية السفلى (الخاتمة - Coda). في المنتصف، بدلاً من امتلاك 19 طابقاً مختلفاً، لديك طابق واحد وحيد تزوره 17 مرة.
المشكلة: إذا زرت نفس الغرفة 17 مرة دون تغيير أي شيء، فستحصل على نفس النتيجة 17 مرة. الأمر يشبه قراءة نفس الصفحة من كتاب مراراً وتكراراً؛ لن تتعلم أي شيء جديد.

2. الغرفة "المتحولة" (المتحكم - The Controller)

هذا هو الابتكار الجوهري. في OUROBOROS، الطابق الأوسط الوحيد ليس ثابتاً. لديه مساعد صغير وذكي جداً يسمى المتحكم (Controller).

كيف يعمل: في كل مرة يدخل فيها الذكاء الاصطنا-عي إلى هذا الطابق، ينظر المتحكم إلى ما "فكر" فيه الذكاء الاصطنا-عي حتى الآن (الحالة الخفية).
السحر: بناءً على ما يراه، يقوم المتحكم فوراً بإعادة ترتيب الأثاث في الغرفة. هو لا يبني جدراناً جديدة؛ بل يقوم فقط بتحريك الأثاث الموجود لإنشاء إعداد مثالي لهذه اللحظة المحددة.
التشبيه: تخيل طباخاً في مطبخ.
- الذكاء الاصطنا-عي الثابت: لدى الطباخ وصفة ثابتة. سواء طلبت شريحة لحم أو سلطة، فإنه يقطع البصل بنفس الطريقة في كل مرة.
- OUROBOROS: ينظر الطباخ إلى طلبك. إذا أردت شريحة لحم، يمسك بالسكين الثقيلة. إذا أردت سلطة، يمسك بالسكين الرقيقة. المطبخ (الأوزان/Weights) هو نفسه، لكن الأدوات والأفعال تتغير فوراً بناءً على ما تحتاجه.

3. "مرساة الذاكرة" (SVD-Initialized LoRA)

قد تتساءل: "إذا كانت الغرفة تستمر في التغير، فكيف تتذكر المعرفة التي فقدتها عندما قطعنا المبنى؟"

يأخذ النظام "لقطة" للطوابق الـ 19 المفقودة قبل إزالتها. يقوم بتفكيك تلك اللقطة إلى أهم اتجاهاتها (مثل خريطة لأكثر الطرق حيوية).
هذه "الطرق" مثبتة في مكانها. لا يحتاج المتحكم إلى تعلم أين توجد الطرق؛ بل يحتاج فقط إلى تعلم مقدار حركة المرور التي يجب إرسالها عبر كل طريق.
وهذا يعني أن النظام يتعلم بسرعة كبيرة لأنه لا يعيد اختراع العجلة، بل يقوم فقط بتوجيه العجلة الموجودة بالفعل.

4. "مكبح الأمان" (التكرار المبوّب - Gated Recurrence)

عندما تكرر عملية ما 17 مرة، هناك خطر من أن يرتبك الذكاء الاصطنا-عي أو "ينحرف" عن المسار (مثل سيارة تدور في دوائر).

يستخدم OUROBOROS "بوابة" تعمل كمكبح أمان. عندما يعود الذكما الاصطنا-عي في الحلقة، فإنه يحتفظ بحوالي 88% من أفكاره السابقة ويسمح فقط بـ 12% من التغييرات الجديدة.
هذا يضمن أن الذكاء الاصطنا-عي لا ينسى أين بدأ بينما يحاول التفكير بعمق أكبر. الأمر يشبه أخذ نفس عميق والحفاظ على توازنك قبل اتخاذ خطوة جديدة.

النتائج: ماذا وجدوا؟

إنه يعمل بشكل رائع (على بيانات التدريب): عند اختباره على البيانات التي تدرّب عليها، استعاد OUROBOROS 51% من الأداء الذي فُقد بسبب قطع نصف النموذج. كان أفضل بكثير من مجرد وجود حلقة ثابتة وغير متغيرة.
مفاجأة "المرور لمرة واحدة": وجدوا أنه حتى لو زرت الحلقة مرة واحدة فقط (العمق 1)، فإن النظام يعمل بشكل جيد تقريباً مثل زيارته 16 مرة. هذا أمر هائل لأنه يعني أنه يمكنك الحصول على أداء عالٍ دون الانتظار لفترة طويلة حتى "يفكر" الذكاء الاصطنا-عي.
العيب (التعميم): بينما يعمل النظام بشكل مثالي على نوع النصوص التي درسها، فإنه يعاني قليلاً عندما يُطلب منه قراءة أنواع جديدة من النصوص التي لم يرها من قبل.
- لماذا؟ لأن "الطوابق الثمانية السفلية" (الخاتمة - Coda) مجمدة. وهي معتادة على أسلوب التفكير القديم. عندما يغير المتحكم أسلوب التفكير في المنتصف، تصاب الطوابق السفلية بالارتباك.
- الحل: يقترح المؤلفون أنه إذا قاموا بـ "إلغاء تجميد" الطوابق السفلية للسماح لها بالتكيف مع الأسلوب الجديد، فمن المرجح أن يعمل النظام بشكل مثالي أيضاً على النصوص الجديدة.

الملخص

OUROBOROS يشبه أخذ مكتبة ضخمة ومكلفة وتقليص حجمها. بدلاً من رمي نصف الكتب، فإنه يحتفظ بـ "غرفة سحرية واحدة" حيث تعيد الكتب ترتيب نفسها فوراً بناءً على ما تبحث عنه. إنها طريقة لجعل نماذج الذكاء الاصطنا-عي أصغر وأرخص دون فقدان قدرتها على التفكير بعمق، بشر تقديم قدر أكبر قلي من المرونة لقسم "المخرجات" النهائي في الدماغ ليتكيف.

إليك ملخص تقني مفصل لورقة البحث: "OUROBOROS: توليد الأوزان الديناميكي للمحولات التكرارية عبر تعديل LoRA المشروط بالمدخلات."

1. بيان المشكلة

تهدف المحولات التكرارية (أو الحلقية) إلى تقليل التكلفة الحسابية وعدد المعلمات لنماذج اللغات الكبيرة (LLMs) من خلال إعادة استخدام كتلة أوزان مشتركة واحدة عبر عدة خطوات عمق بدلاً من تكديس طبقات فريدة. ومع ذلك، يعاني هذا النهج من قصور جوهري: النمطية (Uniformity).

المشكلة الجوهرية: في النماذج التكرارية القياسية، تُطبق نفس الأوزان في كل خطوة. وبناءً على ذلك، لا يمكن للنموذج تنفيذ عمليات متميزة عند أعماق مختلفة (على سبيل المثال، الطبقة 5 مقابل الطبقة 33 في النموذج القياسي).
القيود على الحلول الحالية: تفشل المحاولات السابقة لمعالجة ذلك، مثل استخدام محولات (adapters) ثابتة لكل خطوة أو تقسيمات "التمهيد/التكرار/الخاتمة" (Prelude/Recurrent/Coda) المحددة مسبقاً، لأن التعديلات تكون ثابتة وقت التدريب. فهي لا تتكيف مع المدخلات المحددة التي يتم معالجتها (على سبيل المثال، المسألة الرياضية تتلقى نفس التعديل الثابت الذي تتلقاه القصيدة).

2. المنهجية: نظام OUROBOROS

يعالج نظام OUROBOROS مشكلة النمطية عبر تقديم آلية توليد أوزان ديناميكية مشروطة بالمدخلات. يقوم النظام بتعديل محول مدرب مسبقاً (تحديداً Qwen2.5-3B) إلى بنية مكونة من ثلاثة أجزاء:

أ. تقسيم البنية

يتم تقسيم النموذج إلى:

التمهيد (Prelude) (مجمد): الطبقات الثمان الأولى التي تقوم بخرائط تضمينات الرموز (token embeddings) إلى فضاء استدلال كامن.
الكتلة التكرارية (Recurrent Block) (حلقية): يتم تكرار طبقة محول واحدة (كانت في الأصل الطبقة 18) عدد $N$ من المرات. هنا يحدث التعديل الديناميكي.
الخاتمة (Coda) (مجمد): الطبقات الثمان الأخيرة التي تقوم بفك تشفير الحالة الكامنة إلى تنبؤات الرمز التالي.

ب. الآليات الجوهرية

يعتمد النظام على ثلاثة مكونات متآزرة لتمكين التكرار العميق والمستقر:

قواعد LoRA الثابتة بتهيئة SVD:
- بدلاً من تعلم أوزان جديدة من الصفر، يحسب النظام الأوزان المتبقية ( $\Delta$ ) بين الطبقات التي تمت إزالتها والطبقة التكرارية.
- يتم إجراء تحليل القيم المفردة المبتور (Truncated SVD) على هذه المتبقيات لاستخراج الاتجاهات الرئيسية (مصفوفات $A$ و $B$ ).
- هذه القواعد تكون مجمدة. وهي تلتقط "المعرفة" الخاصة بالطبقات المزالة دون إضافة معلمات قابلة للتدريب.
الشبكة المتحكمة المدمجة (Compact Controller Hypernetwork):
- هذا هو المساهمة المبتكرة. شبكة عصبية صغيرة (0.7 مليون معلمة) تراقب متوسط الحالة المخفية المجمعة (mean-pooled hidden state) و مؤشر الخطوة.
- تقوم ديناميكياً بتوليد متجه تعديل قطري ( $\delta$ ) لقواعد LoRA.
- يتم حساب تحديث الوزن كالتالي: $\Delta W = \alpha \cdot B \cdot \text{diag}(\delta) \cdot A$ .
- الأهمية: يقرر "المتحكم" (Controller) مقدار تفعيل الاتجاهات المحسوبة مسبقاً بناءً على المدخلات المحددة والخطوة الحالية، مما يجعل خطوة التكرار تعتمد على المدخلات.
التكرار المبوّب (Gated Recurrence) وتطبيع الطبقة لكل خطوة (Per-Step LayerNorm):
- التكرار المبوّب: لمنع انحراف التمثيل ونمو التباين غير المحدود في الحلقات العميقة، يتم إدخال بوابة متعلمة: $h^{(t)} = g^{(t)} \odot h^{(t)}_{new} + (1 - g^{(t)}) \odot h^{(t-1)}$ .
- تم تهيئة البوابة بانحياز قدره $-2.0$، مما يؤدي إلى احتفاظ بنسبة 88% بالحالة المخفية السابقة عند بدء التشغيل. وهذا يخلق "طريقاً سريعاً للتدرج" (gradient highway) يسمح للنموذج بالتدريب باستقرار.
- تطبيع الطبقة لكل خطوة: تُستخدم طبقات RMSNorm فريدة لكل خطوة للسماح لأعماق التكرار المختلفة بالعمل عند مقاييس مختلفة.

3. المساهمات الرئيسية

التعديل المشروط بالمدخلات: شبكة متحكمة (Controller hypernetwork) تولد أوزان LoRA ديناميكية بناءً على الحالة المخفية، مما يحل مشكلة "النمطية" في المحولات التكرارية.
قواعد SVD المهيأة: طريقة لالتقاط معرفة الطبقات المزالة عبر قواعد SVD مجمدة، مما يتطلب من المتحكم تعلم المقادير فقط، وليس الاتجاهات.
التحقق التجريبي من التبويب (Gating): أثبت أن عدم استخدام آلية التكرار المبوّب (المهيأة للاحتفاظ العالي) يؤدي إلى تدهور أداء النموذج بشكل صارخ.
كفاءة المعلمات: يضيف النظام بأكمله 9.2 مليون معلمة قابلة للتدريب فقط (0.6% من النموذج الأساسي) مع استعادة أداء كبير.
المصدر المفتوح: تم إصدار التنفيذ الكامل مع اختبارات مكثفة.

4. النتائج التجريبية

أُجريت التجارب على Qwen2.5-3B (36 طبقة)، مع تقليصها إلى عمق فعال قدره 17 طبقة (8 تمهيد + 1 تكرار + 8 خاتمة).

مكاسب الأداء: خفض OUROBOROS خسارة التدريب بنسبة 43.4% مقارنة بالنموذج المرجعي المكون من 17 طبقة غير المعدل. وقد استعاد 51.3% من الفجوة في الأداء بين نموذج الـ 17 طبقة والنموذج الكامل ذي الـ 36 طبقة.
المتحكم مقابل LoRA الثابت:
- تفوق المتحكم المشروط بالمدخلات بشكل كبير على LoRA الثابت لكل خطوة (حيث تكون الأوزان قابلة للتعلم ولكنها ثابتة لكل خطوة).
- عند العمق 1، حقق المتحكم تحسناً بمقدار 1.44 نقطة خسارة عن LoFA الثابت.
- حافظ المتحكم على تفوقه عبر جميع الأعماق المختبرة (1، 4، 8، 16) والرتب (8، 32، 64).
متانة المعلمات الفائقة (Hyperparameter Robustness): تقارب النظام نحو خسارة متطابقة تقريباً (~5.08) عبر مختلف الأعماق والرتب ومعدلات التعلم، مما يشير إلى وجود جاذب استقرار (optimization attractor) مستقر.
ضرورة التبويب (Gating): أدى إزالة آلية التكرار المبوّب إلى زيادة الخسارة بمقدار 0.20 نقطة بالنسبة للنموذج الأساسي، مما يؤكد أن التبويب ضروري للاستقرار.

5. القيود والتعميم

فجوة التعميم للبيانات المحجوزة: بينما حسن المتحكم بشكل كبير خسارة التدريب داخل التوزيع (in-distribution)، فإنه لم يحسن الأداء على النصوص المحجوزة (خارج التوزيع/out-of-distribution).
السبب الجذري: طبقات الخاتمة (Coda) مجمدة. هي تتوقع توزيعاً معيناً للحالات المخفية من الكتلة التكرارية. تعديل المتحكم يغير توزيع الحالة المخفية لتحسين بيانات التدريب (FineWeb-edu)، مما يسبب عدم تطابق في التوزيع عند معالجة نصوص غير مرئية.
ثبات العمق: حقق النموذج أداءً مماثلاً عند العمق 1 والعمق 16. هذا يشير إلى أن التكرار المبوّب (احتفاظ بنسبة 88%) يقلل من مساهمة الخطوات الإضافية، مما يعني أن قدرة "التفكير الأعمق" لا تُستغل بالكامل في الإعداد الحالي.

6. الأهمية والعمل المستقبلي

الأهمية: يثبت OUROBOROS أن توليد الأوزان الديناميكي المعتمد على المدخلات يتفوق على التكيف الثابت في المحولات التكرارية. إنه يقدم مساراً لضغط نماذج LLM مع الاحتفاظ بقدرات الاستدلال المعتمدة على العمق، باستخدام ميزانية معلمات ضئيلة جداً.
الاتجاهات المستقبلية:
1. تكييف الخاتمة (Coda Adaptation): إلغاء تجميد الطبقات الأخيرة أو إضافة محولات للسماح لطبقة المخرجات بالتكيف مع الحالات المخفية المعدلة.
2. التوقف التكيفي (Adaptive Halting): تدريب النموذج على التوقف عن التكرار مبكراً للمدخلات البسيطة والتكرار بعمق أكبر للمدخلات المعقدة.
3. التوسع (Scaling): اختبار البنية على نماذج أكبر (7B, 70B) لمعرفة ما إذا كانت الفوائد تتوسع مع حجم النموذج.

باخت ملخص، يمثل OUROBOROS خطوة هامة للأمام في بنية LLM الفعالة من خلال الجمع بين تهيئة SVD، والتكرار المبوّب، والشبكة الفائقة (Hypernetwork) لتعديل الأوزان الديناميكي لإنشاء محول تكراري يمكنه "التفكير" بشكل مختلف في كل خطوة بناءً على المدخلات.