ملخص تقني: نماذج الجذب (Attractor Models) للغة والاستدلال

بيان المشكلة

تهيمن نماذج المحولات (Transformers) ذات التغذية الأمامية على العصر الحديث لنمذجة اللغة، وهي نماذج تنتج الرموز (tokens) عبر تمريرة حسابية واحدة. ورغم نجاح هذه البنية، إلا أنها تثير سؤالاً جوهرياً: هل يجب أن يكون كل رمز نتاج عملية حسابية واحدة، أم يجب أن يكون النموذج قادراً على تحسين توقعاته الكامنة قبل الالتزام بمخرج نهائي؟

تواجه النهج الحالية لـ "التفكير الكامن" أو التحسين التكراري، مثل المحولات الحلقية (looped Transformers) والبنيات المتكررة (recurrent architectures)، عقبات كبيرة:

1. عدم استقرار التدريب: تعاني الشبكات المتكررة غالباً من ديناميكيات تدريب غير مستقرة وتتطلب تقنيات تثبيت دقيقة.
2. تكاليف الذاكرة والحوسبة: تقوم النماذج الحلقية القياسية بفك التكرار (unrolling) لعدد ثابت من الخطوات ($T$). يتسبب هذا في جعل ذاكرة التدريب تتوسع خطياً مع $T$، ويربط عمق الاستنتاج بعمق التدريب. فإذا تطلب الاستنتاج حلقات أكثر مما تم التدريب عليه، غالباً ما يتدهور الأداء.
3. مشكلات التوسع: تظهر في نماذج الاستدلال المتكررة الصغيرة المتخصصة ظاهرة "الأقل هو الأكثر"، حيث يؤدي زيادة حجم النموذج إلى انهيار الأداء. وعلى العكس من ذلك، يمكن أن تكون النماذج المتكررة واسعة النطاق مكلفة للغاية، حيث تستهلك حوسبة تضاهي نماذج feed-forward التي تفوقها حجماً بعشر مرات.

التحدي الجوهري يكمن في تصميم بنية تدعم التحسين التكراري (العودية/recurrence) مع بقائها مستقرة، وفعالة من حيث الذاكرة، وقابلة للتوسع عبر كل من نمذجة اللغة واسعة النطاق ومهام الاستدلال ذات البيانات المحدودة.

المنهجية: نماذج الجذب (Attractor Models)

يقدم المؤلفون نماذج الجذب، وهي بنية عامة الغرض تتعامل مع التحسين الكامن كمسألة نقطة ثابتة (fixed-point problem) في فضاء تضمين المخرجات، بدلاً من كونها مجرد فك تكرار لخطوات عودية محددة. تتكون البنية من وحدتين رئيسيتين:

1. وحدة العمود الفقري (Backbone Module): شبكة غير متكررة (عادةً ما تكون Transformer) تقوم برسم خرائط لتضمينات المدخلات إلى مقترح أولي لتضمين المخرجات، $\tilde{y}_0 = T_{\theta_b}(E(x))$. وبخلاف النماذج الحلقية القياسية التي تبدأ التكرار من الصفر أو من الضجيج، فإن نموذج الجذب يقوم بـ "بدء دافئ" (warm-starts) لعملية التحسين باستخدام توقع متماسك يعتمد على المدخلات.
2. وحدة الجذب (Attractor Module): شبكة متكررة منفصلة وذات أوزان مشتركة (weight-tied)، $T_{\theta_a}$، تعمل على تحسين المقترح الأولي. وبدلاً من العمل لعدد ثابت من الخطوات، يسعى نموذج الجذب لإيجاد النقطة الثابتة $\tilde{y}^*$ بحيث:
   $$\tilde{y}^* = T_{\theta_a}(\tilde{y}^*, \tilde{y}_0)$$
   ويتم صياغة ذلك كإيجاد جذر دالة البواقي (residual function): $A_{\theta_a}(\tilde{y}, \tilde{y}_0) = T_{\theta_a}(\tilde{y}, \tilde{y}_0) - \tilde{y} = 0$.

الآليات التقنية الرئيسية:

• التفاضل الضمني (Implicit Differentiation): يستخدم التدريب نظرية الدوال الضمنية للتفاضل عبر حل النقطة الثابتة. يتم حساب الاشتقاق كـ $\frac{\partial L}{\partial \theta} = u^\top \frac{\partial T_{\theta_a}}{\partial \theta}$، حيث $u = (I - J_{\tilde{y}}^\top)^{-1} v$.
• التقريب بخطوة واحدة: للحفاظ على كفاءة التدريب، يستخدم المؤلفون تقريباً بخطوة واحدة ($u \approx v$) للممر الخلفي (backward pass)، مما يتجنب الحل الخطي المكلف المطلوب للتفاضل الضمني الكامل. وهذا يحافظ على ذاكرة التدريب ثابتة بغض النظر عن عدد تكرارات الحل.
• التقارب التكيفي: عدد خطوات التحسين ليس ثابتاً بل يتم تحديده عبر حد تقارب $\epsilon$ (على سبيل المثال، $\| \Delta \tilde{y} \| < \epsilon$) أو ميزانية قصوى للتكرار. يسمح هذا للنموذج بالتوقف عن التحسين بمجرد استقرار الحل.
• الحقن المستمر (Persistent Injection): يتم حقن المقترح الأولي $\tilde{y}_0$ باستمرار في وحدة الجذب عند كل خطوة تحسين (عبر الجمع أو الربط) لضمان بقاء النقطة الثابتة معتمدة على المدخلات وعدم انهيارها إلى حالة مستقلة عن المقترح.

المساهمات الرئيسية

1. تدريب مستقر وثابت الذاكرة: من خلال حل التوازن بدلاً من فك الحلقة، تحقق نماذج الجذب استخداماً ثابتاً للذاكرة أثناء التدريب فيما يتعلق بخطوات التكرار. هذا يفصل العمق الفعال عن تكاليف الذاكرة.
2. الاستيعاب الداخلي للتوازن (Equilibrium Internalization): ظاهرة جديدة لوحظت أثناء التدريب حيث تتعلم وحدة العمود الفقري إنتاج مقترح أولي $\tilde{y}_0$ يكون بالفعل قريباً من التوازن النهائي $\tilde{y}^*$. بناءً على ذلك، يصبح الحل التكراري غير ضروري بشكل متزايد في وقت الاستنتاج؛ حيث يقوم النموذج فعلياً بـ "التقطير الذاتي" لعملية التحسين داخل التوقع الأولي.
3. الأداء في الأنظمة المزدوجة: تُظهر البنية أداءً قوياً في نظامين مختلفين:
   • نمذجة اللغة واسعة النطاق: التفوق على نماذج Transformer المطابقة في المعلمات ونماذج Parcae الحلقية المستقرة من حيث الـ perplexity ودقة المهام النهائية، مع استخدام قدر أقل من حوسبة التدريب.
   • الاستدلال الصعب مع النماذج الصغيرة: تحقيق نتائج رائدة (SOTA) في المهام الخوارزمية الصعبة (Sudoku-Extreme، Maze-Hard) باستخدام عدد ضئيل جداً من المعلمات (27 مليون) وبيانات محدودة، حيث تفشل نماذج LLM الرائدة والنماذج المتكررة المتخصصة.

النتائج التجريبية

نمذجة اللغة واسعة النطاق

تم التقييم على FineWeb-Edu بمقاييس 140 مليون، 370 مليون، و770 مليون معلمة:

• تحسين باريتو (Pareto Improvement): تحقق نماذج الجذب قيم perplexity أقل ودقة أعلى في المهام النهائية مقارنة بنماذج Transformer المماثلة في عدد المعلمات ونموذج Parcae الحلقي، مع استهلاك 25-31% أقل من عمليات حساب الفاصل الزمني (FLOPs) أثناء التدريب.
• كفاءة التوسع: يتفوق نموذج الجذب بحجم 770 مليون معلمة على نموذج Transformer قياسي بحجم 1.3 مليار معلمة تم تدريبه على ضعف كمية الرموز.
• كفاءة الذاكرة: يظل ذروة ذاكرة التدريب ثابتاً مع زيادة عدد الحلقات، بينما تنمو ذاكرة Parcae خطياً.

مهام الاستدلال الصعبة

تم التقييم على Sudoku-Extreme وMaze-Hard باستخدام حوالي 1,000 مثال تدريبي:

• تفوق النماذج الصغيرة: حقق نموذج الجذب بحجم 27 مليون معلمة دقة 91.4% في Sudoku-Extreme و 93.1% في Maze-Hard.
• فشل النماذج المرجعية: في هذا النظام، تفشل النماذج القياسية (مثل DeepSeek R1، Claude 3.7، o3-mini) والنماذج المتكررة المتخصصة (TRM) تماماً (دقة 0%) أو تنهار عند زيادة الحجم.
• سلوك التوسع: على عكس المبررات التكرارية التي يتدهور أداؤها مع الحجم، تتحسن نماذج الجذب مع زيادة عدد المعلمات من 7 ملايين إلى 27 مليوناً.

الاستيعاب الداخلي للتوازن

• كفاءة الاستنتاج: في وقت الاستنتاج، غالباً ما يتطلب النموذج صفر أو تكرار واحد فقط ($T=0$ أو $T=1$) للوصول إلى ذروة الأداء لأن المقترح الأولي للعمود الفقري يكون بالفعل قريباً من النقطة الثابتة.
• التقارب: ينخفض عدد تكرارات الحل المطلوب أثناء التدريب بسرعة إلى الحد الأدنى، على عكس نماذج DEQs التي غالباً ما تتطلب تكرارات متزايدة مع تقدم التدريب.

الأهمية والادعاءات

يزعم البحث أن نماذج الجذب تجعل التحسين التكراري قابلاً للتوسع من خلال تحويل التكرار إلى عملية يمكن للنموذج تعلم استيعابها داخلياً. ومن خلال صياغة التحسين كمسألة نقطة ثابتة في فضاء تضمين المخرجات وبدء العملية بمقترح ذي معنى، تتغلب هذه البنية على اختناقات الاستقرار والذاكرة التي تواجهها النماذج الحلقية التقليدية.

يؤكد المؤلفون أن هذا النهج يسم يسمح بـ:

• العمق التكيفي: يتم تخصيص الحوسبة بناءً على احتياجات التقارب بدلاً من معامل ثابت (hyperparameter).
• كفاءة التدريب: ذاكرة ثابتة وعدد أقل من عمليات FLOPs مقارنة بالفك الصريح للحلقات.
• المتانة: تضمن ظاهرة "الاستيعاب الداخلي للتوازن" التقاط فوائد الاستدلال التكراري أثناء التدريب دون تحمل تكاليف الحوسبة التسلسلية أثناء الاستنتاج.

يشير العمل إلى أن التكرار لا يجب أن يكون عبئاً؛ فعند صياغته كمسألة جذب، يمكن أن يعمل كآلية مستقرة وفعالة لكل من نمذجة اللغة والاستدلال المعقد، حتى في الأنظمة ذات المعلمات المحدودة.