ملخص تقني: استقرار بسيط للحلقات عبر المحول كامل الحلقات (Fully Looped Transformer)

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة مذهلة على التعميم، فإن نموذج التوسع التقليدي القائم على زيادة حجم النموذج يواجه قيوداً متزايدة بسبب الإمداد المحدود من النصوص العامة عالية الجودة. وتعتبر النهج البديلة، مثل توسيع نطاق وقت الاختبار عبر الاستنتاج المتسلسل لسلسلة الأفكى (Chain-of-Thought)، مكلفة غالباً من حيث طول السياق وتكاليف الاستدلال.

يوفر المحول ذو الحلقات (Looped Transformer - LT) بديلاً كفؤاً من حيث المعلمات عن طريق إعادة استخدام بلوكات هيكل المحول الأساسية بشكل تكراري، مما يستبدل العمليات الحسابية الإضافية بتحسين الأداء دون زيادة في عدد المعلمات. ومع ذلك، يعاني الـ LT من عدم استقرار كبير في التدريب مع زيادة عدد دورات الحلقة. وقد حدد المؤلفون أن مجرد زيادة دورات الحلقة يؤدي غالباً إلى انهيار التدريب، مما يمنع النموذج من الاستفادة بفعالية من ميزانيات الحوسبة العميقة.

تشخيص عدم الاستقرار

من خلال تحليل ديناميكيات التدريب المبكرة (أول 2000 خطوة للمُحسِّن/optimizer)، شخص المؤلفون ظاهرتين محددتين مسؤولتين عن عدم استقرار الـ LT:

1. تذبذب التدرج (Gradient Oscillation): خلال التدريب المبكر، تُظهر التدرجات تذبذبات قوية. ويُعزى ذلك إلى تراكم التدرجات عبر البلوكات ذات الحلقة المشتركة، وهو ما يشبه التحديات التي تواجهها الشبكات العصبية المتكررة (RNNs) عند تدريبها باستخدام الانتشار العكسي عبر الزمن (BPTT).
2. انفجار المتبقي (Residual Explosion): مع زيادة دورات الحلقة، ينمو معيار حالات المتبقي بسرعة. ولأن النموذج يقوم بفرد الهيكل ثابت العمق إلى رسم بياني حسابي أكثر عمقاً، فإن حتى الزيادات الطفيفة في كل خطوة تتراكم لتصبح انفجاراً في معايير المتبقي، مما يعيق عملية التحسين.

المنهجية: المحول كامل الحلقات (Fully Looped Transformer - FLT)

لمعالجة هذه المشكلات دون إدخال معلمات قابلة للتعلم إضافية أو عبء حوسبي زائد، اقترح المؤلفون المحول كامل الحلقات (FLT). يتضمن هذا الهيكل تعديلين لا يتطلبان معلمات جديدة:

1. بنية الحلقات الكاملة (Fully Looped Architecture - FLA)

في نظام الـ LT الأصلي، يتم تمرير مخرجات الدورة السابقة فقط إلى الطبقة الأولى من الدورة التالية. وهذا يجبر الطبقات الأكثر عمقاً على الوصول إلى الحالات المتكررة عبر سلسلة طويلة من التحويلات.

• الآلية: تقوم الـ FLA بتوزيع الإشارة المتكررة من دورة الحلقة السابقة ($h^{(t-1)}_L$) على كل طبقة في الدورة الحالية ($t$).
• الصياغة: لكل طبقة $l$، يُعرف التحديث كالتالي: $h^{(t)}_l = f^{(l)}_\theta(h^{(t)}_{l-1}, h^{(t-1)}_L)$.
• الهدف: يحاكي هذا اتصالات الاختصار الموجودة في شبكات المتبقي العميقة، مما يخفف من صعوبات التحسين المرتبطة بالعمق المتكرر الفعلي ويقلل من انفجار المتبقي.

2. حقن الانتباه (Attention Injection - AI)

لكبح تذبذب التدرج، قدم المؤلفون آلية للتحكم في تدفق الإشارة المتكررة، مستوحاة من آليات البوابات المستخدمة في نماذج LSTM وGRU.

• الآقية: بدلاً من إضافة الحالة المخفية السابقة مباشرة إلى تدفق المتبقي، تعيد الـ AI استخدام وحدة الانتباه الذاتي (Self-Attention) الحالية ككتلة انتباه متصالب (Cross-Attention).
• التنفيذ:
  • في الحلقة الأولى ($t=1$)، يُستخدم الانتباه الذاتي القياسي.
  • في الدورات اللاحقة ($t>1$)، تُستخدم الحالة المخفية من الدورة السابقة ($h^{(t-1)}_L$) بصفتها الاستعلام (Query - Q).
  • تعمل مخرجات الطبقة الحالية ($z^{(t)}_l$) كمثّل لـ المفتاح (Key - K) والقيمة (Value - V).
  • الصيغة: $a^{(t)}_l = \text{Attention}(Q = W_Q h^{(t-1)}_L, K = W_K z^{(t)}_l, V = W_V z^{(t)}_l)$.
• الهدف: من خلال توجيه الإشارة المتكررة عبر الاستعلام، تصبح الإشارة المحقونة مزيجاً طبيعياً (normalized mixture) من ناقلات القيم الحالية (يتم التحكم فيه بواسطة Softmax) وليس مجرد تضخيم مباشر لحالة المتبقي السابقة. يوفر هذا آلية خلط مضبوطة تحد من تذبذب التدرج.

المساهمات الرئيسية

1. التشخيص: تحديد تذبذب التدرج وانفجار المتبقي كأسباب رئيسية لعدم استقرار التدريب في المحولات ذات الحلقات.
2. الهندسة المعمارية: اقتراح المحول كامل الحلقات (FLT)، وهو تحسين لا يتطلب معلمات إضافية يعمل على استقرار التدريب عبر FLA وAI.
3. التحقق التجريبي: إثبات أنه يمكن تدريب FLT باستقرار حتى 12 دورة حلقة، وهي مرحلة تؤدي فيها نماذج LT الأصلية إلى الانهيار.

النتائج التجريبية

قام المؤلفون بتقييم FLT مقابل النماذج المرجعية (LT الأصلي، وLT مع حقن المدخلات، وLT مع حقن الانتباه في الطبقة الأولى) على مهام ما قبل التدريب (FineWeb-Edu) والمهام النهائية (معايير الاستدلال المنطقي العام).

• الاستقرار: بينما انهارت نماذج LT المرجعية عند 9 أو 12 دورة (مظهرةً ثباتاً عالياً في الخسارة وانفجاراً في المتبقيات)، حافظ FLT على ديناميكيات تدريب مستقرة مع انخفاض سلس في الخسارة ومعايير متبقي محدودة.
• الأداء:
  • في الظروف "الأقل شدة" حيث لم تنهار النماذج المرجعية، حسن FLT متوسط الأداء في المهام النهائية بما يصل إلى 13.2% (على سبيل المثال، عند 6 حلقات في نموذج بالحجم الأساسي Base size).
  • عند الحجم الأساسي (318 مليون معلمة)، حقق FLT أفضل درجة متوسطة (41.72) وأقل درجة ارتياب (Perplexity) لـ Wiki2 بلغت (38.44) عند 9 حلقات، بينما انهار نموذج LT الأصلي.
• دراسات الاستئصال (Ablation Studies):
  • قللت FLA وحدها من انفجار المتبقي ولكنها لم تمنع تماماً انهيار التدريب.
  • عمل حقن الانتباه وحده (عند الطبقة الأولى) بشكل مشابه لحقن المدخلات، ولكنه كان غير كافٍ لأعداد الحلقات العالية.
  • كان الجمع بين FLA وAI ضرورياً للتدريب المستقر عند أعداد الحلقات العالية (مثل 12 حلقة).
• التكيف في وقت الاختبار: أظهرت النماذج المدربة بدورات حلقة ثابتة (مثلاً 9 أو 12) ارتباطاً إيجابياً بين الأداء وعدد حلقات الاستدلال عندما ظل عدد الاستدلال ضمن نطاق التدريب. ومع ذلك، أصبح الأداء غير قابل للتنبؤ عندما تجاوزت حلقات الاستدلال عدد حلقات التدريب، مما يشير إلى الحاجة إلى تدريب صريح على دوائر متغير لضمان التكيف القوي.

الأهمية والادعاءات

يزعم الورقة البحثية أن المحول كامل الحلقات (FLT) يقدم حلاً بسيطاً ولا يتطلب معلمات إضافية لمشكلة عدم استقرار التدريب في النماذج ذات الحلقات. تكمن أهميته في:

• تمكين الحلقات العميقة: السماح للنماذج باستخدام المزيد بكثير من الحوسبة أثناء وقت الاختبار (حتى 12 دورة) دون زيادة عدد المعلمات أو طول السياق.
• الكفاءة: تقديم آلية لاستبدال الحوسبة بمكاسب في الأداء في بيئة موارد بيانات محدودة.
• القابلية للتكيف: تقديم دليل أولي على إمكانية ضبط دورات الحلقة في وقت الاستدلال لموازنة الأداء والميزانية الحوسبية، بشرط بقاء ميزانية الاستدឡើង ضمن توزيع التدريب.

خلص المؤلفون إلى أن نتائجهم تعمق فهم ديناميكيات تدريب المحولات ذات الحلقات وتقدم مساراً نحو بنيات مستقرة وكفؤة من حيث المعلمات وقابلة للتكيف.