Large-Step Training Dynamics of a Two-Factor Linear Transformer Model

ملخص تقني: ديناميكيات التدريب ذات الخطوات الكبيرة لنموذج محول خطي ثنائي العوامل

بيان المشكلة
بينما نجحت تحليلات تدفق التدرج (حدود الخطوة المتناهية في الصغر) في إثبات أن المحولات الخطية المبسطة يمكنها تعلم الانحدار الخطي داخل السياق، إلا أنها تفشل في تفسير سلوك الانحدار الاشتقاقي (GD) ذي الخطوات المحدودة عند معدلات التعلم الكبيرة. تشير الملاحظات التجريبية إلى أن معدلات التعلم الكبيرة تسبب عدم استقرار في التدريب، مثل نمو لوغاريتمات الانتباه (attention-logits) وتباعد المخرجات، وهي ظواهر يتم التخفيف من حدتها غالبًا باستخدام تقنيات مثل الإحماء (warmup) واضمحلال الأوزان (weight decay). تشير الأدبيات الحالية المتعلقة بالانحدار التربيعي إلى أن الانحدار الاشتقاقي ذي الخطوات الكبيرة يمكن أن يختزل إلى خريطة تكعيبية تظهر خمس مراحل متميزة: التقارب الرتيب، التقارب القذفي (catapult convergence)، عدم التقارب الدوري، عدم التقارب الفوضوي، والتباعد. ومع ذلك، لا يزال من غير الواضح ما إذا كانت هياكل التفرع (bifurcation structures) المماثلة موجودة في تدريب المحولات، حيث تكون لوغاريتمات الانتباه ثنائية الخطية (bilinear) في العوامل المتعلمة، وكيف تتجلى هذه الديناميكيات في فضاء المعلمات الكامل بدلاً من مجرد الفضاء الفرعي المتوازن.

المنهجية
يستخلص المؤلفون مشكلة تدريب محول خطي بـ "مطالبة واحدة" (one-prompt) قابلة للاختزال تمامًا لدراسة هذه الديناميكيات.

1. الاختزال: بدءًا من نموذج الانتباه الذاتي الخطي ذي الطبقة الواحدة مع مطالبة ثابتة، يوضح المؤلفون أن الانحدار الاشتقاقي ذي الخطوات المحددة على خسارة التنبؤ المربعة يختزل، بعد إعادة القياس، إلى خريطة ضرب ثنائية الأبعاد $\Phi_\mu(a, b)$. هنا، يمثل $a$ و $b$ العاملين القياسيين لضرب الانتباه ثنائي الخطية (على سبيل المثال، مكونات الاستعلام/المفتاح أو القيمة/الإسقاط)، و $\mu$ هو معامل حجم الخطوة الفعال المتناسب مع معدل التعلم $\eta$، ومقياس المطالبة، وثابت هندسي.
2. تحويل الإحداثيات: يتم تحليل النظام باستخدام إحداثيات الخطأ ($e = ab - \mu$) وعدم التوازن ($w = a - b$). يكشف هذا التحويل أن "الخط المتوازن" ($w=0$) ثابت ويستعيد الخريطة التكعيبية القياسية المعروفة التي تمت دراستها في الانحدار التربيعي.
3. تحليل الأنظمة الديناميكية: يستخدم المؤلفون أدوات من الأنظمة الديناميكية المنفصلة لتحليل الخريطة ثنائية الأبعاد الكاملة. تشمل المفاهيم الأساسية المجموعات الثابتة، وأسات (Lyapunov) الأسية، والاستقرار المستعرض، والمنفصلات (separatrices). يبحثون تحديدًا في وجود المجموعات (manifolds) الثابتة (القطع الناقص) ويفحصون استقرار هذه المجموعات ضد الاضطرابات في اتجاه عدم التوازن.
4. التوسيع للدفعة الصغيرة (Mini-batch): تم توسيع التحليل الحتمي ليشمل الانحدار الاشتقاقي للدفعة الصغيرة، والذي يُنمذج كنظام ديناميكي عشوائي حيث يتنقل المعامل الفعال $\mu$ عشوائيًا بين الدفعات.

المساهمات والنتائج الرئيسية

1. الاختزال الدقيق لخريطة ثنائية العوامل: يثبت البحث أن التدريب ذي الخطوات المحدودة لمحول خطي بـ "مطالبة واحدة" على قطاع قياسي محدد يكافئ تمامًا الخريطة:
   $$\Phi_\mu(a, b) = (a - (ab - \mu)b, \, b - (ab - \mu)a)$$
   هذه الخريطة هي انحدار اشتقاقي بخطوة واحدة على دالة الخسارة $\ell_\mu(a, b) = \frac{1}{2}(ab - \mu)^2$.

2. ديناميكيات القياس المتوازنة (الانتقال التكعيبي): على الخط المتوازن الثابت ($w=0$)، تختزل الديناميكيات إلى الخريطة التكعيبية القياسية $e_{k+1} = F_\mu(e_k)$. يستعيد المؤلفون ويحددون صراحةً مخطط الطور بالنسبة لـ $\mu$:

   • التقارب الرتيب: $0 < \mu \le 2\sqrt{2}-2 \approx 0.828$.
   • التقارب القذفي: $2\sqrt{2}-2 < \mu \le 1$. قد يرتفع الخطأ في خطوة واحدة لكنه يظل متقاربًا.
   • عدم التقارب الدوري: $1 < \mu < \sqrt{5}-1 \approx 1.236$. يستقر النظام في مدار مستقر من الدرجة الثانية.
   • الديناميكيات الفوضوية المحدودة: $\sqrt{5}-1 < \mu < 2$.
   • التباعد: $\mu > 2$.

3. النتائج الهيكلية ثنائية الأبعاد:

   • قطع تشيبيشيف الناقص الثابت: بالنسبة لـ $0 < \mu < 2$، يمتلك النظام قطعًا ناقصًا ثابتًا صريحًا $E_\mu$ معرفًا بـ $(a+b)^2/(2+\mu) + (a-b)^2/(2-\mu) = 4$. على هذا القطع الناقص، تتبع ديناميكيات الخطأ كثير حدود تشيبيشيف $e_{k+1} = e_k^3 - 3e_k$ (ما يعادل مضاعفة الزاوية ثلاث مرات $\theta \to 3\theta$)، مما يحمل ديناميكيات فوضوية.
   • الاستقرار المستعرض: يثبت المؤلفون أن $E_\mu$ هو منفصل مستعرض طارد (transversely repelling separatrix). بينما يحمل هذا المنفصل ديناميكيات فوضوية، فإن المسارات القريبة منه لا تنجذب إليه؛ بل يعمل كحد فاصل يفصل بين حوض الجذب لمنحنى الخطأ الصفري (أو المدارات الدورية) وبين منطقة التباعد.
   • الجواذب المتوازنة: على العكس من ذلك، بالنسبة لـ $1 < \mu < 2$، تكون الجواذب القياسية المتوازنة (بما في ذلك مدار الدرجة الثانية) جاذبة مستعرضًا. وهذا يعني أنه حتى لو بدأ النظام بعدم توازن في العوامل، فإنه يمكن سحبه نحو الديناميكيات الفوضوية أو الدورية المتوازنة، بشرط ألا يتجاوز المنفصل الطارد.
   • الصلابة الداخلية: لا يحتوي الداخل الصارم للقطع الناقص ($D < 0$) على أي ديناميكيات متكررة خفية (دورات أو فوضى) أخرى غير تلك المدعومة على منحنى الخطأ الصفري. أي تقارب إلى منحنى الخطأ الصفري من الداخل يجب أن يحدث عبر "شبكة هبوط" جبرية ذات قياس صفري.

4. ديناميكيات الدفعة الصغيرة: ينمذج البحث انحدار الدفعة الصغيرة كتحول عشوائي بين خرائط ذات معاملات فعالة $\nu$ مختلفة. ويوضح أن دفعة واحدة غير نمطية يمكن أن تدفع التكرار من المنطقة المستقرة للدفعة الكاملة (داخل قطع الدفعة الكاملة الناقص) إلى المنطقة غير المستقرة، حتى لو كان متوسط الدفعة الكاملة مستقرًا. علاوة على ذلك، يمكن للتبديل العشوائي أن يجعل الخط المتوازن المستقر مستعرضًا غير مستقر إذا كان حجم الدفعة صغيرًا بما يكفي، مما يؤدي إلى نمو أسي في عدم توازن العوامل.

الأهمية والادعاءات
يزعم البحث أن معدلات التعلم الثابتة الكبيرة لا تكتفي فقط بتسريع التقارب أو إرباك حد تدفق التدرج، بل إنها تغير بشكل جوهري الجاذب التدريبي (training attractor) للمحول المتعلم.

• جواذب جديدة: بعيدًا عن عتبات الاستقرار الحادة، قد يستقر التدريب ذو الخطوات المحدودة في دورات، أو فوضى محدودة، أو تباعد، بدلًا من حل انحدار خطي واحد داخل السياق.
• آلية عدم الاستقرار: عدم الاستقرار ليس ناتجًا فقط عن الضجيج أو الانحناء العالي في مشهد الخسارة، بل ينشأ من بنية التفرع ذات الزمن المنفصل المتأصلة في التمثيل ثنائي الخطية للمعلمات.
• دور التوازن: استقرار التدريب حساس للغاية للتوازن بين العاملين ($a$ و $b$). يقلل عدم التوازن من أقصى معدل تعلم مستقر، مما يوفر تفسيرًا ميكانيكيًا للنجاح التجريبي لتقنيات مثل تطبيع الاستعلام/المفتاح (query/key normalization) وربط الأوزان (weight tying).
• حساسية الدفعة الصغيرة: تشير النتائج إلى أن تدريب الدفعة الصغيرة ليس مجرد انحدار اشتقاقي للدفعة الكاملة مضافًا إليه الضجيج. بدلاً من ذلك، يتضمن الانتقال بين أنظمة ديناميكية مختلفة، حيث يمكن لدفعة واحدة "غير مستقرة" أن تطلق انتقالًا إلى التباعد أو السلوك الفوضوي، حتى لو كان المتوسط الجماعي يوحي بالاستقرار.

يؤكد المؤلفون أن هذه النتائج خاصة بالنموذج ثنائي الخطية المختزل ولا ينبغي قراءتها كقيم ثابتة عالمية للمحولات العميقة والحديثة. ومع ذلك، فإن الإطار الهيكلي — الذي يوضح كيف يخلق التدريب ذو الخطوات المحددة لعوامل ثنائية الخطية جذبات تدريبية جديدة — يقدم تفسيرًا ميكانيكيًا دقيقًا لعدم استقرار التدريب الملحوظ.