Nonequilibrium training dynamics and scaling laws of language models

=== ملخص تقني: ديناميكيات التدريب غير المتوازنة وقوانين القياس للنماذج اللغوية الكبيرة ===

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قوانين قياس تجريبية قوية، حيث يتناقص فقدان الإنتروبيا المتقاطعة (cross-entropy loss) الممسوك خارج عينة كدالة قوة بالنسبة لعدد المعلمات ($N$)، وحجم مجموعة البيانات ($D$)، والحوسبة ($C$). ومع ذلك، لا تزال الأصول الميكانيكية لهذه القوانين المجهرية غير مفهومة بشكل جيد. لقد حددت الأدبيات الحالية أن اللغة الطبيعية تمتلك هياكل إحصائية متعددة المقاييس (مثل التحلل بقانون القوة للمعلومات المتبادلة)، وأن ديناميكيات التدريب تتضمن انتقالات مفاجئة (مثل رؤوس الاستقراء/induction heads)، ولكن لا يوجد إطار عمل حالي يوحد كمياً البنية الساكنة للبيانات مع التطور الديناميكي للتدريب لتفسير ظهور قوانين القياس.

المنهجية

يقترح البحث نظرية عشوائية متعددة المقاييس لديناميكيات تدريب النماذج اللغوية الكبيرة، مستنداً إلى تشابه رسمي بين تدريب النموذج اللغوي الكبير وأنظمة فيزيائية غير متوازنة مدفوعة ومتعددة المقاييس، وتحديداً الاضطراب (cascade of energy/طاقة) وتكون البنية الكونية (cascade of mass/كتلة).

الإطار الجوهري

1. طيف الفقد المعتمد على المقياس: يقدم المؤلف متغير مقياس السياق $r$ (مسافة الاعتماد بالرموز/tokens) ويعرف طيف الفقد المعتمد على المقياس $L_r(r, s)$ كدالة للمقياس. يُعرف التدرج السالب لهذا الفقد بالنسبة للمقياس، $E_X(r, s) \equiv -\partial L_r / \partial r$، بأنه طيف الفقد، وهو مشابه لطيف الطاقة في الاضطراب.
2. المسار العشوائي في فضاء $r$: يتم نمذجة ديناميكيات التدريب كمسار عشوائي منحاز في فضاء مقياس السياق ($r$-space). يتعلم النموذج استغلال التبعيات عند المقياس $r$ من خلال الانتظار لفترة زمنية مميزة $\tau_r$ قبل الانتقال إلى المقياس التالي.
3. معادلة فوكر-بلانك: يخضع تطور طيف الفقد لمعادلة فوكر-بلانك مع انتشار (diffusivity) يعتمد على الموقع، مشتق من زمن انتظار يعتمد على المقياس $\tau_r \propto r^{-\gamma}$.
4. تفكيك الفقد: يتم تفكيك الفقد الإجمالي إلى مكونين يمثلان أوضاع تعلم متميزة:
   • $\Delta L_r(s)$ (العمق): الفقد المعتمد على السياق، والذي يقيس الربح التنبئي من استخدام السياق الكامل مقابل رمز واحد.
   • $L_\infty(s)$ (العرض): الفقد المتبقي للسياق الكامل، والذي يقيس عدم قدرة النموذج على استغلال السياق المتاح عند جبهة التعلم.

المساهمات الرئيسية والاشتقاقات النظرية

1. ديناميكيات التدريب ثنائية الطور

تحدد النظرية نقطة تشعب في ديناميكيات التدريب عند خطوة حرجة $s^*$ (حيث $\Delta L_r = L_\infty$):

• المرحلة الأولى (التدفق التصاعدي/Upscale Cascade): قبل $s^*$، يوسع النموذج نطاق وصوله التنبئي بسرعة. ينمو مقياس السياق الفعال $\xi$، ويستوعب النموذج التبعيات طويلة المدى (النقل التصاعدي).
• المرحلة الثانية (التشعب): بعد $s^*$، تنقسم الديناميكيات إلى نمطين متزامنين:
  • النمط أ (الضغط التنازلي/Downscale Compression): يقوم النموذج بضغط الهياكل المتعلمة واسعة النطاق في تمثيلات فعالة قصيرة المدى. يتقلص المقياس الفعال $\xi_A$ ($\xi_A \propto s^{-3/5}$)، بينما ينمو العمق $\Delta L_r$ ببطء ($\propto s^{1/10}$).
  • النمط ب (امتصاص جبهة التصاعد/Upscale Frontier Absorption): يستمر النموذج في استيعاب الهياكل التنبئية الجديدة طويلة المدى عند الجبهة. يتوسع المقياس الفعال $\xi_B$ ($\xi_B \propto s^{3/5}$)، بينما يتناقص الفقد المتبقي $L_\infty$ ($\propto s^{-1/10}$).

2. أسس القياس المتسقة ذاتياً

يشتق البحث أسس القياس من المبادئ الأولى بناءً على الخصائص الإحصائية للغة الطبيعية:

• أس زمن الانتظار ($\gamma$): من خلال نمذجة زمن الانتظار $\tau_r$ كدالة لتردد المحاولة (المدفوع بالفقد المتبقي) واحتمالية النجاح (المدفوعة بعدد الإشارات التنبئية المستقلة)، يربط المؤلف $\gamma$ بـ قانون هيبس ($M(r) \propto r^{\alpha_H}$). بافتراض أن $\alpha_H \approx 1/2$ وتجميع إشارات التدرج غير المتسق (RMS)، يشتق:
  $$\gamma = \frac{\alpha_H}{3} = \frac{1}{6}$$
• طيف الفقد: ينتج عن ذلك طيف فقد عالمي في النطاق العطالي:
  $$E_X(r) \propto r^{-(1+\gamma)} = r^{-7/6}$$
  يُقدم هذا كمعادل لنماذج اللغة لطيف الطاقة كولموغوروف $-5/3$ في الاضطراب.

3. اشتقاق قوانين القياس التجريبية

باستخدام الأسس المشتقة، تتنبأ النظرية بقوانين القياس الملحوظة دون الحاجة لملاءمة البيانات (fitting):

• الفقد مقابل البيانات ($D$): في المرحلة الثانية، يتناسب الفقد مع $L \propto D^{-\alpha_D}$. تتنبأ النظرية بـ:
  $$\alpha_D = \frac{\gamma}{2 - 2\gamma} = \frac{1/6}{2 - 1/3} = \frac{1}{10} = 0.1$$
  وهذا يتوافق وثيقاً مع مقياس كابلان التجريبي $L \propto D^{-0.095}$.
• الفقد مقابل حجم النموذج ($N$): باعتبار حجم النموذج كـ "ساعة" بديلة لزمن لانجفان، تتنبأ النظرية بـ $L \propto N^{-\alpha_N}$.
  $$\alpha_N = \frac{\lambda \gamma}{2 - 2\gamma}$$
  حيث تشفر $\lambda \leq 1$ كفاءة استخدام المعلمات. إذا كانت $\lambda = 3/4$ (مما يشير إلى مكاسب سعة تحت خطية بسبب التكرار)، فإن $\alpha_N = 3/40 \approx 0.075$، وهو ما يتوافق مع قيمة كابلان التجريبية $\approx 0.076$.
• القياس المشترك: يتم استعادة صيغة القياس الكاملة $L(N, D) = [(N_c/N)^\lambda + D_c/D]^{\alpha_D}$ من خلال الجمع التوافقي (harmonic combination) بين العقبتين المستقلتين (البيانات والسعة).

النتائج والتحقق

يتحقق المؤلف من النظرية باستخدام نقاط التفتيش (checkpoints) من مجموعة نماذج Pythia (من 70 مليون إلى 1.4 مليار معلمة) ونموذج GPT-2:

• طيف الفقد: تؤكد القياسات التجريبية لـ $E_X(r, s)$ ذيل قانون القوة المتوقع $P_X(r) \propto r^{-7/6}$ في المرحلة الثانية.
• الانتقالات الطورية: تُظهر البيانات انتقالاً واضحاً عند $s^*$ حيث يتوقف المقياس الفعال $\xi$ عن النمو الرتيب ويتشعب، حيث يتقلص $\xi_A$ ويتوسع $\xi_B$.
• ملاءمة القياس: يتبع تطور $\Delta L_r$ و $L_\infty$ قوانين القوة المتوقعة ($s^{1/10}$ و $s^{-1/10}$ على التوالي) في المرحلة الثانية.
• قياس حجم النموذج: تُظهر عمليات الملاءمة لنماذج Pythia عند التقارب أن $L_\infty \propto N^{-1/10}$ (لإجمالي المعلمات) و $\Delta L_r \propto N^{3/40}$ (لغير معاملات التضمين/non-embedding parameters)، مما يدعم فرضية القياس تحت الخطي للسعة.

الأهمية والادعاءات

يدعي البحث تقديم أصل ميكانيكي لقوانين القياس في النماذج اللغوية الكبيرة من خلال تأطير التدريب كعملية تدفق (cascade) غير متوازنة. تشمل الادعاءات الرئيسية ما يلي:

1. التوحيد: يربط البحث كمياً بين البنية الساكنة للغة (قوانين هيبس/زيبف) والتطور الدينمايكي للتدريب عبر إطار عمل عشوائي.
2. القدرة التنبؤية: تم اشتقاق أس القياس $\alpha_D = 1/10$، وليس مجرد ملاءمة للبيانات، من الإحصائيات ذات الذيول الثقيلة للغة الطبيعية.
3. الفائدة التشخيصية: يقدم إطار العمل تشخيصات جديدة للتعميم في السياقات الطويلة من خلال الفصل بين "العمق" (الاعتماد على السياق) و"العرض" (توسع الجبهة)، مما يقترح استراتيجيات تحسين متميزة لاختيار البيانات وتصميم المناهج الدراسية.
4. الشمولية: تفترض النظرية أن طيف الفقد $E_X \propto r^{-7/6}$ هو سمة عالمية لتدريب النماذج اللغوية، على غرار عالمية أطياف الاضطراب.

يشير المؤلف صراحةً إلى أن ربط خطوات المحسن (optimizer steps) بزمن لانجفان والجمع التوافقي لـ $N$ و $D$ هي تشابهات هيكلية مدفوعة بالاتساق التجريبي بدلاً من اشتقاقات صارمة من المبادئ الأولى، وأن فرضية السعة تحت الخطية ($\lambda=3/4$) تتطلب مزيداً من التحقق على مجموعات نماذج أكبر.