A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio

العنوان: تشخيص أثناء التدريب للتعميم عبر نسبة المحاذاة اللوغاريتمية (Log-Alignment Ratio)

بيان المشكلة
مع توسع النماذج والبيانات في الشبكات العصبية، تزداد التكلفة الحسابية لعمليات التدريب، مما يجعل دراسة ديناميكيات التدريب وتصميم أدوات تشخيص رخيصة الثمن أمراً ذا قيمة متزايدة. يحتاج الممارسون إلى مقاييس يمكنها رصد المشكلات مثل الإفراط في التخصيص (overfitting)، أو عدم الاستقرار، أو التشبع باستخدام كميات زمن التدريب فقط، دون الاعتماد على بيانات تحقق (validation data) مكلفة ومحتجزة. وبينما استكشفت الأعمال السابقة الخصائص الطيفية لمصفوفات الأوزان (مثل الرتبة الفعالة، والرتبة المستقرة) أو نظريات المعلمة (مثل معلمة التحديث الأقصى $\mu$P) لفهم التعميم، فإن المقاييس الموجودة غالباً ما تركز حصرياً على الأوزان أو التنشيطات، أو تتطلب عمليات مكلفة حسابياً مثل تحليل القيم المفردة الكامل (SVD) أو تحليل المكونات الرئيسية (PCA).

المنهجية
يبحث المؤلفون في نسبة المحاذاة اللوغاريتمية (LAR)، وهو مقياس تم تقديمه أصلاً في نظرية المعلمة من قبل إيفريت وآخرون [2024] لقياس المحاذاة بين مصفوفة معلمات الطبقة وتنشيطات المدخلات الخاصة بها. تعيد هذه الورقة صياغة LAR نظرياً للكشف عن معنى ثانٍ لم يتم استكشافه سابقاً: إنه يقيس التداخل بين طيف الوزن ($p$) وطيف التنشيط ($q$).

• التعريفات:
  • لتكن $W$ مصفوفة ذات قيم مفردة $s_i$. يُعرَّف طيف الوزن $p$ كقيم مفردة مربعة مُطبعة: $p_i = s_i^2 / \sum s_j^2$.
  • لتكن $X$ دفعة من المدخلات. يُعرَّف طيف التنشيط $q$ كإسقاطات مربعة مُطبعة للمدخلات على الاتجاهات المفردة لـ $W$: $q_i = \sum_{x \in B} (v_i^\top x)^2 / \sum_{x \in B} \|x\|^2$.
• إعادة الصياغة: يشتق المؤلفون أن LAR يمكن التعبير عنه كالتالي:
  $$\text{LAR} = 1 + \frac{1}{2} \log_n \left( \sum_{i} p_i q_i \right)$$
  تُظهر هذه الصيغة أن LAR هو مقياس للتداخل اللوغاريتمي بين التوزيعات $p$ و $q$. كما يمكن كتابته بدلالة التباين (covariance) وارتباط بيرسون (Pearson correlation):
  $$\text{LAR} = 1 + \frac{1}{2} \log_n \left( n \cdot \text{cov}(p, q) + \frac{1}{n} \right)$$
  $$\text{LAR} = 1 + \frac{1}{2} \log_n \left( n \sigma_p \sigma_q \text{corr}(p, q) + \frac{1}{n} \right)$$
  حيث تمثل $\sigma_p$ و $\sigma_q$ "انتشار" أو تركيز التوزيعات.
• الكفاءة الحسابية: يمكن حساب LAR من الكميات المتاحة أثناء التمرير الأمامي (forward pass) (معايير المصفوفة) بهامش تكلفة ضئيل ($O(|B|m + |B|n + mn)$)، ولا يتطلب أي بيانات محتجزة أو عملية SVD كاملة.

المساهمات الرئيسية

1. إعادة الصياغة التوزيعية: توضح الورقة أن LAR ليس مجرد مقياس للمحاذاة، بل هو كمّي لمدى التداخل بين أطياف الوزن والتنشيط. وتوفر صيغاً إحصائية مكافئة (التباين، الارتباط) تجعل سلوك المقياس قابلاً للتفسير من حيث الكميات الأولية.
2. التنبؤ بالبعد الفعال: يوضح المؤلفون أنه عندما يركز مصفوفة الأوزان طاقتها على $k$ اتجاه مفرد وتتماشى التنشيطات معها، فإن LAR يرتبط بالبعد الفعال $k$ عبر $k \approx n^2(1 - \text{LAR})$. وقد تم التحقق من هذه الصيغة تجريبياً في تجارب الـ "grokking".
3. تشخيص الإفراط في التخصيص عند النطاق الواسع: في مرحلة التدريب المسبق واسع النطاق (نماذج بـ 3 مليارات بارامتر)، تثبت الورقة أن LAR لطبقة الـ (unembedding) يستقر أثناء التعميم ولكنه ينخفض بشكل حاد مع اقتراب الإفراط في التخصيص. إن انحراف LAR عن خط الأساس غير المفرط في التخصيص يتتبع فجوة التعميم.
4. وكيل للانتشار الطيفي: تجد الدراسة أن عملية التحسين تدفع $p$ و $q$ ليكونوا مرتبطين ارتباطاً وثيقاً. وبناءً على ذلك، يعمل LAR كوكيل للتباين (الانتشار) لهذه التوزيعات. في التدريب المسبق، يهيمن الاتجاه المفرد العلوي، مما يجعل مساهمة المكون العلوي ($L_1$) مؤشراً رئيسياً لبصمة ما قبل الإفراط في التخصيض.

النتائج التجريبية
يتحقق المؤلفون من هذه النتائج في إعدادين متميزين:

1. تجارب الـ Grokking (المهام الخوارزمية الصغيرة):

   • تم تدريب نماذج Transformer مكونة من طبقتين على 12 مهمة عمليات ثنائية.
   • الملاحظة: خلال مرحلة الحفظ (memorization)، يكون LAR منخفضاً (مما يشير إلى $p$ و $q$ منتشرين). ومع انتقال النموذج إلى حالة الـ "grokking" (التعميم)، يرتفع LAR مع تركيز $p$ و $q$ على مجموعة مشتركة من الاتجاهات.
   • الأبعاد: تتطابق الأبعاد المتوقعة من LAR $k_{pred} = n^2(1 - \text{LAR})$ بشكل وثيق مع $k_{95}$ (عدد المكونات الرئيسية التي تفسر 95% من التباين) عند نقاط الفحص النهائية، مع خطأ جذر متوسط المربعات (RMSE) منخفض.
   • التمايز: تحقق نماذج الـ grokking قيم LAR نهائية أعلى ($>0.65$) مقارنة بالنماذج غير الـ grokking ($\le 0.65$).

2. التدريب المسبق واسع النطاق (نماذج لغوية بـ 3 مليارات بارامتر):

   • تم تدريب نماذج مبنية على Gemma-2 (3 مليارات بارامتر) باستخدام مُحسّنات Adam و Muon على مجموعات بيانات تتراوح من 200 مليون إلى 100 مليار توكن.
   • التعميم مقابل الإفراط في التخصيص: في الأنظمة غير المفرطة في التخصيص (مثل 100 مليار توكن)، يرتفع LAR ليصل إلى ذروة ثم ينخفض ببطء ويستقر. في الأنظمة المفرطة في التخصيص (مجموعات بيانات أصغر)، ينخفض LAR بشكل حاد مع اقتراب خطوة الإفراط في التخصيص.
   • فجوة التعميم: يماثل الفرق في LAR بين تشغيل معين وتشغيل خط الأساس (100 مليار توكن) - وهو فارق LAR - فجوة التعميم (خسارة التحقق ناقص خسارة التدريب) بشكل وثيق.
   • الآلية: ينجم انخفاض LAR قبل الإفراط في التخصيص بشكل أساسي عن المكون المفرد العلوي ($L_1$). مع Adam، يكون هذا ناتجاً عن انتشار التنشيطات ($q_1$)؛ ومع Muon، يتضمن ذلك كلاً من الأوزان ($p_1$) والتنشيطات.

الأهمية والادعاءات
تدعي الورقة أن LAR يوفر تشخيصاً عملياً، ومنخفض التكلفة حسابياً، وغير معتمد على البيانات للتعميم.

• الكفاءة: على عكس الرتبة الفعالة أو المقاييس الطيفية الأخرى التي تتطلب SVD، يمكن حساب LAR بهامش تكلفة ضئيل أثناء التمرير الأمامي.
• القوة التنبؤية: نجح في تتبع الانتقال من الحفظ إلى التعميم في الـ groking، ويعمل كإشارة إنذار مبكر للإفراط في التخصيص في التدريب المسبق واسع النطاق، مما قد يمكّن طرق التدريب التي لا تتطلب تقييماً.
• القابلية للتفسير: من خلال ربط LAR بانتشار أطياف الوزن والتنشيط، يوفر المقياس رؤية موحدة لكيفية ارتباط ديناميكيات التحسين (تركيز مقابل انتشار الأطياف) بتعميم النموذج.

يقر المؤلفون بالقصور، مشيرين إلى أن أدلتهم هي علاقات ارتباطية، وأن تركيزهم ينصب أساساً على طبقة الـ (unembedding)، وأنهم لم يختبروا بعد ما إذا كان تنظيم الانتشار الطيفي مباشرة سيمنع الإفراط في التخصيص. ويقترحون أن العمل المستقبلي يجب أن يستكشف استخدام LAR لأنواع أخرى من المصفوفات وسلوكه تحت أحجام دفعات (batch sizes) متغيرة.