ملخص تقني: تصحيح انحياز التحديث العشوائي في مُحسِّنات النماذج اللغوية سابقة التشكيل (Preconditioned)

1. بيان المشكلة

تُعد المُحسِّنات سابقة التشكيل (مثل AdamW وSophia وShampoo) ركيزة أساسية في تدريب النماذج اللغوية الكبيرة (LLMs). تعتمد هذه الطرق على تقدير اتجاه الهبوط (descent direction) ومصطلح الهندسة (preconditioner) من مجموعات مصغرة (minibatches) لتقريب التحديث المثالي للمجتمع الإحصائي:
$$u^\star(\theta) = P(\theta)^{-1}\nabla f(\theta)$$
في الممارسة العملية، تطبق المُحسِّنات تحديثاً عشوائياً باستخدام تقديرات المجموعات المصغرة $\hat{g}$ و $\hat{P}$:
$$\hat{u} = \hat{P}^{-1}\hat{g}$$

تحدد الورقة البحثية أنه حتى عندما تكون $\hat{g}$ و $\hat{P}$ مقدرات غير منحازة لمتجه تدرج المجتمع والمُشكل الهندسي، فإن حاصل ضرب $\hat{P}^{-1}\hat{g}$ هو بشكل عام مُقدِّر منحاز للتحديث المثالي. ينشأ هذا الانحياز في العينات المحدودة من مصدرين متمايزين:

1. انحياز اقتران التدرج والمُشكل الهندسي (Gradient–Preconditioner Coupling Bias): عندما يتم تقدير كل من $\hat{g}$ و $\hat{P}$ من نفس المجموعة المصغرة، فإنهما يكونان مرتبطين إحصائياً. هذا الاقتران يُدخل حداً من العزوم المشتركة (cross-moment term) ينحرف عن حقل المتجهات المستهدف للمجتمع.
2. انحياز مقلوب المُشكل الهندسي (Inverse-Preconditioner Bias): عملية قلب المصفوفة (أو عمليات الجذر العكسي) هي تحويل غير خطي. وفقاً لمتراجحة جينسن (Jensen's inequality)، حتى لو كان $\hat{P}$ غير منحاز لـ $P$، فإن توقع المقلوب $\mathbb{E}[\hat{P}^{-1}]$ لا يساوي مقلوب التوقع $(\mathbb{E}[\hat{P}])^{-1}$. يظهر هذا الانحياز بوضوح عندما تكون تقديرات المُشكل الهندسي صاخبة، أو عدوانية، أو ذات قيم مصفوفية.

هذه الانحيازات ليست أخطاءً في التنفيذ، بل هي نتائج متأصلة في تطبيق قواعد تكيفية غير خطية على تقديرات عشوائية محدودة.

2. المنهجية

يقترح المؤلفون إطار عمل لتصحيح الانحياز باستخدام دفعة واحدة يعالج كلا المصدرين للانحياز دون الحاجة إلى العودة إلى نفس قيمة المعلمة (وهو أمر غير عملي في تدريب الشبكات العصبية). تعمل الطريقة عند خطوة ثابتة للمعلمة $\theta_t$ عن طريق تقسيم دفعة التدريب الحالية إلى مجموعات من الدفعات الدقيقة (microbatches).

2.1 التشكيل المتقاطع (Cross-Fitted Preconditioning) (لمعالجة الاقتران)

لإزالة اقتران التدرج والمُشكل الهندسي، تُقدر الطريقة البسط (التدرج) والمقام (المُشكل الهندسي) من مجموعات دفعات دقيقة مستقلة.

• ليكن $A$ و $B$ مجموعتين مستقلتين تم سحبهما من نفس توزيع التدريب.
• يتم تقدير التدرج من $A$: $\hat{g}_A$.
• يتم تقدير المُشكل الهندسي من $B$: $\hat{P}_B$.
• يصبح التحديث $\hat{u}_{cf} = \hat{P}_B^{-1}\hat{g}_A$.
• نظراً للاستقلالية، فإن $\mathbb{E}[\hat{P}_B^{-1}\hat{g}_A] = \mathbb{E}[\hat{P}_B^{-1}]\mathbb{E}[\hat{g}_A]$، مما يؤدي فعلياً إلى إزالة حد انحياز الاقتران.

2.2 قلب التصحيح بالتباين (Variance-Corrected Inversion) (لمعالجة اللاخطية)

لتقليل الانحياز الناتج عن لاخطية عملية القلب، تستخدم الطريقة التباين داخل مجموعة تقدير المُشكل الهندسي $B$.

• يتم تقسيم المجموعة $B$ إلى $m$ من الدفعات الدقيقة $B_1, \dots, B_m$.
• الحالة القطرية (AdamW, Sophia): يطبق المؤلفون تصحيح طريقة دلتا (delta-method correction). بالنسبة لعنصر مُشكل هندسي قياسي $p$، يتم توسيع الدالة العكسية $T(p) = (p+\lambda)^{-1}$ إلى الدرجة الثانية. يتم تقدير حد الانحياز الرئيسي، المتناسب مع تباين متوسط الدفعة الدقيقة، وطرحه:
  $$\tilde{T}(\bar{p}) = \frac{1}{\bar{p} + \lambda} - \frac{\widehat{\text{Var}}(\bar{p})}{(\bar{p} + \lambda)^3}$$
  يُطبق هذا التصحيح لكل عنصر على حدة في المُشكلات الهندسية القطرية.
• حالة المصفوفة (Shampoo): بالنسبة للمُشكلات الهندسية ذات القيم المصفوفية، تطبق الطريقة التصحيح في القاعدة الذاتية (eigenbasis) لمتوسط المُشكل الهندسي $\bar{P}$. يتم إسقاط مُشكلات الدفعات الدقيقة في هذه القاعدة، ويُطبق تصحيح طريقة دلتا القياسي على القيم الذاتية (أو القيم الذاتية للجذر العكسي) قبل إعادة بناء المصفوفة.
• بديل جاكنايف (Jackknife Alternative): كما تم وصف تصحيح "جاكنايف" (leave-one-out) الأكثر عمومية، والذي يلغي حد الانحياز الرئيسي $O(1/m)$، رغم أنه قد يكون مكلفاً حسابياً للمُشكلات الهندسية المصفوفية.

3. المساهمات الرئيسية

1. التفكيك الإحصائي: تفكك الورقة البحثية صراحةً خطأ التحديث المسبق للتشكيل العشوائي إلى نوعين من الانحياز في العينات المحدودة: انحياز اقتران التدرج والمُشكل الهندسي، ولاخطية عملية القلب.
2. إطار عمل للتصحيح: تقترح إطار عمل عملي لخطوة واحدة يجمع بين التشكيل المتقاطع (لإزالة الاقتران) والقلب المصحح بالتباين (لإزالة انحياز المقلوب) باستخدام تباين الدفعات الدقيقة.
3. التجسيد التجريبي: يتم تجسيد الإطار لثلاث عائلات رئيسية من المُحسِّنات:
   • AdamW: يعتمد على العزوات القطرية (باستخدام التقاطع عبر LOO وتصحيح جينسن/دلتا).
   • Sophia: يعتمد على الانحناء القطري.
   • Shampoo: مُشكل هندسي مصفوفي (باستخدام تصحيح القاعدة الذاتية).

4. النتائج التجريبية

تم تقييم الإطار على نموذج Qwen2.5-0.5B تحت نظامين:

1. ما قبل التدريب (Pretraining): من التهيئة العشوائية على تسلسلات FineWeb-Edu (نظيفة ومختلطة الجودة/صاخبة).
2. الضبط الدقيق للتعليمات (Instruction Tuning): الضبط الدقيق الخاضع للإشراف (SFT) على بيانات نمط Alpaca.

النتائج الرئيسية:

• أداء ما قبل التدريب: قلل تصحيح الانحياز باستمرار من خسارة ما قبل التدريب (الإنتروبيا المتقاطعة) عبر جميع عائلات المُحسِّنات الثلاث:
  • AdamW: قلل الخسارة بمقدار 0.149 نات (من 4.836 إلى 4.687).
  • Sophia: قلل الخسارة بمقدار 0.070 نات (من 6.665 إلى 6.595).
  • Shampoo: قلل الخسارة بمقدار 0.110 نات (من 5.792 إلى 5.681).
  • في مرحلة ما قبل التدريب مختلطة الجودة (صاخبة)، أظهر متغير AdamW المصحح مكسباً أصغر ولكنه إيجابي (0.019 نات) على بيانات التقييم النظيفة، بينما كان أقل عدوانية في ملاءمة الأجزاء التالفة.
• الضبط الدقيق للتعليمات: كانت النتائج "محايدة إلى إيجابية".
  • AdamW: أظهر مكاسب صغيرة (مثلاً -0.001 نات) بعد إعادة ضبط معدلات التعلم.
  • Sophia: تعادل تقريباً مع التحسين القياسي في المجموعات الصغيرة، وكان أفضل قليلاً في المجموعات الأكبر (5K).
  • Shampoo: كان محايداً فعلياً في إعداد SFT الخاص بالانتباه فقط (attention-only).
• الدراسات الاستقصائية (Ablations): تشير الورقة إلى أن التقسيم الساذج لجزأين (استخدام نصف الدفعة للمقام) يمكن أن يكون متحفظاً للغاية بسبب زيادة الضجيج. إن بناء Leave-One-Out (LOO) المقترح لـ AdamW يحافظ على مقياس المقام مع إزالة الاقتران، وهو أمر حاسم للأداء.

5. الأهمية والادعاءات

تضع هذه الورقة هذا العمل كـ آلية عملية لتحسين المُحسِّنات سابقة التشكيل من خلال معالجة الانحيازات الإحصائية المتأصلة في التحديثات ذات العينات المحدودة، بدلاً من اقتراح بنية جديدة للمُحسِّن أو تقريب للانحناء.

• الرؤية النظرية: تثبت أن التحديثات التكيفية القياسية هي مُقدِّرات منحازة لاتجاه المجتمع المسبق التشكيل بسبب الاقتران واللاخطية.
• المنفعة العملية: التصحيح خفيف الوزن للمُحسِّنات القطرية وقابل للتوسع للمُحسِّرات المصفوفية. إنه يحسن كفاءة العينات والاستقرار، خاصة في أنظمة ما قبل التدريب حيث تكون التقديرات صاخبة وفترات التدريب طويلة.
• النطاق المتواضع: يتسم المؤلفون بالتواضع بشأن حجم التأثير العام. فهم يقرون بأن النتائج مبنية على مقياس نموذج واحد (0.5B) وتشغيلات ببذرة واحدة (single-seed). كما يشيرون إلى أنه في عمليات الضبط الدقيق للتعليمات قصيرة المدى التي تبدأ من نقاط تفتيش قوية مدربة مسبقاً، يمكن لتكلفة تباين تقسيم العينات أن تلغي فوائد تقليل الانحياز، مما يؤدي إلى نتائج محايدة.
• الخلاصة: المساهمة الأساسية هي إثبات أن تصحيح انحياز العينة المحدودة في التحديثات العشوائية يمكن أن يجعل تحسين النماذج اللغوية سابقة التشكيل أكثر فعالية، خاصة في مرحلة ما قبل التدريب، دون الحاجة إلى تغييرات جوهرية في بصمة الذاكرة للمُحسِّن أو هيكل التحديث الخاص به.