ملخص تقني: الاتساق بين المُحسِّن والنموذج

بيان المشكلة

في نموذج تدريب النماذج اللغوية الكبيرة (LLMs)، تخضع النماذج لمرحلة ما قبل التدريب (Pretraining) على مجموعات بيانات ضخمة، تليها مرحلة الضبط الدقيق الموجه (SFT) على مجموعات بيانات أصغر وعالية الجودة لاكتساب قدرات محددة. ويتمثل التحدي الحاسم في مرحلة الـ SFT في المقايضة بين التعلم والنسيان: يجب على النموذج تعلم معرفة جديدة خاصة بالمهمة مع الحفاظ على القدرات اللغوية العامة التي اكتسبها أثناء مرحلة ما قبل التدريب.

على الرغم من استخدام مُحسّنات متنوعة (مثل AdamW وMuon) وطرق فعالة في كفاءة المعلمات (مثل LoRA)، إلا أنه لا يزال من غير الواضح أي مزيج يقدم التوازن الأمثل بين تعلم مهام جديدة وتقليل النسيان الكارثي. توفر الأدبيات الحالية حدوساً متناقضة؛ حيث تشير بعض الدراسات إلى أن LoRA بطبيعته منخفضة الرتبة (low-rank) ينسى أقل، بينما تؤكد دراسات أخرى على أهمية اختيار المُحسِّن. يبحث هذا العمل فيما إذا كان ينبغي فصل اختيار المُحسِّن لعملية الـ SFT عن المُحسِّن المستخدم في مرحلة ما قبل التدريب أو مواءمته معه.

المنهجية

يستخدم المؤلفون مزيجاً من التجارب التجريبية والتحليل النظري لاستقصاء العلاقة بين اختيار المُحسِّن وأداء النموذج خلال مرحلة الـ SFT.

التجارب التجريبية

1. النماذج ومجموعات البيانات: أُجريت التجارب على نموذج GPT-2-small (المدرب من الصفر) وLlama-2-7B. استُخدمت مجموعة بيانات OpenWebText في مرحلة ما قبل التدريب. تم إجراء الـ SFT على ثلاث مهام متميزة: MetaMathQA (الاستدلال الرياضي)، وAlpaca (اتباع التعليمات)، وMagicoder (توليد الكود البرمجي).
2. المُحسِّنات المقارنة: تقارن الدراسة بين AdamW، وMuon (مُحسِّن ذو بنية مصفوفية)، وSGD. بالإضافة إلى ذلك، تم تقييم LoRA (التكيف منخفض الرتبة) مع رتب مختلفة ($r=4, 8, 32, 64, 128, 256$).
3. مقياس التقييم: عرّف المؤلفون جبهة باريتو (Pareto Frontier) لتصور المقايضة بين التعلم والنسيان.
   • النسيان: يُقاس من خلال خسارة التحقق (validation loss) على مجموعة بيانات ما قبل التدريب (OpenWebText) أو انخفاض القدرة العامة في الاختبارات القياسية. تشير الخسارة الأقل إلى نسيان أقل.
   • التعلم: يُقاس من خلال خسارة التحقق في مهمة الـ SFT الجديدة أو دقة المهمة المحددة. تشير الخسارة الأقل/الدقة الأعلى إلى تعلم أفضل.
   • البروتوكول: لكل خوارزمية تدريب، أُجري بحث شبكي (grid search) عبر معدلات التعلم لتحديد جبهة باريتو، مما يضمن مقارنة عادلة لحدود الخوارزمية بدلاً من الاكتفاء بإعداد واحد للمعلمات الفائقة.
4. التحليل الاصطناعي: لفهم سبب سلوك بعض المُحسِّنات بشكل مختلف، أجرى المؤلفون تجربة اصطناعية باستخدام متن لغوي تالف. قاموا بخلط تسلسلات الرموز (tokens) عشوائياً في بيانات نظيفة لتدمير الأنماط اللغوية وإجبار النموذج على الاعتماد على الحفظ. مكّنهم ذلك من التمييز بين قدرة المُحسِّن على تعلم الأنماط وميله لحفظ البيانات.

التحليل النظري

يقدم العمل إطاراً نظرياً يعتمد على الأعراف المستحثة بالمصفوفات (اتباعاً لـ Pethick et al., 2025).

• المُحسِّنات كمنظمات (Regularizers): يفترض المؤلفون أن المُحسِّنات لا تكتفي بالتقارب نحو حل فحسب، بل تشكل أوزان النموذج وتنشيطاته. وتحديداً، فإن المُحسّن المشتق من معيار $\|\cdot\|_{\alpha, \beta}$ يقوم بتنظيم التنشيطات المدخلة ضمنياً عبر $\|\cdot\|_\alpha$ والتنشيطات المخرجة عبر $\|\cdot\|_\beta$.
  • AdamW (المشتق من $A_{1,\infty}$) ينظم المدخلات عبر $\|\cdot\|_1$، مما يؤدي إلى تنشيطات متفرقة (sparse).
  • Muon (المشتق من $A_{2,2}$) ينظم المدخلات عبر $\|\cdot\|_2$، مما يؤدي إلى تنشيطات أكثر كثافة (dense).
• تقريب النسيان: باستخدام توسيع متسلسلة تايلور، يتم تقريب الزيادة في خسارة ما قبل التدريب (النسيان) بعد الـ SFT كنسبة تتناسب مع مربع المعيار المتوقع لتحديث الوزن المطبق على مدخلات ما قبل التدريب ($\mathbb{E}[\|\Delta W x\|_2^2]$).
• فرضية الاتساق: تشير النظرية إلى أنه لتقليل النسيان، يجب أن يتوافق تحديث الـ SFT ($\Delta W$) مع انحناء مشهد الخسارة (loss landscape) الذي وضعه ما قبل التدريب. ويتحقق هذا التوافق عندما ينتمي مُحسِّن الـ SFT إلى نفس العائلة (نفس $\alpha, \beta$) الخاصة بمُحسِّن ما قبل التدريب.

النتائج الرئيسية

1. الاتساق بين المُحسِّن والنموذج

النتيجة المركزية هي الاتساق بين المُحسِّن والنموذج: إن الضبط الدقيق الكامل (Full fine-tuning) باستخدام نفس المُحسِّن (أو نفس عائلة المُحسِّنات) المستخدم أثناء ما قبل التدريب يحقق باستمرار أفضل مقايضة بين التعلم والنسيان.

• ما قبل التدريب بـ AdamW: عندما يُستخدم AdamW في مرحلة ما قبل التدريب، فإن الضبط الدقيق الكامل باستخدام AdamW يتفوق على الضبط الدقيق الكامل باستخدام Muon أو SGD، ويتفوق أيضاً على LoRA في جميع المهام (الرياضيات، الكود، التعليمات).
• ما قبل التدريب بـ Muon: وبالمثل، فإن الضبط الدقيق الكامل باستخدام Muon، عندما يكون Muon هو المستخدم في مرحلة ما قبل التدريب، يحقق أفضل مقايضة مقارنة باستخدام AdamW أو SGD في مرحلة الـ SFT.
• المقارنة مع LoRA: خلافاً للحدس بأن LoRA ينسى أقل، أظهر تحليل جبهة باريتو أنه لكل نقطة تفتيش (checkpoint) لـ LoRA، توجد نقطة تفتيش للضبط الدقيق الكامل (باستخدام نفس المُحسِّن) تحقق كلاً من تعلماً أفضل (خسارة مهمة أقل) ونسياناً أقل (خسارة ما قبل تدريب أقل). وينطبق هذا عند اعتبار مسح مناسب لمعدل التعلم.

2. أداء Muon في مهام الاستدلال

رغم أن Muon غالباً ما ينتج نقاط تفتيش فائقة في مرحلة ما قبل التدريب (خسارة ما قبل تدريب أقل)، إلا أن أداءه يتدهور مقارنة بـ AdamW عند ضبطه بدقة في مهام الاستدلال (مثل MetaMathQA).

• الحفظ مقابل تعلم الأنماط: كشفت التجربة الاصطناعية أن Muon يحفظ البيانات التالفة (الخالية من الأنماط) بشكل أسرع من AdamW أو SGD.
• الآثار المترتبة: في مرحلة الـ SFT، حيث تكون البيانات شحيحة، يمكن لميل Muon لإعطاء الأولوية للحفظ على حساب اكتساب الأنماط أن يعيق تعلم قدرات الاستدلال المعقدة، مما يؤدي إلى أداء نهائي أضعف في المهام التي تتطلب تعميماً، رغم مؤشرات ما قبل التدريب القوية لديه.

3. دور معدلات التعلم

يسلط العمل الضوء على أن المقايضة بين التعلم والنسيان تعتمد بشكل كبير على معدل التعلم. الدراسات السابقة التي اقترحت أن LoRA ينسى أقل كانت غالباً ما تثبت معدل التعلم على القيمة المثلى للمهمة. وعند البحث عن معدل التعلم، يمكن للضبط الدقيق الكامل تحقيق مقايضة متفوقة ببساطة عن طريق خفض معدل التعلم، وهي استراتيجية لا يستطيع LoRA تكرارها بنفس الفعالية في هذا السياق المحدد.

الأهمية والادعاءات

يدعي العمل ترسيخ الاتساق بين المُحسِّن والنموذج كمبدأ أساسي لتدريب النماذج اللغوية الكبيرة:

1. مقياس موحد: إن المقايضة بين التعلم والنسيان عبر كامل مسار العمل، من ما قبل التدريب إلى الـ SFT، هي مقياس أكثر شمولاً لتقييم المُحسِّن من أداء ما قبل التدريب وحده.
2. إرشادات عملية: لتقليل النسيان مع تعظيم تعلم المهام، يجب على الممارسين استخدام نفس عائلات المُحسِّنات للـ SFT كما هو مستخدم لما قبل التدريب.
3. إعادة تقييم Muon: على الرغم من أن Muon مُحسِّن قوي لما قبل التدريب، إلا أن آلية التحديث الخاصة به (Full-Rank، تنظيم $L_2$) قد تؤدي إلى ميل نحو الحفظ المفرط في أنظمة الـ SFT ذات البيانات المحدودة، لا سيما في مهام الاستدلال. وهذا يشير إلى أن استراتيجية ضبط دقيق مخصصة، وربما مختلفة، قد تكون مطلوبة لنماذج Muon لفتح كامل إمكاناتها.
4. رؤية نظرية: يربط العمل بين تصميم المُحسِّن (الأعراف/Norms) وسلوك النموذج (تشتت التنشيطات)، مما يوفر تفسيراً نظرياً لسبب أهمية الاتساق في اختيار المُحسِّن.

يقر المؤلفون بالقيود، مشيرين إلى أن التجارب أُجريت أساساً على نماذج أصغر (GPT-2, Llama-2-7B) بسبب القيود الحسابية، وأن البراهين النظرية تعتمد على افتراضات تبسيطية (مثل المصفوفات الهيسية ذات القطر الكتلي). ويقترحون أن العمل المستقبلي يجب أن يوسع هذه النتائج لتشمل نماذج أكبر ويبحث في مُحسِّنات مصممة خصيصاً للتخفيف من نزعات الحفظ لدى المُحسِّنات ذات البنية المصفوفية أثناء الـ SFT.