ملخص تقني: استقرار الضبط الدقيق الخاضع للإشراف للنماذج اللغوية الكبيرة عبر التحكم الصريح القائم على التوزيع

1. بيان المشكلة

يؤدي تدريب النماذج اللغوية الكبيرة (LLMs) بعد مرحلة ما بعد التدريب للتكيف مع أهداف جديدة باستخدام الضبط الدقيق الخاضع للإشراف (SFT) بشكل متكرر إلى النسيان الكارثي، حيث تؤدي التحسينات في مهمة مستهدفة إلى تدهور القدرات العامة المكتسبة مسبقاً. تشير الدراسات التجريبية والنظرية الحديثة إلى أن هذه الظاهرة ناتجة أساساً عن الانجراف المفرط القائم على التوزيع أثناء عملية التحسين.

بينما تعمل طرق التعلم التعزيزي (RL) (خاصة التعلم التعزيزي داخل السياسة/on-policy) على تقييد هذا الانجراف ضمناً والحفاظ على القدرات السابقة بشكل أفضل من SFT، إلا أنها تعتمد على جمع البيانات المكلف وخطوط أنابيب تحسين معقدة. في المقابل، يفتقر SFT القياسي إلى آليات صريحة لتنظيم مقدار أو اتجاه التحولات القائمة على التوزيع، مما يؤدي غالباً إلى تغييرات سلوكية مفاجئة. إن استراتيجيات التخفيف الموجودة، مثل تنظيم KL الثابت أو تقطير المعلم الثابت، لا تقدم سوى تحكم غير مباشر أو مضبوط عالمياً لا يتوافق مع الهندسة المحلية لتوزيعات النموذج، مما يؤدي غالأ إلى صراعات تدرج مستمرة بين التكيف مع المهمة الجديدة والحفاظ على النموذج الأساسي.

التحدي المركزي هو: هل يمكن لآلية بسيطة وصريحة تمكين التحكم المستقر في التحديثات القائمة على التوزيع في إطار SFT غير متصل (offline) تماماً، مما يجمع بين كفاءة SFT واستقرار التعلم التعزيزي داخل السياسة؟

2. المنهجية: التعلم المرتكز (Anchored Learning)

يقترح المؤلفون التعلم المرتكز، وهو إطار عمل يتحكم صراحة في التحديثات القائمة على التوزيع أثناء الضبط الدقيق غير المتصل عبر مرتكز متحرك يتطور ديناميكياً.

الآلية الجوهرية

بدلاً من التكيف مع توزيع مرجعي ثابت (مثل النموذج الأساسي $p_{base}$)، يقوم التعلم المرتكز ببناء توزيع مستهدف وسيط $q^{(t)}$ عند كل تكرار $t$ من خلال الاستيفاء (interpolation) بين:

1. النموذج القابل للتدريب الحالي $p_{\theta}^{(t)}$.
2. نموذج مرجعي ثابت لـ SFT وهو $p_{sft}$ (تم تدريبه مرة واحدة على بيانات الهدف وظل ثابتاً).

يعمل الإطار في حلقتين:

• الحلقة الخارجية (اختيار المرتكز): عند التكرار $t$، يتم بناء توزيع مرتكز $q^{(t)}$ عبر عامل استيفاء $I_\alpha$:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  يتم فصل المرتكز عن الرسم البياني للحساب (computation graph) ويعمل كهدف ثابت للحلقة الداخلية.
• الحلقة الداخلية (تكيف المرتكز): يتم تحديث معاملات النموذج لتقريب هذا المرتكز عن طريق تقليل هدف التقطير (KL-divergence) عبر مجموعة البيانات المستهدفة $D$:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

نماذج التنفيذ

يتم تنفيذ عامل الاستيفاء $I_\alpha$ في فضاءين:

1. فضاء اللوغيت (Logit Space): الاستيفاء الخطي للوغيتات ما قبل الـ softmax، يليه تطبيع softmax. وهذا يتوافق مع المتوسط الهندسي للتوزيعات (سلوك يميل نحو الأنماط/modes).
2. فضاء الاحتمالات (Probability Space): الاستيفاء الخطي لتوزيعات التنبؤ مباشرة. وهذا يتوافق مع المتوسط الحسابي (سلوك يغطي الأنماط/modes).

الضمانات النظرية

يقدم العمل براهين نظرية تسمح بوجود حد علوي خطي لتباعد KL لكل تكرار.

• فضاء الاحتمالات: تباعد KL بين المرتكز والنموذج الحالي محكوم بـ $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• فضاء اللوغيت: التباعد محكوم بـ $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

تضمن هذه الحدود انتقال النموذج بين التوزيعات بطريقة مستقرة ومتحكم بها، مما يحول الضبط الدقيق العالمي فعلياً إلى سلسلة من تحديثات منطقة الثقة المحلية. وتظهر التحليلات النظرية أنه تحت الإسقاط الدقيق، يتقارب النموذج هندسياً نحو مرجع SFT مع الحفاظ على انحراف محدود لكل خطوة.

3. المساهمات الرئيسية

1. اقتراح إطار العمل: تقديم التعلم المرتكز، وهو إطار عمل بسيط يفرض تحكماً محلياً على التحديثات القائمة على التوزيع في الضبط الدقيق غير المتصل عبر مرتكز متحرك، مما يتجنب الحاجة إلى التفاعل عبر الإنترنت أو خطوط أنابيب RL المعقدة.
2. الاستقرار النظري: اشتقاق حدود صريحة لتباعد KL لكل تكرار لكل من التثبيت في فضاء الاحتمالات والتثبيت في فضاء اللوغيت، مما يوفر ضمانات رسمية للاستقرار القائم على التوزيع.
3. التحقق التجريبي: إثبات أن الطريقة تحقق مقايضة متفوقة بين مكاسب الأداء والاستقرار عبر عدة اختبارات مرجعية، حيث تضع نفسها باستمرار على جبهة باريتو (Pareto frontier) مقارنة بالنماذج المرجعية القوية.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مهام مستهدفة (iGSM، MedCalc، IFEval) باستخدام نماذج Qwen2.5 (1.5B–14B) و Llama-3.2-3B. تم قياس الأداء مقابل SFT القياسي ومختلف النماذج المرجعية للحد من النسيان (مثل Low-SFT، وKL-SFT، وSelf-SFT، وIter-SFT).

• المقايضة بين الربح والاستقرار: حقق SFT القياسي أداءً عالياً في المجال المستهدف ولكنه عانى من تدهور شديد في القدرات العامة (على سبيل المثال، انخفاض في الأداء بنسبة >53% في iGSM و MedCalc). قلل التعلم المرتكز من هذا التدهور إلى أقل من 5% مع الحفاظ على مكاسب قريبة من المثالية (على سبيل المثال، 75.2% في iGSM).
• مثالية باريتو: عبر جميع أحجام النماذج والمهام، وضع التعلم المرتكز نفسه باستمرار بالقرب من جبهة باريتو، متفوقاً على النماذج المرجعية التي إما ضحت بأداء المجال من أجل الاستقرار (مثل Low-SFT) أو فشلت في منع النسيان (مثل SFT القياسي).
• التوسع (Scaling): كانت فوائد التعلم المرتكز قوية عبر أحجام النماذج (من 1.5B إلى 7B)، حيث حافظت على قدرات عامة أعلى بكثير من Low-SFT دون التضحية بدقة المجال.
• حساسية المعلمات الفائقة (Hyperparameters):
  • معامل الاستيفاء ($\alpha$): قدم النطاق المتوسط لـ $\alpha$ أفضل مقايضة.
  • جدول التحديث: سلطت الدراسة الضوء على أن الأداء العام يمكن أن يتدهور بشكل غير رتيب مع زيادة تكرارات التدريب، حتى عندما يصل دقة الهدف إلى التشبع. وهذا يشير إلى أن "المزيد من التدريب" لا يضمن الاستقرار ويؤكد الحاجة إلى التحكم في المسار بشكل صريح.
  • فضاء الاستيفاء: فضل الاستيفاء في فضاء اللوغيت (المتوسط الهندسي) الاستقرار والحفاظ على القدرات العامة، بينما فضل الاستيفاء في فضاء الاحتمالات (المتوسط الحسابي) المرونة والتكيف مع المجال.

5. الأهمية والادعاءات

يزعم العمل أن التعلم المرتكز يقدم بديلاً عملياً لآليات الاستقرار الضمنية الموجودة في التعلم التعزيزي داخل السياسة (on-policy RL). فمن خلال تشكيل التوزيعات المستهدفة الوسيطة صراحة، فإنه يحول التحسين العالمي إلى سلسلة من التحديثات المحلية المحافظة.

يؤكد المؤلفون أن نهجهم:

• يعمل في بيئة غير متصلة (offline) تماماً ولا يتطلب الوصول إلى بيانات من مجالات عامة لإعادة التشغيل أو التدريب المشترك.
• يوفر ضمانات نظرية للاستقرار القائم على التوزيع، معالِجاً السبب الجذري للنسيان (الانجراف المفرط) بدلاً من مجرد معالجة أعراضه.
• يحقق أداءً قريباً من المثالية في المهام المستهدفة مع تقليل النسيان الكارثي بشكل كبير، متفوقاً بذلك على طرق التنظيم والتقطير الثابتة الموجودة.

القيود: يقر المؤلفون بأن التعلم المرتكز يتسبب في تكاليف حسابية إضافية مقارنة بـ SFT القياسي (حوالي 1.5 إلى 2 ضعف زمن التدريب واستهلاك الذاكرة) بسبب الحاجة إلى بناء المرتكزات وإجراء عمليات تمرير أمامي إضافية للتقطير. ومع ذلك، يشيرون إلى أن هذا أقل بكثير من التكاليف المرتبطة بالتعلم التعزيزي داخل السياسة (on-policy RL).