Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

ملخص تقني: مرحلة ما بعد التدريب كتشكيل لتوزيع الحالة

بيان المشكلة

تركز التحليلات الحالية لطرق ما بعد التدريب (Post-Training) في النماذج اللغوية الكبيرة (LLMs) — وتحديدًا الضبط الدقيق الخاضع للإشراف (SFT)، والتعلم التعزيزي (RL)، والتقطير (Distillation) — بشكل أساسي على أهداف الأمثلة (مثل الاحتمال الأقصى، تدرجات السياسة، وتباعد KL). ومع ذلك، تعجز هذه الرؤية المتمحورة حول الهدف عن تفسير العديد من الظواهر التجريبية:

• لماذا يمكن لـ SFT الخفيف أن يحسن الأداء مع حد أدنى من النسيان، بينما يتسبب SFT المكثف ("الإجهادي") في نسيان كارثي وتدهور في أداء الهدف.
• لماذا يحقق RL تحسينات مستقرة رغم استخدام مكافآت متفرقة أو مشوشة.
• لماذا يمكن لنموذج طالب في عملية التقطير أن يتفوق أحيانًا على معلم متدهور، حتى عندما يكون المعلم هو مصدر الإشراف الوحيد.

تجادل الورقة بأن هذه التناقضات تنشأ لأن التحليلات القياسية تغفل محورًا حاسمًا من التباين: توزيع الحالة (State Distribution) الذي يتم تطبيق الإشراف عليه. في النماذج ذات التوليد الذاتي (Autoregressive models)، تُعرف "الحالة" بأنها المطالبة (Prompt) مضافًا إليها البادئة المولدة ($s_t = (x, y_{<t})$). تستخدم طرق ما بعد التدريب المختلفة إشاراتها على توزيعات حالات مختلفة جوهريًا (بادئات مجموعة بيانات ثابتة مقابل مسارات ناتجة عن النموذج نفسه)، مما يؤثر بشكل كبير على سلوك النموذج، وموضعيته (Locality)، وقدرته على الاحتفاظ بالمعلومات.

المنهجية

يقترح المؤلفون إطارًا موحدًا ينظر إلى ما بعد التدريب كعملية تشكيل لتوزيع الحالة. هم يفككون أي طريقة لما بعد التدريب إلى محورين متميزين:

1. مصدر الحالة ($q_k$): من أين تنشأ سياقات التدريب (الحالات).
2. مصدر الإشارة ($S$): ما هو الإشراف (الرموز، المكافآت، أو الـ logits) المقدم عند تلك الحالات.

الصياغة النظرية:

• SFT: ملاءمة حالة خارج السياسة (Off-policy). يقوم النموذج بتقليل خسارة الرموز على حالات مجموعة البيانات الثابتة ($d_{data}$). هذا يخلق عدم تطابق إذا انحرفت مسارات مجموعة البيانات عن المسارات التي يولدها النموذج نفسه، مما يؤدي إلى انحياز التعرض (Exposure Bias) وعدم الاستقرار المحتمل تحت الضغط.
• RL: تحسين موضعي داخل السياسة (On-policy). يقوم النموذج بأخذ عينات من المسارات من سياسته الحالية ($d_{\pi_\theta}$) ويقوم بالتحديث بناءً على المكافآت. التحديثات تكون طبيعيًا موضعية للحالات التي يزورها النموذج بالفعل.
• التقطير داخل السياسة (OPD): نموذج هجين حيث يأخذ الطالب عينات من الحالات ($d_{\pi_S}$) ولكن المعلم هو من يوفر الإشارة (الـ logits أو التكملات). هذا يفصل مصدر الحالة عن مصدر الإشارة، مما يسمح للطالب بتعلم الإصلاحات الموضعية دون وراثة توزيع المسار العالمي للمعلم.

الإعداد التجريبي:

• النموذج: Qwen3-0.6B-Base مع محولات LoRA.
• الأجهزة: وحدة معالجة رسومات واحدة من نوع RTX 3090.
• المهام:
  • الهدف: GSM8K (الاستدلال الرياضي).
  • الاحتفاظ: TruthfulQA و MMLU (لقياس النسيان الكارثي).
• المقاييس: دقة الهدف، نسبة الاحتفاظ، مقدار النسيان، وانزياح الحالة (مقاس عبر Maximum Mean Discrepancy - MMD على السمات المعجمية لحالات المسارات الناتجة).

الظروف التجريبية:

1. SFT خفيف: تدريب قياسي على GSM8K.
2. SFT إجهادي: تدريب مكثف (5 حقبات، معدل تعلم عالٍ، رتبة LoRA عالية) لإحداث التدهور.
3. OPD: تدريب طالب باستخدام نموذج "SFT إجهادي" كمعلم لمصدر الإشارة، ولكن مع أخذ عينات الحالات من سياسة الطالب نفسه.
4. RL داخل السياسة: تعلم تعزيزي خفيف الوزن باستخدام مكافآت الإجابة الصحيحة النسبية للمجموعة على GSM8K.

النتائج الرئيسية

1. SFT يعتمد على السياق: حسن SFT الخفيف أداء GSM8K (0.448 $\to$ 0.512) مع فقدان ضئيل في القدرة على الاحتفاظ. وعلى العكس من ذلك، أدى SFT الإجهادي إلى تدهور كل من المهمة المستهدفة (0.420) ومهام الاحتفاظ (انخفاض ملحوظ في TruthfulQA/MMLU)، مما يثبت أن SFT ليس مدمرًا بطبيعته، بل يصبح كذلك تحت ضغط العمل خارج السياسة (off-policy pressure) الذي لا يتوافق مع توزيع الحالة الطبيعي للنموذج.
2. OPD يتفوق على المعلمين المتدهورين: تفوق الطالب المدرب عبر OPD باستخدام نموذج "SFT إجهادي" كمعلم على جميع المقاييس (GSM8K: 0.466 مقابل 0.420؛ MMLU: 0.430 مقابل 0.364). وهذا يؤكد أن الطلاب لا يرثون إخفاقات المسار العالمي للمعلم إذا تم تدريبهم على حالاتهم الخاصة، حيث يتلقون فقط توجيهًا شرطيًا موضعيًا.
3. RL يحافظ على الموضعية: حسن RL داخل السياسة الخفيف أداء GSM8K (0.472) مع الحفاظ على مستويات احتفاظ قريبة من النموذج الأساسي. يدعم هذا الرؤية القائلة بأن RL يعمل كإجراء تحسين موضعي متجذر في الحالات التي يمكن للنموذذ الوصول إليها.
4. مقاييس الانزياح غير كافية: أظهرت الطرق ذات قيم انزياح حالة (MMD) متطابقة تقريبًا نتائج متباينة تمامًا في الاحتفاظ. على سبيل المثال، أظهر كل من SFT الإجهادي و OPD من المعلم الإجهادي قيم MMD متشابهة (~0.0109) ولكن نسب احتفاظ مختلفة تمامًا (0.82 مقابل 0.95). يشير هذا إلى أن مصدر و موضعية حالات التدريب أهم من مجرد مقدار الانزياح التوزيعي وحده.

المساهمات

1. إطار عمل موحد: صياغة SFT و RL و OPD تحت "رؤية توزيع الحالة" المشتركة، مع الفصل الصريح بين مصدر الحالة ومصدر الإشارة.
2. مسار تجريبي منضبط: تنفيذ إعداد تجريبي على وحدة معالجة رسومات واحدة يقيس دقة الهدف، الاحتفاظ، النسيان، وانزياح حالة المسارات لعزل آثار توزيع الحالة.
3. أدلة على الادعاءات المتمحورة حول الحالة: تقديم أدلة تجريبية على أن:
   • يمكن لـ OPD استعادة الأداء والتفوق على معلم متدهور من خلال فصل أخذ عينات الحالة عن توليد الإشارة.
   • RL داخل السياسة يحسن أداء الهدف مع حد أدنى من فقدان الاحتفاظ بسبب موضعيته.
   • مقاييس الانزياح القياسية (مثل MMD) لا يمكنها توصيف ديناميكيات ما بعد التدريب بالكامل دون النظر في مصدر الحالة.

الأهمية والادعاءات

تدعي الورقة أن سلوك ما بعد التدريب محكوم بالتفاعل بين إشارة الإشراف و توزيع حالة التدريب. يجادل المؤلفون بأن "مصدر، وموضعية، واعتماد التدريب على المتعلم" للحالات هي أمور بالغة الأهمية بقدر شكل إشارة الإشراف نفسها.

• إعادة صياغة SFT: النسيان الكارثي ليس مجرد وظيفة للاحتمال الأقصى، بل ينشأ عندما تدفع التحديثات الكثيفة خارج السياسة (off-policy) النموذج إلى مناطق غير متوافقة مع توزيع حالته المستقبلية.
• إعادة صياغة التقطير: يمكن للطالب أن يتفوق على المعلم لأن أخطاء المعلم غالبًا ما تكون مرتبطة بتوزيع مساره الخاص. من خلال استعلام المعلم على حالات الطالب، يصل الطالب إلى إصلاحات موضعية مفيدة دون وراثة إخفاقات المسار العالمي.
• إعادة صياغة RL: استقرار RL يعود جزئيًا إلى طبيعته داخل السياسة (on-policy)، مما يضمن تطبيق التحديثات فقط على الحالات التي يمكن للنموذج الوصول إليها والتعافي منها فعليًا.

تخلص الورقة إلى أن الرؤية المتمحورة حول الحالة ضرورية لتفسير الاستقرار وتحولات الأداء التي لا يستطيع تحليل مستوى الهدف وحده تفسيرها. ويؤكد المؤلفون أن هذه النتائج تستند إلى دراسة صغيرة النطاق ويجب اعتبارها دليلًا على فرضية ميكانيكية وليس ادعاءً نهائيًا لمعيار قياسي.