ملخص تقني: الضبط الدقيق الفائق (SFT) الجيد يحسن من الـ SFT، والضبط الدقيق الأفضل يهيئ للتعلم التعزيزي (RL)

1. بيان المشكلة

تتبع مرحلة ما بعد التدريب لنماذج اللغة الكبيرة (LLMs) ذات القدرة على الاستنتاج عادةً نموذجاً ذا مرحلتين: مرحلة ضبط دقيق فائق (SFT) غير متصلة (offline) لإنتاج نقطة انطلاق أولية، تليها مرحلة تعلم تعزيزي (RL) متصلة (online) لتعزيز الأداء بشكل أكبر. وهناك افتراض سائد في مسارات العمل الحالية مفاده أن تحسين مرحلة الـ SFT لتحقيق أقصى قدر من الدقة غير المتصلة (على سبيل المثال، تعظيم احتمالية التوكن التالي أو تقليل الخسارة على توزيع البيانات التدريبية) سيؤدي طبيعياً إلى توفير نقطة انطلاق أقوى لمرحلة الـ RL اللاحقة.

ومع ذلك، يوضح المؤلفون أن هذا الافتراض معيب. فقد لاحظوا أن النماذج التي يتم تهيئتها من نقاط انطلاق SFT "الأقوى" (تلك التي تمتلك أداءً غير متصل أفضل) يمكن أن تحقق أداءً أقل بكثير من تلك المهيأة من نقاط انطلاق "أضعف" بعد خضوعها لتدريب RL متطابق. ويُعزى هذه الظاهرة إلى عدم تطابق التوزيع (distribution mismatch) بين المرحلتين غير المتصلة والمتصلة:

• الضبط الدقيق الفائق (SFT) غير المتصل: يتعلم النموذج من بيانات مأخوذة من سياسة سلوك ($\pi_\beta$)، وهي غالباً نموذج آخر أو مجموعة بيانات ثابتة.
• التعلم التعزيزي (RL) المتصل: يتعلم النموذج من المخرجات (rollouts) التي تولدها سياسته المستهدفة ($\pi_\theta$) المتطورة.

يطبق الـ SFT القياسي إشرافاً موحداً على مستوى التوكن بناءً على توزيع سياسة السلوك. وفي مهام الاستنتاج طويلة المدى، يمكن لهذا أن يعزز أنماط الانتقال (مثل الاستمرارات التي تؤدي إلى طريق مسدود) التي تكون محتملة جداً تحت سياسة السلوك ولكنها غير محتملة تحت السياسة المستهدفة. ونتيجة لذلك، يتعلم النموذج ربط البوادئ (prefixes) باستمرارات نادراً ما سيعود لزيارتها أثناء الـ RL المتصل. وهذا يؤدي إلى نقطة انطلاق دون المستوى تعيق عملية التعلم اللاحقة.

2. المنهجية: PEAR

لمعالجة عدم التطابق هذا، يقترح المؤلفون PEAR (خوارزمية لتقييم السياسة مستوحاة من إعادة وزن خسارة التعلم غير المتصل). وPEAR هو طريقة لمرحلة الـ SFT تعيد وزن خسارة التدريب لتتوافق بشكل أفضل مع توزيع السياسة المستهدفة، مما يهيئ النموذج فعلياً لمرحلة التعلم التعزيزي (RL) المتصلة.

الآلية الجوهرية

يستخدم PEAR أخذ العينات بالأهمية (importance sampling) لتصحيح انزياح التوزيع بين سياسة السلوك ($\pi_\beta$) والسياسة المستهدفة ($\pi_\theta$). وبدلاً من معاملة جميع التوكنات في مجموعة البيانات غير المتصلة بالتساوي، يقوم PEAR بإعادة وزن خسارة كل توكن بناءً على نسبة الاحتمالية بين السياسة المستهدفة وسياسة السلوك.

يتم تعديل دالة الهدف كما يلي:
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
حيث أن:

• $\ell_\theta$ هي الخسارة القياسية لكل توكن (مثل NLL أو تباعد KL).
• $\text{sg}[\cdot]$ يشير إلى عامل إيقاف التدرج (stop-gradient)، حيث يُعامل الوزن كمعامل ثابت.
• $\hat{G}_t$ هو وزن الأهمية المستقر عددياً للتوكن $t$.

متغيرات التوزين

يوفر PEAR ثلاثة مستويات من التفصيل لحساب الأوزان $\hat{G}_t$:

1. التوزين على مستوى التسلسل (Sequence-Level Weighting): يطبق نسبة أهمية عالمية واحدة ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) على جميع التوكنات في المسار. يفترض هذا أن معقولية التسلسل بأكمله تحت السياسة المستهدفة موحدة.
2. التوزين على مستوى التوكن (المعتمد على اللاحقة - Suffix-Based): يحسب الأوزان بناءً على نسبة أهمية اللاحقة. بالنسبة للتوكن $y_t$، يتم تحديد الوزن بناءً على احتمالية الاستمرارية المتبقية ($y_{>t}$) تحت السياسة المستهدفة مقارنة بسياسة السلوك:
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   هذا يقلل من وزن التوكنات التي تؤدي إلى استمرارات من غير المرجح أن تولدها السياسة المستهدفة، مما يركز التعلم على البوادئ المتوافقة مع سلوك المستقبل للسياسة المستهدفة.
3. التوزين على مستوى الكتلة (Block-Level Weighting): للتخفيف من التباين العالي المتأصل في أوزان الأهمية الضربيه طويلة المدى، يتم تقسيم التسلسل إلى كتل. تُحسب الأوزان وتُطبق بشكل موحد داخل كل كتلة، مما يضحي ببعض الدقة مقابل الاستقرار.

ميزات إضافية

• الأمثلة السلبية: يمكن لـ PEAR دمج مسارات الفشل المتحقق منها عن طريق تطبيق حد تنافري (repulsive term)، مما يدفع النموذج بعيداً عن الاستمرارات السلبية مع الحفاظ على اتساق السياسة.
• التكيف مع الصندوق الأسود (Black-Box Adaptation): عندما لا تتوفر سياسة السلوك $\pi_\beta$ بدقة (على سبيل المثال، في حالة البيانات مغلقة المصدر)، يمكن لـ PEAR استخدام نموذج وسيط أو مجموعة من النماذج الوسيطة لتقريب احتمالات لوغاريتم (log-probabilities) سياسة السلوك.
• الاستقرار العددي: تستخدم الطريقة الحساب في فضاء اللوغاريتم وتقليم (clipping) نسب اللوغاريتم لمنع عدم الاستقرار العددي أثناء حساب المتواليات الضربيه الطويلة.

3. المساهمات الرئيسية

• الإثبات التجريبي للانفصال بين الـ Offline والـ Online: تقدم الورقة تجارب منضبطة تظهر أن الأداء غير المتصل (offline) هو مؤشر غير موثوق للأداء بعد الـ RL. فالأهداف القوية للـ SFT يمكن أن تؤدي إلى نتائج RL نهائية أضعف بسبب عدم تطابق التوزيع.
• خوارزمية PEAR: تقديم مخطط إعادة وزن عملي وقابل للإضافة يستخدم مبادئ تقييم السياسة خارج النطاق (OPE) لمواءمة الـ S SFT غير المتصل مع أهداف الـ RL المتصل.
• تقييم شامل: اختبارات واسعة النطاق عبر عائلات نماذج متعددة (Qwen2.5, Qwen3, DeepSeek-distilled) وأحجام مختلفة (من 0.6B إلى 8B) في مهام استنتاج قابلة للتحقق (ألعاب منطقية، اختبارات رياضية).
• تحليل انزياح المعلمات (Parameter Drift): يوضح المؤلفون أن النماذج المهيأة بواسطة PEAR تخضع لانزياح أقل في المعلمات أثناء تدريب الـ RL اللاحق، مما يشير إلى أن PEAR يقلل من الحاجة لمرحلة الـ RL لتصحيح عدم المواءمة بين الـ offline والـ online.

4. النتائج التجريبية

أجرى المؤلفون تجارب على ألغاز منطقية اصطناعية (SynLogic, Enigmata) ومعايير استنتاج رياضية (AIME-2024/2025, AMC-2023, MATH-500).

• مكاسب الأداء: يتفوق PEAR باستمرار على الـ SFT التقليدي وغيره من الخطوط المرجعية (بما في ذلك SFT المنظم بـ KL، وTALR، وأهداف احتمالية متنوعة) بعد الـ RL.
  • في AIME-2025، حققت النماذج المهيأة بـ PEAR مكاسب في Pass@8 تصل إلى 30 نقطة مئوية مقارنة بـ SFT القياسي (على سبيل المثال، الارتفاع من 5% إلى 35% في DeepSeek-Distill-Qwen-1.5B).
  • في ألعاب المنطق SynLogic، أظهر PEAR تحسينات في Pass@1 تصل إلى +25 نقطة مئوية (على سبيل المثال، من 13.1% إلى 38.3% في Qwen3-1.7B-Base).
• التعميم: تنتقل فوائد PEAR عبر توزيعات مهام RL مختلفة (مثل التدريب على SynLogic والـ RL على Enigmata) وخوارزميات RL مختلفة (GRPO وDAPO).
• متانة الصندوق الأسود: حتى عند استخدام نماذج وسيطة لتقريب سياسة السلوك، يتفوق PEAR بشكل كبير على SFT القياسي، مع قدرة النماذج الوسيطة القوية على مطابقة أداء الصندوق الأبيض (white-box).
• الاستقرار: تظهر النماذج المهيأة بـ PEAR انزياحاً أصغر في المعلمات (مقاساً بـ Normalized Spectrum Shift) أثناء مرحلة الـ RL المتصلة مقارنة بالنماذج المهيأة بـ SFT القياسي، مما يشير إلى مسار تعلم أكثر كفاءة.

5. الأهمية والادعاءات

تجادل الورقة بأن الهدف من مرحلة الـ SFT غير المتصلة لا ينبغي أن يكون مجرد تعظيم الدقة غير المتصلة، بل تهيئة السياسة للتعلم التعزيزي (RL) اللاحق.

• الضبط اللاحق الشامل: يزعم المؤلفون أن تصميم أهداف الـ SFT مع وضع الـ RL اللاحب في الاعتبار أمر بالغ الأهمية. فالتحسين لأهداف مقاييس الـ offline بمعزل عن غيرها قد يكون بنتائج عكسية، لأنه قد يعزز سلوكيات غير متوافقة مع ديناميكيات الاستكشاف والتحسين للسياسة المستهدفة.
• تصحيح عدم التطابق: يعمل PEAR كنموذج ملموس لمبدأ أن التدريب غير المتصل يجب أن يصحح عدم تطابق الإشغال (occupancy mismatch) بين السلوك والهدف. ومن خلال تقليل وزن الاستمرارات غير المحتملة وزيادة وزن تلك المتوافقة مع السياسة المستهدفة، يخلق PEAR نقطة انطلاق أكثر فعالية.
• التأثير العملي: تشير النتائج إلى أن استراتيجيات إعادة الوزن البسيطة القائمة على تقييم السياسة خارج النطاق يمكن أن تحقق تحسينات كبيرة في قدرات الاستنتاج دون الحاجة إلى تغييرات معمارية معقدة أو جمع بيانات إضافية، بشرما كانت احتمالات سياسة السلوك متاحة (أو يمكن تقريبها).

يخلص المؤلفون إلى أن "المرحلة غير المتصلة الجيدة لا ينبغي أن تحسن الدقة غير المتصلة، بل تهيئ السياسة للـ RL الذي يليها"، مما يضع PEAR كخطوة نحو مسارات تدريب لاحق (post-training) أكثر شمولية للنماذج اللغوية الكبيرة.