ملخص تقني: التقطير الذاتي القائم على التفضيل (PBSD)

بيان المشكلة

تقدم عملية التقطير داخل السياسة (On-Policy Distillation - OPD) بديلاً فعالاً للتعلم المعزز (RL) في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، وذلك عبر توفير إشارات تدريب كثيفة على مستوى الرموز (tokens). ومع ذلك، تعتمد عملية OPD القياسية على نموذج معلم خارجي أقوى، مما يخلق اختناقات في الكفاءة الحسابية والقابلية للتوسع بسبب الحاجة إلى بنيات معمارية منفصلة وقواميس لغوية مشتركة.

ولمعالجة ذلك، ظهرت التقطير الذاتي داخل السياسة (on-policy self-distillation)، حيث يعمل نفس النموذج كمعلم وطالب في آن واحد، ويتم تشكيل المعلم من خلال تكييف النموذج مع سياق إضافي متميز (مثل العروض التوضيحية للخبير أو آثار الاستدلال). ورغم إمكاناتها، تعاني طرق التقطير الذاتي الحالية من قصورين حرجين:

1. عدم استقرار التدريب وتدهور الأداء: تعتمد النهج الحالية على محاذاة تباعد كولباك - ليبلر (KL divergence) المباشر مع المعلم المعزز بالسياق. وتشير التحليلات الأخيرة إلى أن هذا يمكن أن يؤدي فعلياً إلى تدهور أداء الاستدلال بمرور الوقت عن طريق كبح التعبير عن اليقين (epistemic verbalization) (مثل عدم اليقين، والتحقق الذاتي)، مما يؤدي إلى مسارات استدلال أقصر وأكثر ثقة مفرطة.
2. الافتقار إلى التنوع الاستكشافي: إن معاملة نسخة معززة سياقياً من نفس النموذج كمعلم يفترض أن المعلم هو "أوراكل" (oracle) قوي. ومع ذلك، بما أن المعلم والطالب يتشاركان في نفس المعلمات، فإن الإشراف غالباً ما يفتقر إلى التنوع والقيمة الاستكشافية التي قد يوفرها نموذج خارجي أقوى حقاً.

تجادل الورقة بأن مجرد نسخ توزيع المعلم عبر محاذاة KL هو أمر غير مثالي، لأنه يتجاهل بنية المكافأة الكامنة للاستجابات.

المنهجية: التقطير الذاتي القائم على التفضيل (PBSD)

يقترح المؤلفون التقطير الذاتي القائم على التفضيل (PBSD)، وهو إطار عمل يعيد صياغة التقطير الذاتي داخل السياسة من منظور تنظيم المكافأة (reward-regularized perspective)، بدلاً من استخدام محاذاة KL الثابتة للمعلم.

1. هدف تنظيم المكافأة

بدلاً من تقليل تباعد KL العكسي فقط بين الطالب $\pi_\theta$ والمعلم $\pi_{\text{teach}}$، يقوم PBSD بتحسين هدف مشترك يوازن بين محاذاة KL وتعظيم المكافأة:
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
حيث $r(x, y)$ هي مكافأة مستهدفة كامنة، و $\beta$ يتحكم في قوة التنظيم.

رؤية نظرية: استنتج المؤلفون أن الأمثل التحليلي لهذا الهدف ليس توزيع المعلم نفسه، بل هو توزيع معلم مُمال بالمكافأة (reward-tilted teacher distribution):
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
هذا السياسة المستهدفة متفوقة بشكل مثبت على المعلم الأصلي تحت هدف تنظيم المكافأة، بشرط أن تتباين المكافأة عبر الاستجابات التي يدعمها المعلم. يعمل المعلم كـ "توزيع دعم" (support distribution) (انحياز استقرائي)، بينما تعيد المكافأة وزن الاحتمالات نحو السلوكيات ذات الجودة الأعلى.

2. التحسين عبر تعلم التفضيلات

بما أن المكافأة الكامنة $r(x, y)$ غير مرصودة، يقوم PBSD بتحسين الهدف باستخدام تعلم التفضيلات (المستوحى من DPO).

• بناء المعلم: يتم تعريف المعلم $\pi_{\text{teach}}(y|x)$ كونه نفس النموذج الأساسي المشروط على سياق متميز $c$ (على سبيل المثال، $\pi(y|x, c)$).
• أزواج التفضيل: لكل مدخل $x$، يتم توليد عينة إيجابية $y^+$ من المعلم (الأفضل حالاً من حيث التكييف) وعينة سلبية $y^-$ من الطالب الحالي (داخل السياسة).
• دالة الخسارة: تقوم الطريقة بتعظيم احتمال تفضيل استجابة المعلم على استجابة الطالب باستخدام نموذج برادلي-تيري (Bradley-Terry):
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  هذه الصيغة تحسن فعلياً "فجوة التفضيل" بين عينات المعلم والطالب مع الحفاظ على أخذ العينات داخل السياسة، مما يتجنب الحاجة إلى نموذج مكافأة صريح.

3. التحليل الإحصائي

تقدم الورقة تحليلاً إحصائياً لمشكلة تعلم التفضيل المستحثة. ووجدت أن التقطير الذاتي السياقي أفضل نظرياً من التقطير من معلم خارجي عندما:

• توفر العينات الإيجابية المولدة بواسطة المعلم اتجاهات فجوة درجات متنوعة (تغطي اتجاهات معلوماتية تتجاوز توزيعات الطالب الحالية).
• تظل هوامش التفضيل بين المعلم والطالب معتدلة.
  ويظهر التحليل أن تعقيد العينات المحلي يتحدد من خلال أصغر قيمة ذاتية لمصفوفة المعلومات التجريبية. يحافظ التقطير الذاتي السياقي بطبيعته على هوامش معتدلة (يتجنب التشبع) ويوفر اتجاهات أغنى من النسخ الذاتي البحت، مما يؤدي إلى حدود تقدير أكثر إحكاماً.

المساهمات الرئيسية

1. هدف تنظيم المكافأة: تقديم هدف تقطير ذاتي يوازن بين القرب من المعلم وتعظيم المكافأة، مع إثبات أن الهدف الأمثل هو توزيع معلم مُعاد وزنه بالمكافأة وليس المعلم نفسه.
2. إطار عمل PBSD: اقتراح إطار عمل جديد للتقطير الذاتي داخل السياسة القائم على التفضيل، والذي يحسن فجوات التفضيل بين عينات المعلم والطالب دون الحاجة إلى معلم خارجي أو نموذج مكافأة.
3. التبرير النظري: تقديم تحليل إحصائي يحدد الشروط التي يتفوق فيها التقطير الذاتي السياقي على التقطير من المعلمين الخارجيين، وتحديداً فيما يتعلق بالمفاضلة بين تنوع فجوة الدرجات واعتدال الهامش.
4. التحقق التجريبي: إثبات التحسن المستمر عبر أحجام نماذج متعددة (1.7B, 4B, 8B) في اختبارات الاستدلال الرياضي واستخدام الأدوات.

النتائج التجريبية

قيم المؤلفون PBSD في الاستدلال الرياضي (مجموعة بيانات OpenThoughts، تم تقييمها على AIME 2024/2025، HMMT 2025) واستخدام الأدوات (إعداد قائم على ToolAlpaca) باستخدام نماذج Qwen3.

• الأداء: حقق PBSD باستمرار أقوى متوسط أداء عبر جميع أحجام النماذج والمهام.
  • في Qwen3-8B، حقق PBSD متوسطاً رياضياً قدره 65.2، متفوقاً على النموذج الأساسي (+3.7) وأقوى خط أساس OPSD (+1.0).
  • في Qwen3-4B و 1.7B، حقق PBSP أيضاً أعلى المتوسطات، متفوقاً على خطوط الأساس مثل GRPO و DAPO و OPSD.
  • في استخدام الأدوات، حقق PBSD أفضل دقة من النوع Top-1 عبر جميع الأحجام (مثلاً 72.0% لنموذج 8B).
• الاستقرار: على عكس OPSD، الذي غالباً ما يصل إلى ذروته مبكراً ثم يتراجع، أظهر PBSD تقدماً مستقراً في التدريب طوال ميزانية الـ 500 خطوة كاملة.
• كفاءة الرموز: حافظ PBSD على كفاءة الرموز للتقطير الذاتي (توليد مسار واحد لكل مطالبة) مع تحقيق أداء يضاهي أو يتفوق على طرق التعلم المعزز (مثل GRPO)، والتي تتطلب ميزانيات رموز ضخمة.
• دراسات الاستئصال (Ablation Studies):
  • المعلم الثابت: وُجد أن إبقاء نموذج المعلم ثابتاً عند نقطة البداية كافٍ وفعال؛ حيث لم يقدم تحديث المعلم كل 5 خطوات أي ميزة واضحة.
  • الاستكشاف: حافظ PBSD على سلوك الاستدلال الاستكشافي (أطوال إكمال معتدلة) بشكل أفضل من طرق محاذاة KL المباشرة وتجنب الانهيار إلى مسارات قصيرة جداً وواثقة بشكل مفرط.

الأهمية والادعاءات

تدعي الورقة أن PBSD يسد فجوة جوهرية في نماذج ما بعد التدريب عبر الجمع بين كفاءة الرموز للتقطير الذاتي والاستقرار والوعي بالمكافأة لتحسين التفضيل.

• ما وراء محاذاة KL: تتحدى الورقة الافتراض بأن التقطير الذاتي يجب أن يكون مشكلة محاذاة توزيع مباشرة. وتفترض أن المعلم يجب أن يحدد دعم (support) السلوكيات المفيدة، بينما يجب أن يقوم التحسين بتعزيز الاستجابات ذات الجودة الأعلى انتقائياً من خلال إعادة وزن المكافأة.
• القابلية للتوسع: من خلال إلغاء الاعتماد على نماذج معلم خارجية أو نماذج مكافأة، يقدم PBSD مساراً قابلاً للتوسع لتعميم الوكلاء الأقوياء مفتوحي المصدر، لا سيما في السيناريوهات التي تتضمن استدلالاً متعدد الخطوات واستخدام الأدوات.
• المتانة: يوفر الإطار توزيعاً مستهدفاً أكثر متانة يحافظ على الاستدلال الاستكشافي ويسمح بتحسين أكثر استقراراً مقارنة بأساليع التقطير الذاتي السابقة.

يخلص المؤلفون إلى أن التقطير الذاتي الواعي بالمكافأة يمثل نموذجاً واعداً للتدريب المستقر والقابل للتوسع للنماذج اللغوية الموجهة نحو الاستدلال، مما يربط بفعالية بين الإشراف الكثيف وتحسين المكافأة دون تبعات خارجية.