ملخص تقني: $\beta$-OPSD

1. بيان المشكلة

برزت عملية التقطير الذاتي داخل السياسة (on-policy self-distillation أو OPSD) كتقنية واعدة لتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). في نظام OPSD القياسي، يتعلم النموذج الطالب من مسارات العينات الخاصة به مع تلقي إشراف من "معلم متميز" (وهو نفس بنية النموذج ولكن مع الوصول إلى الحلول الحقيقية أو المسارات المتحقق منها) المتاح فقط أثناء التدريب.

ومع ذلك، يرى المؤلفون أن OPSD التقليدي غالبًا ما يكون هشًا في الممارسة العملية، ويتطلب جهدًا هندسيًا كبيرًا ليعمل بشكل موثوق. تكمن المشكلة الجوهرية في أن OPSD القياسي يعامل المعلم كهدف وحيد للتحسين، مما يثبت ضمنيًا قوة التنظيم التي تثبت الطالب عند سياسته الأولية أو المرجعية. هذا الصياغة الجامدة تفتقر إلى آلية للتحكم في مدى عدوانية ابتعاد الطالب عن سياسته المرجعية نحو المعلم، مما يؤدي غالبًا إلى عدم الاستقرار أو التقارب دون المستوى الأمثل.

2. المنهجية

يقترح البحث إطار عمل $\beta$-OPSD، الذي يعيد صياغة التقطير الذاتي داخل السياسة كعائلة أوسع من مشكلات تحسين السياسة المنظمة بـ KL. تسير المنهجية في ثلاث مراحل: اشتقاق الهدف النظري، وتحويله إلى هدف تقطير عملي، وتحسين تخصيص الائتمان (credit assignment).

2.1. الاشتقاق النظري: $\beta$-OPSD كتحسين للسياسة

يوضح المؤلفون أن OPSD التقليدي هو بالضبط العضو ذو القيمة $\beta = 1$ في عائلة تحسين السياسة المنظمة بـ KL. لقد عرفوا دالة الهدف $J_\beta(\theta)$ كالتالي:
$$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$$
حيث أن:

• $\pi_\theta$: سياسة الطالب.
• $p_T$: سياسة المعلم المتميز (المشروطة على المشكلة $x$ والمعلومات المتميزة $c$).
• $\pi_{\text{ref}}$: السياسة المرجعية (مثل الطالب الأولي).
• $\beta$: معامل تنظيم قابل للتحكم.

الرؤية الجوهرية: عندما تكون $\beta=1$، تلغي الحدود المرجعية بعضها البعض، مما يستعيد تقليل KL العكسي القياسي تجاه المعلم. أما بالنسبة لـ $\beta > 1$، فتصبح الدالة أكثر تحفظًا، حيث تعاقب الانحرافات عن السياسة المرجعية بشكل أكبر.

2.2. السياسة المثلى والتدخل الهندسي

اشتق المؤلفون السياسة المثلى ذات الصيغة المغلقة $\pi^\star_\beta$ لهذه الدالة:
$$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$$
يمثل هذا الحل تدخلاً هندسيًا بين السياسة المرجعية والمعلم المتميز. يعمل المعامل $\beta$ (تحديدًا مقلوبه $1/\beta$) كوزن يحدد الموقع على طول هذا المسار.

• $\beta = 1 \implies$ الهدف هو المعلم.
• $\beta \to \infty \implies$ الهدف يقترب من السياسة المرجعية.

2.3. التدريب العملي: التدخل المجدول للوغاريتمات (Logit Interpolation)

إن تحسين هدف RL بشكل مباشر مكلف حوسبيًا بسبب المعايرة (normalizer) غير القابلة للحساب والاشتقاقات عالية التباين. بدلاً من ذلك، يقوم $\beta$-OPSD بتحويل الحل النظري إلى هدف تقطير فعال.

• التقريب المحلي: نظرًا لأن المعايرة على مستوى التسلسل غير قابلة للحساب، فإن الطريقة تقرب السياسة المثلى عند كل بادئة فك تشفير $h_t$ عن طريق التدخل الخطي لـ اللوغاريتمات (logits) للمرجع والمعلم:
  $$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$$
• الجدولة المنهجية (Curriculum Scheduling): بدلًا من تثبيت $\beta$، تستخدم الطريقة جدولة حيث يزداد وزن المعلم $w_k = 1/\beta_k$ خطيًا من $w_{\text{start}}$ إلى $w_{\text{end}}$ عبر خطوات التدريب. وهذا يخلق منهجًا تعليميًا سلسًا، يبدأ بأهداف أقرب إلى الطالب ويدمج تدريجيًا توجيهًا أقوى من المعلم.

2.4. تخصيص الائتمان بنظام العائد المتبقي (Return-to-Go)

تحديثات OPSD التقليدية على مستوى الرمز (token-level) هي تحديثات "قصيرة النظر"، حيث تعامل فقدان كل رمز بشكل مستقل. هذا يتجاهل كيف يؤثر اختيار رمز مبكر على البوادئ المستقبلية وعدم التطابق اللاحق مع الهدف.
لمعالجة ذلك، يقدم $\beta$-OPSD تخصيص ائتمان العائد المتبقي (RTG). يتم وزن فقدان الرمز $t$ من خلال عدم التطابق المستقبلي التراكمي (العائد المخصوم) على طول المسار:
$$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$$
حيث $\rho_s$ هو عدم تطابق نسبة اللوغاريتم عند الخطوة $s$. يضمن هذا أن الرموز المبكرة تحصل على الائتمان (أو اللوم) بسبب عدم التطابق التوزيعي الذي تسببه لاحقًا في التسلسل، مما يوائم التحديثات على مستوى الرمز مع الهدف على مستوى التسلسل.

3. المساهمات الرئيسية

1. التوحيد النظري: يثبت البحث أن OPSD التقليدي هو حالة $\beta=1$ لعائلة أوسع من تحسين السياسة المنظمة بـ KL، مما يجعل اختيار التنظيم الضمني صريحًا وقابلًا للتحكم.
2. إطار عمل $\beta$-OPSD: يقدم دالة مستهدفة معممة حيث تكون السياسة المثلى عبارة عن تدخل هندسي بين المرجع والمعلم، ويتم تحقيق ذلك عمليًا عبر التدخل المجدول للوغاريتمات.
3. خوارزمية تدريب فعالة: يقترح المؤلفون طريقة لتقريب الحل المشتق من RL المكلف باستخدام تقطير منخفض التكلفة على مستوى الرمز، متجنبين الحاجة إلى آليات RL المعقدة مثل تقدير الميزة (advantage estimation).
4. المواءمة على مستوى التسلسل: يصحح دمج تخصيص ائتمان العائد المتبقي الطبيعة قصيرة النظر لتحديثات KL على مستوى الرمز، مما يوفر مُقدّرًا غير منحاز للهدف على مستوى التسلسل.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات الاستنتاج الرياضي (AIME 2024, AIME 2025, HMMT 2025) باستخدام نماذج Qwen3 تتراوح أحجامها من 1.7B إلى 8B بارامتر.

• مكاسب الأداء: تفوق $\beta$-OPSD باستمرار على كل من OPSD التقليدي، وSFT، وGRPO.
  • على نموذج Qwen3-1.7B، حسن $\beta$-OPSD متوسط الأداء (avg@12) بمقدار 5.74 نقطة مئوية فوق OPSD التقليدي، مع مكاسب محددة بلغت 9.16 نقطة في AIME 2024.
  • على النماذج الأكبر (4B و8B)، حافظ على أداء تنافسي أو متفوق، محققًا تحسنًا إجماليًا قدره 1.76 و1.66 نقطة على التوالي.
• دراسات الاستبعاد (Ablation Studies):
  • التوزيع المستهدف: استبدال هدف المعلم الثابت بهدف التدخل اللوغاريتمي المجدول حقق مكاسب كبيرة (مثلاً، +6.03 نقاط في AIME 2024)، مما يؤكد فائدة الانتقال السلس.
  • تخصيص الائتمان: استخدام أوزان العائد المتبقي بدلاً من التدرجات المحلية للرموز حسن الأداء (مثلاً، +5.55 نقطة في AIME 2025)، مما يؤكد أهمية التحديثات الواعية بالمستقبل.
  • بناء المرجع: تم تحقيق أفضل أداء باستخدام طالب ديناميكي (النموذج الحالي) ومعلم ثابت (المعلم المتميز)، مما يشير إلى أن تتبع التوزيع المتطور للطالب مع الحفاظ على مرساة إشرافية مستقرة هو الخيار الأمثل.

5. الأهمية والادعاءات

يدعي البحث أنه يوفر "مسارًا مبدئيًا من التقطير الذاتي إلى تحسين السياسة وبالعكس". تكمن أهميته الأساسية في:

• الاستقرار: من خلال التعامل مع $\beta$ كمعامل قابل للتحكم، تعالج الطريقة هشاشة OPSD التقليدي، مما يسمح بتحسين أكثر سلاسة يوازن بين القرب من السياسة المرجعية وبين توجيه المعلم.
• الكفاءة: تحقق الطريقة فوائد تحسين السياسة (أهداف مستوى التسلسل، تنظيم KL) دون التكلفة الحوسبية لـ RL الكامل، محتفظة بكفاءة التقطير القياسي.
• القدرة على التعميم: يقدم النهج آلية لتقليل الفجوة التوزيعية بين الطالب والمعلم، وهو أمر مفيد بشكل خاص للنماذج الصغيرة حيث تكون هذه الفجوة أكبر.

يخلص المؤلفون إلى أن المسارات المستهدفة السلسة وتخصيص الائتمان على مستوى المسار هي مبادئ فعالة للتقطير داخل السياسة، مما يوفر بديلًا قويًا لمحاكاة المعلم المباشرة.