ملخص تقني: كشف النقاب عن التقطير داخل السياسة (On-Policy Distillation)

بيان المشكلة

برز التقطير داخل السياسة (OPD) كتقنية أساسية لما بعد التدريب لنماذج الاستدلال، حيث يوفر إشرافاً كثيفاً لكل رمز (token) ليتكامل مع التعلم المعزز (RL) ذي المكافأة المتفرقة. في هذا النموذج، يقوم نموذج "المعلم" (سواء كان نموذجاً خارجياً أكبر أو النموذج نفسه مع سياق متميز) بتوجيه عملية توليد الرموز لدى "الطالب". ومع ذلك، يفتقر الممارسون إلى توجيه مبدئي بشأن الخيارات التصميمية الحرجة:

• اختيار المعلم: هل يجب أن يكون المعلم نموذجاً خارجياً أكبر أم الطالب نفسه (التقطير الذاتي)؟
• تصميم السياق: ما هو السياق المحدد (على سبيل المثال، مسارات الحل الكاملة، أو الحلول الملخصة، أو أمثلة على الإجابات الخاطئة) الذي يجب أن يعمل كإشارة إشرافية؟
• درجة التفصيل (Granularity): هل تختلف التكوينات المثلى باختلاف المهمة، أو سعة الطالب، أو حتى الرموز الفردية؟

يعتمد التقييم الحالي على مقاييس الأداء الإجمالية من عمليات تدريب مكلفة، والتي تحجب الديناميكيات على مستوى الرموز الفردية. ولا يزال من غير الواضح تحت أي ظروف تكون إشارة المعلم مفيدة، أو محايدة، أو ضارة.

المنهجية

يقدم المؤلفون إطار عمل تشخيصي خالٍ من التدريب يعمل بأعلى دقة ممكنة: لكل رمز، لكل سؤال، ولكل تكوين للمعلم. يتكون إطار العمل من ثلاثة مكونات رئيسية:

1. التدرج المثالي لكل عقدة (Ideal Per-Node Gradient)

لتقييم توجيه المعلم، يشتق المؤلفون تدرجاً "مثالياً" يزيد إلى أقصى حد من احتمالية وصول الطالب إلى إجابة صحيحة.

• شجرة التوليد: يقومون بتفكيك عملية التوليد إلى شجرة حيث تمثل العقد مواقع الرموز وتمثل الحواف خيارات الرمز التالي.
• احتمالية النجاح التجريبية ($\hat{P}^k_{succ}$): من خلال أخذ عينات من عمليات التشغيل (rollouts) من الطالب، يقدرون احتمالية الوصول إلى إجابة صحيحة بالنظر إلى اختيار الرمز $k$ عند العقدة $u$.
• الهدف المثالي: الهدف المحلي المثالي هو تعظيم معدل النجاح المتوقع: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$.
• التدرج المثالي: يتم اشتقاق تدرج هذا الهدف بالنسبة لـ logits الخاصة بالطالب كـ $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$. هذا الاتجاه يدفع الطالب نحو الرموز التي تؤدي إلى النجاح بشكل متكرر أكثر من المتوسط.
• الارتباط بـ Dr. GRPO: يوضح المؤلفون أن Dr. GRPO (وهو متغير من GRPO بدون تطبيع الطول) يستعيد هذا التدرج المثالي في التوقع، مما يثبت أنه مقدر غير منحاز للإشارة القائمة على المكافأة.

2. تحليل تدرج التقطير

يحلل إطار العمل التدرجات الناتجة عن خوارزميات التقطير المختلفة (GKD، ومقدرات العينة الواحدة، وMiniLLM). ويوضح أن هذه الطرق تشترك في بنية محلية مشتركة: $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$، حيث يتم اشتقاق $f_j$ من توزيع المعلم (على سبيل المثال، نسب اللوغاريتمات) أو المكافآت على مستوى المسار.

3. درجة محاذاة التدرج (Gradient Alignment Score)

لقياس مدى جودة تقريب تكوين معلم معين للإشارة المثالية، يعرّف المؤلفون درجة محاذاة التدرج:
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
هذه التشابه الجيبي (cosine similarity) بين التدرج المثالي وتدرج التقطير عند كل رمز تقيس ما إذا كان توجيه المعلم يدفع نحو النجاح (محاذاة إيجابية)، أو الفشل (محاذاة سلبية)، أو كان متعامداً/ضوضائياً (قريباً من الصفر).

4. التقدير القابل للتوسع عبر عمليات التشغيل المستهدفة

حساب $\hat{P}^k_{succ}$ لجميع الرموز في سلاسل الاستدلال الطويلة أمر مكلف حوسبياً. يقترح المؤلفون خوارزمية عمليات التشغيل المستهدفة:

• نوافذ العمق الأسية: يتم تقسيم تسلسل التوليد إلى نوافذ تزداد مساحتها.
• تحديد الأولويات: ضمن كل نافذة، يتم تخصيص عمليات التشغيل للرموز التي يختلف فيها المعلم بقوة مع الطالب (مقدار تدرج GKD مرتفع أو اختلاف في الاحتمالية).
• الكفاءة: يتوسع هذا النهج مع الميزانية المختارة من قبل المستخدم بدلاً من طول التسلسل، مما يجعله قابلاً للتطبيق على المسارات التي تتراوح من ~200 رمز (BoolQ) إلى ~30,000 رمز (AIME).

النتائج الرئيسية

تم تطبيق إطار العمل على نماذج Qwen3-0.6B و Qwen3-1.7B عبر مجموعات بيانات BoolQ و MMLU و AIME 2025 مع 8 تكوينات مختلفة للمعلم.

1. التقطير يساعد أكثر في المسارات الخاطئة

النتيجة الأكثر اتساقاً هي أن توجيه التقطير يظهر محاذاة أعلى بكثير في عمليات التشغيل الخاطئة مقارنة بالصحيحة.

• عندما يكون الطالب على مسار فاشل، يدفع المعلم بشكل موثوق نحو الرموز التي تؤدي إلى النجاح.
• عندما يكون الطالب بالفعل على مسار صحيح، تصبح إشارة المعلم ضوضائية وغير متوافقة بشكل ضعيف مع المثالي، لأن الطالب يؤدي جيداً بالفعل.
• هذا النمط ثابت عبر جميع الإعدادات، وأحجام النماذج، ومجموعات البيانات.

2. التفاعل بين تصميم السياق وسعة الطالب

تصميم السياق الأمثل ليس عالمياً؛ فهو يعتمد بشكل مشترك على سعة الطالب وصعوبة المهمة:

• النماذج الصغيرة (0.6B): تستفيد أكثر من التقطير الذاتي باستخدام نماذج توضيحية صحيحة فقط بأسلوب استدلالها الخاص. فهي تجد صعوبة في فهم أنماط الاستدلال للمعلمين الخارجيين الأكبر بك much. يمكن للسياقات الملخصة أن تضر الأداء إذا كان الطالب بحاجة إلى مسارات استدلال كاملة خطوة بخوة.
• النماذج الأكبر (1.7B): يمكنها الاستفادة بفعالية من المعلمين الخارجيين (مثل Qwen3-8B) والسياقات الملخصة، والتي تضاعف المحاذاة تقريباً مقارم المسارات الخام.
• النماذج الخاطئة: تضمين الأمثلة الخاطئة (Self-1C1W) يضر الأداء عموماً في مهام الاستدلال القصيرة (BoolQ، MMLU) من خلال إدخال الضوضاء. ومع ذلك، في مسائل الرياضيات الصعبة (AIME)، توفر النماذج الخاطئة إشارات تباينية مفيدة، لتصبح أفضل تكوين للمعلم للمسائل الصعبة.

3. لا توجد وصفة عالمية

لا يوجد معلم واحد أو تكوين سياق واحد يعظم المحاذاة عبر جميع المهام.

• التبعية للمهمة: يتفوق المعلمون الخارجيون على التقطير الذاتي لنموذج 1.7B في BoolQ ولكن ليس في MMLU.
• التبعية للصعوبة: في الرياضيات الصعبة، يحسن تضمين نموذج خاطئ من المحاذاة، بينما يؤدي إلى تدهورها في المهام الأبسط.
• الحدود التنبؤية: التباعد بين توزيعات الطالب والمعلم (KL، JS) يرتبط إيجابياً بالمحاذاة، لكن الارتباط ضعيف ($|\rho| < 0.05$). يمكن أن يعمل التباعد كمرشح شرط ضروري رخيص ولكنه ليس متنبئاً موثوقاً بما إذا كان خلاف معين مفيداً.

الأهمية والادعاءات

يدعي البحث تقديم أول منهجية صارمة وخالية من التدريب لتقييم جودة توجيه المعلم على مستوى الرمز. وتتمثل مساهماته الرئيسية في:

1. إطار عمل تشخيصي: خط معالجة قابل للتوسع لحساب محاذاة التدرج دون تدريب، مما يكشف أن إشارات المعلم هي خليط غير متجانس من المساهمات المفيدة والمحايدة والضارة.
2. رؤية ميكانيكية: إن حقيقة أن التقطير أكثر فعالية في عمليات التشغيل الفاشلة تشير إلى أن خطوط التدريب الحالية، التي تعامل جميع الرموز بالتساوي، قد تهدر ميزانية التدرج على الرموز حيث يكون الطالب صحيحاً بالفعل.
3. الدقة السياقية: يوضح البحث أن "القابلية للفهم" هي عامل رئيسي—الإشارات تكون مفيدة فقط إذا استطاع الطالب فهمها—وهذا يفسر سبب فشل النماذج الصغيرة في التعلم من معلمين خارجيين أكبر بكثير ولماذا يجب تخصيص تصميم السياق (التلخيص مقابل المسارات الخام) وفقاً لسعة النموذج.
4. الاتجاهات المستقبلية: تحفز النتائج التحليلات التشخيصية لكل مهمة ولكل رمز وتقترح خوارزميات تدريب مستقبلية يمكنها وزن خسارة التقطير بناءً على المحاذاة (على سبيل المثال، التأكيد على المسارات الفاشلة) أو استخدام التباعد كآلية بوابة.

يخلص المؤلفون إلى أنه بينما يعد التقطير داخل السياسة أداة قوية، فإن فعاليتها مشروطة للغاية، والتكوين "الأمثل" يتغير ديناميكياً بناءً على حالة الطالب، وصعوبة المهمة، والرمز المحدد الذي يتم توليده.