ملخص تقني: vOPD (التقطير في السياسة مع خط أساس متغير التحكم)

1. بيان المشكلة

برز التقطير في السياسة (On-Policy Distillation - OPD) كنموذج هيمنة في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مجالات الاستدلال. وخلافاً للتعلم المعزز بالمكافآت القابلة للتحقق (RLVR)، والذي يعتمد على مكافآت نهائية متفرقة، يقلل OPD من تباعد "كولباك - ليبلر" العكسي (reverse KL divergence) بين الطالب والمعلم باستخدام إشارات كثيفة على مستوى الرمز (token-level). وهذا يسمح بتدريب أسرع ومعالجة فعالة لمهام سلسلة الأفك "Chain-of-Thought" (CoT) الطويلة.

ومع ذلك، يواجه OPD مشكلة حرجة في الاستقرار عند التطبيق العملي. يستخدم التنفيذ القياسي مُقدِّر مونت كارلو أحادي العينة لتقريب التدرج (gradient). ويعاني هذا النهج من تباين عالٍ في التدرج، مما يؤدي إلى ديناميكيات تدريب غير مستقرة. تحاول طرق الاستقرار الحالية التخفيف من حدة هذه المشكلة، لكنها تقدم مقايضات كبيرة:

• التقطير بكامل المفردات ($OPD_{full-V}$): يحسب تباعد KL على كامل المفردات. وبينما يلغي هذا التباين، فإنه يتسبب في تكلفة حسابية باهظة (يتطلب تمريرة خلفية عبر كامل المفردات، مثلاً ~150 ألف رمز) في كل خطوة.
• التقطير بـ k-الأعلى ($OPD_{top-k}$): يقصر حساب KL على أكثر $k$ رموز احتمالية. ورغم أنه أخف وزناً، إلا أنه يُدخل تحيزاً في التدرج عن طريق تقليص نطاق الدعم، وتظهر النتائج التجريبية أنه لا يحقق سوى مكاسب طفيفة في الأداء مقارنة بـ OPD الأساسي غير المستقر.

التحدي الجوهري هو تثبيت تدريب OPD دون التضحية بالكفاءة الحسابية للمُقدِّر أحادي العينة أو إدخال تحيز في الهدف.

2. المنهجية: vOPD

يقترح المؤلفون vOPD (التقطير في السياسة مع خط أساس متغير التحكم)، والذي يعيد صياغة OPD كمسألة تعلم معزز (RL) تعتمد على تدرج السياسة، ويطبق تقنية قياسية لتقليل التباين: طرح خط أساس متغير التحكم (control variate baseline).

2.1 الأساس النظري

في تدرج السياسة (policy-gradient RL)، يؤدي طرح خط أساس $b_t(c_t)$ من المكافأة $r_t$ إلى الحصول على دالة الميزة (advantage function) $a_t = r_t - b_t$. ومن الأهمية بمكان أنه إذا كان خط الأساس مستقلاً عن الإجراء الذي تم أخذ عينة منه، فإن التدرج يظل غير متحيز، ولكن تباينه ينخفض. الخيار النموذجي لخط الأساس هو دالة القيمة $V^{\pi}(c_t)$.

تكمن الرؤية الجوهرية لـ vOPD في أن دالة القيمة لـ OPD تقبل حلاً مغلقاً لا يتطلب نموذج "ناقد" (critic) إضافياً أو استدلالاً:
$$V^{\pi_\theta}(c_t) = \mathbb{E}_{y_t \sim \pi_\theta} [r_t(c_t, y_t)] = -D_{KL}(\pi_\theta(\cdot|c_t) \parallel \pi_T(\cdot|c_t))$$
هنا، تُعرف المكافأة بأنها $r_t = \log \pi_T - \log \pi_\theta$. والمكافأة المتوقعة تحت توزيع الطالب هي ببساطة سالب تباعد KL العكسي بين الطالب والمعلم عند ذلك السياق.

2.2 التنفيذ الخوارزمي

يتم صياغة مُقدِّر تدرج vOPD كالتالي:
$$\nabla_\theta J_{vOPD} = \mathbb{E} \left[ \sum_{t} \left( r_t(c_t, y_t) + D_{KL}(\pi_\theta \parallel \pi_T) \right) \nabla_\theta \log \pi_\theta(y_t|c_t) \right]$$

• عدم التحيز: يتم حساب خط الأساس (حد KL) بناءً على توزيعات $\pi_\theta$ و $\pi_T$ ولكنه مفصول (detached) عن تدفق التدرج فيما يتعلق بالرمز المأخوذ عينة $y_t$. وبالتالي، يظل التدرج غير متحيز.
• الكفاءة: يتم حساب خط أساس KL أثناء التمريرة الأمامية (المطلوبة بالفعل لحساب المكافأة). أما التمريرة الخلفية فلا تزال تقتصر على الرمز الواحد المأخوذ عينة، مما يحافظ على الكفاءة الحسابية لـ OPD الأساسي.
• آلية تقليل التباين: يعمل خط الأساس كمنظم (regularizer). عندما تختلف توزيعات الطالب والمعلم بشدة (KL مرتفع)، تكون المكافأة $r_t$ كبيرة وسالبة. ويكون خط الأساس $D_{KL}$ كبيراً وموجباً، مما يلغي فعلياً المكافأة السالبة ويخفف من حدة التدرجات ذات الذيول الثقيلة التي تسبب عدم الاستقرار.

2.3 تقريب k-الأعلى ($vOPD_{top-k}$)

لتقليل تكلفة التمريرة الأمامية لحساب KL لكامل المفردات، يقترح المؤلفون تقريب خط الأساس باستخدام أعلى $k$ من رموز الطالب فقط.

• بخلاف $OPD_{top-k}$، الذي يستخدم دعم top-$k$ لاستبدال هدف الخسارة (مما يؤدي إلى التحيز)، يستخدم $v-OPD_{top-k}$ تقريب top-$k$ فقط لخط الأساس.
• بما أن خط الأساس مفصول عن الرمز المأخوذ عينة، فإن التدرج يظل غير متحيز بغض النظر عن قيمة $k$.
• تجريبياً، يوفر حتى $k$ صغير (مثل $k=5$) تقليلاً كافياً للتباين لتثبيت التدريب.

3. المساهمات الرئيسية

1. خط أساس القيمة ذو الحل المغلق: يثبت البحث أن دالة القيمة لـ OPD هي بالضبط سالب تباعد KL العكسي، مما يجعلها متاحة مباشرة من التمريرة الأمامية دون نماذج إضافية.
2. التثبيت غير المتحيز: يعمل vOPD على تثبيت التدريب عن طريق تقليل تباين التدرج مع الحفاظ على الطبيعة غير المتحيزة لمُقدِّر مونت كارلو أحادي العينة، على عكس متغيرات top-k التي تسبب التحيز في الهدف.
3. الكفاءة الحسابية: يحتفظ vOPD بالتمريرة الخلفية أحادية الرمز لـ OPD الأساسي. كما يقلل متغير $vOPD_{top-k}$ من تكاليف التمريرة الأمامية، مما يوفر مقايضة متفوقة بين الدقة والحوسبة مقارنة بالطرق ذات كامل المفردات.
4. التحليل النظري: يقدم المؤلفون اشتقاقاً يوضح أن تقليل التباين يتناسب مع مربع تباعد KL، مما يؤكد أن الطريقة تستهدف تحديداً الرموز ذات التباين العالي والمسؤولة عن عدم الاستقرار.

4. النتائج التجريبية

قيم المؤلفون vOPD على أربعة نماذج (Qwen3-1.7B, 4B, و Olmo-3-7B) عبر ستة معايير استدلال (MATH500, Minerva Math, AMC23, AIME24/25, SciKnowEval, GPQA-Diamond).

• مكاسب الأداء: يتفوق vOPD باستمرار على OPD الأساسي.
  • في MATH500، حقق vOPD مكاسب مطلقة تصل إلى +6.2% فوق OPD الأساسي.
  • عبر جميع المعايير، أظهرت متغيرات vPOD متوسط تحسن قدره +3% فوق OPD الأساسي.
  • أداء vPD يضاهي أو يتجا % قليلاً $OPD_{full-V}$ (الطريقة الأكثر تكلفة) بينما يكون أسرع بكثير.
• المقارنة مع متغيرات التثبيت:
  • حقق $OPD_{top-k}$ مكاسب طفيفة فقط (مثلاً +0.4% في المتوسط) فوق OPD الأساسي، مما يؤكد مشكلة التحيز.
  • تفوقت متغيرات v_OPD بشكل كبير على $OPD_{top-k}$ ولامست $OPD_{full-V}$.
• الكفاءة:
  • قلل v_OPD من وقت التشغيل الفعلي بنسبة تصل إلى 57.7% مقارنة بـ $OPD_{full-V}$.
  • كان $vOPD_{top-k}$ هو الأكثر كفاءة، حيث قدم أفضل مقايضة بين الدقة والحوسبة.
• مقاييس الاستقرار:
  • معايير التدرج (Gradient Norms): حافظ v_OPD على معايير تدرج أقل بمرتبة أو مرتبتين من OPD الأساسي، مما يؤكد كبح التدرجات الصاخبة والمزعزعة للاستقرار.
    • الحساسية للمعلمات الفائقة: كان الأداء مستقراً عبر قيم مختلفة لـ $k$ (من 5 إلى 100)، حيث وفر حتى التقريب الخشن ($k=5$) تثبيتاً كافياً.

5. الأهمية والادعاءات

يزعم البحث أن v_OPD يسد الفجوة بين التعلم المعزز وتقطير المعرفة من خلال توفير نهج مبدئي وفعال لتقطير السياسة المستقرة.

• الآلية: حددت الورقة أن التباين العالي في التدرج الناتج عن المُقدِّرات أحادية العينة هو السبب الجذري لعدم استقرار OPD، وحلت ذلك باستخدام خط أساس متغير التحكم المستمد من بنية المشكلة نفسها (تباعد KL).
• الأثر العملي: يقدم بديلاً جاهزاً لـ OPD الأساسي لا يتطلب نماذج إضافية (نقاد) أو تمريرات خلفية مكلفة، مما يجعله مناسباً للتدريب واسع النطاق في الصناعة حيث تكون كفاءة الحوسبة أمراً بالغ الأهمية.
• التعميم: أثبتت الطريقة قوتها عبر نماذج وأحجام وبنى مختلفة (Qwen, Olmo) ومجالات استدلال متنوعة (الرياضيات والعلوم).

يخلص المؤلفون إلى أن v_OPD يعمل كمنظم مبدئي للرموز ذات المكافآت المزعزعة للاستقرار، محولاً OPD من مجرد عملية استدلالية غير مستقرة إلى نموذج تدريب موثوق دون المساس بالكفاءة التي جعلته جذاباً في المقام الأول.