Trust-Region Behavior Blending for On-Policy Distillation

ملخص تقني: مزج سلوك منطقة الثقة لتقطير السياسة المماثلة (On-Policy Distillation)

بيان المشكلة

يعالج التقطير المماثل للسياسة (OPD) مشكلة عدم تطابق البادئات (prefix mismatch) المتأصلة في التقطير غير المتصل (offline distillation) عن طريق تدريب نموذج الطالب على بادئات يتم أخذ عينات منها من سياسته الحالية مع مطابقة معلم أقوى. ومع ذلك، يسبب هذا النهج هشاشة حرجة في المراحل الأولى من التدريب: حيث غالبًا ما تولد نماذج الطلاب الضعيفة بادئات منخفضة الجودة. عندما يكون توزيع مسارات الطالب سيئًا، يتم تطبيق إشراف المعلم على بادئات منخفضة الجودة أو "غير قابلة للاستخدام"، مما يحد من فعالية إشارة التعلم.

تتضمن المحاولات السابقة لتثبيت هذه العملية غالبًا نقل عملية الجمع لتصبح خارج السياسة (off-policy) (على سبيل المثال، حقن رموز المعلم أو تغيير التوزيعات المستهدفة)، وهو ما قد يؤدي إلى تعطيل توزيع التدريب المستهدف. وفي المقابل، تحافظ المسارات الصرفة للطالب على التوزيع ولكنها تعاني من جودة أولية ضعيفة. التحدي الجوهري هو تحسين جودة المسارات الأولية دون تغيير عملية الجمع بشكل دائم لتصبح خارج السياسة أو تغيير هدف التقطير لكل بادئة بشكل أساسي.

المنهجية: مزج سلوك منطقة الثقة (TRB)

يقترح المؤلفون مزج سلوك منطقة الثقة (TRB)، وهو أسلوب إحماء مصمم للتحكم في سياسة السلوك خلال مرحلة جمع المسارات الأولية. يعمل TRB على مبدأ إيجاد سياسة سلوك تكون أقرب ما يمكن إلى المعلم، ولكنها مقيدة بصرامة داخل "منطقة ثقة" متمحورة حول سياسة الطالب الحالية.

1. التحسين لكل بادئة
عند كل بادئة توليد $h$، يحدد TRB سياسة سلوك $\mu^*(\cdot | h)$ عبر حل مشكلة تحسين مقيدة. الهدف هو تقليل تباعد كولباك - ليبلر (KL) بالنسبة لسياسة المعلم $\pi_T$، مع الخضوع لقيد تباعد KL بالنسبة لسياسة الطالب $\pi_S$:

$$\mu^*(\cdot | h) = \arg \min_{\mu} D_{KL}(\mu \parallel \pi_T) \quad \text{بشرط} \quad D_{KL}(\mu \parallel \pi_S) \le \epsilon$$

هنا، تمثل $\epsilon$ الانحراف المحلي المسموح به عن الطالب. يضمن هذا الصياغة أن توزيع أخذ العينات يُسحب نحو الرموز المدعومة من المعلم ولكنه يظل محصورًا ضمن منطقة ثقة متمحورة حول الطالب.

2. الحل ذو الصيغة المغلقة
ينتج عن التحسين حل ذو صيغة مغلقة حيث تكون سياسة السلوك عبارة عن استكمال هندسي بين سياسة الطالب وسياسة المعلم:
$$\mu_\beta(a | h) = \frac{\pi_S(a | h)^{1-\beta} \pi_T(a | h)^\beta}{Z_\beta(h)}$$
المعامل $\beta^*(h)$ هو أكبر قيمة ممكنة في النطاق $[0, 1]$ بحيث يتم استيفاء قيد KL. إذا كان المعلم موجودًا بالفعل داخل منطقة الثقة، فإن $\mu^*$ تصبح هي المعلم؛ وإذا كانت $\epsilon=0$، فإنها تعود لتكون هي الطالب.

3. الإحماء المتلاشي (Annealed Warmup)
يُطبق TRB فقط خلال مرحلة إحماء أولية. يتم تلاشي ميزانية KL خطيًا إلى الصفر عبر أفق زمن قدره $K$:
$$\epsilon_k = \epsilon_0 \left(1 - \frac{k}{K}\right)$$
يسمح هذا بتوجيه قوي من المعلم في بداية التدريب لتحسين جودة البادئة، بينما يعود تدريجيًا إلى أخذ عينات الطالب الصرفة مع تحسن الطالب. والأهم من ذلك، أن فقدان تقطير عكس KL لكل بادئة يظل دون تغيير؛ فقط سياسة جمع البيانات هي التي يتم تعديلها.

المساهمات الرئيسية

• استراتيجية إحماء مبتكرة: يقدم TRB طريقة للتحكم في سلوك المسارات المبكرة من خلال تحسين سياسة موجهة من المعلم تحت قيد KL صريح متمحور حول الطالب، بدلاً من مجرد حقن الرموز أو تغيير دالة الفقد.
• الحفاظ على خصائص السياسة المماثلة: على عكس الطرق التي تمزج باستمرار بين سياسات المعلم والطالب أو تغير التوزيع المستهدف، يضمن TRB أن التدريب سيعود في النهاية إلى المسارات الصرفة المماثلة للسياسة، مما يحافظ على التوزيع المستهدف لمرحلة التدريب الرئيسية.
• الصياغة النظرية: يقدم البحث حلاً ذا صيغة مغلقة لسياسة السلوك التي توازن بين توجيه المعلم واستقرار الطالب، مدعومًا برتابة تباعد KL بالنسبة لمعامل الاستكمال.

النتائج التجريبية

قيم المؤلفون TRB عبر إعدادين لتقطير الاستدلال الرياضي:

1. Qwen3-1.7B-Base المقطر من Qwen3-8B.
2. Qwen3-0.6B-Base المقطر من Qwen3-4B.

الأداء:

• حقق TRB أقوى متوسط أداء عبر جميع الطرق المقارنة في كلا الإعدادين، متفوقًا على vanilla OPD، وfixed-$\epsilon$ blending، وVeto، وSKD (حقن المعلم المتداخل)، وtemperature warmup، وSFT warmup.
• في إعداد Qwen3-1.7B، حقق TRB متوسط pass@1 بنسبة 33.2%، مقارنة بـ 32.3% لـ vanilla OPD.
• في إعداد Qwen3-0.6B، حقق TRB نسبة 44.4%، مقارنة بـ 44.0% لـ vanilla OPD.

التحليل:

• ديناميكيات التدريب المبكر: يظهر تحليل المسارات (الشكل 2) أنه بينما ترتفع بعض الطرق (مثل SKD) بشكل أسرع في البداية، إلا أنها لا تحقق بالضرورة أعلى أداء نهائي. يوفر TRB "بداية سريعة" تؤدي إلى نتائج نهائية متفوقة.
• الاعتلاج (Entropy) وجودة البادئة: خلال مرحلة الإحماء، يقلل TRP من متوسط اعتلاج رموز المعلم في البادئات التي تمت زيارتها، مما يشير إلى توجيه عالي الجودة. وتظهر اختبارات الخطوة-0 (الشكل 4) أن البادئات المولدة تحت ظل TRB تحقق معدلات نجاح أعلى عند استكمالها بواسطة المعلم أو الطالب مقارنة ببادئات vanilla OPD، مما يشير إلى أن TRB ينجح في نقل توزيع الحالة المبكرة نحو مسارات أكثر قابلية للتعلم.

الأهمية والادعاءات

يزعم البحث أن TRB يعالج بفعالية هشاشة التقطير المماثل للسياسة في مراحله المبكرة من خلال تحسين جودة توزيع البيانات الأولي دون الانحراف الدائم عن هدف السياسة المماثلة.

• نطاق محدود: ذكر المؤلفون صراحةً أن دراستهم تقتصر على إعدادين للاستدلال الرياضي مع أزواج Qwen3-Base وبروتوكول تقييم قائم على الصحة. هم لا يدعون أن جداول الإحماء المحددة ستنتقل دون تغيير إلى المجالات الأخرى أو فجوات المعلم والطالب الأخرى.
• مقايضة التكلفة: يقر البحث بأن TRB يزيد من تكاليف وقت التدريب خلال مرحلة الإحماء بسبب الحاجة إلى فك تشفير المعلم عبر الإنترنت (online teacher decoding) والتواجد المشترك للطالب والمعلم. ومع ذلك، يشيرون إلى أن هذه التكاليف مؤقتة، حيث يعود التدريب إلى ملف تشغيل OPD القياسي الأكثر كفاءة بعد أفق الإحماء.
• الرؤية الجوهرية: تشير النتائج إلى أن السلوك خارج السياسة الموجه من المعلم يكون مفيدًا للغاية عندما تكون البادئات التي يزورها الطالب غير متوافقة بشكل كبير مع المعلم. وبمجرد حل عدم التطابق هذا، فإن الاستمرار في التوجيه خارج السياسة قد يعطي عوائد متناقصة، مما يدعم استراتيجية تلاشي سياسة السلوك والعودة إلى الطالب.