ملخص تقني: Lightning OPD 2.0

بيان المشكلة

برزت عملية التقطير على السياسة (On-policy distillation - OPD) كبديل مستقر وفعال من حيث التكلفة للتعلم المعزز في مرحلة ما بعد التدريب لنماذج الاستدلال الكبيرة. وهي تعتمد على معلم (teacher) عالي القدرة لتوفير إشراف كثيف على مستوى الرمز (token-level) للمسارات التي يولدها الطالب (student). ومع ذلك، فإن الشرط المسبق الحاسم لفعالية عملية OPD، كما تم تحديده في العمل السابق (Lightning OPD)، هو اتساق المعلم (teacher consistency): أي يجب أن يكون النموذج الذي يقدم إشراف OPD هو نفسه النموذج الذي ولد العروض التوضيحية (demonstrations) المستخدمة لسياسة المرجع (reference policy) في مرحلة الضبط الدقيق الخاضع للإشراف (SFT).

في الممارسة العملية، يُنتهك هذا الشرط بشكل متكرر. فغالباً ما تكون بيانات الـ SFT ذات أصل مختلط أو غير موثق، أو قد يرغب الممارسون في استخدام مجموعة بيانات SFT محددة تم إنشاؤها بواسطة نموذج واحد مع التقطير باستخدام نموذج معلم مختلف وأقوى محتملاً. هذا الإعداد عبر المعلمين (cross-teacher setting) يؤدي إلى حدوث عدم تطابق حيث لا يحتوي التباين الخام بين المعلم والمرجع فقط على إشارات استدلال مفيدة مرتبطة بالسياق، بل يتضمن أيضاً مكوناً متكرراً مرتبطاً بالاختلافات الأسلوبية (مثل الصياغة، التنسيق، وإيقاع الاستدلال). وعند عدم تصحيح هذا الأمر، يتراكم "تحيز الرموز الأسلوبي" (style-token bias) عبر عمليات التوليد (rollouts)، مما يتداخل بشكل منهجي مع إشارة الاستدلال ويتسبب في تدهور أداء التقطير، حتى عندما يكون المعلم الجديد أقوى من مولد الـ SFT الأصلي.

المنهجية: Lightning OPD 2.0

لمعالجة هذه المشكلة، قدم المؤلفون Lightning OPD 2.0، وهي طريقة تخفف من التحيز الأسلوبي من خلال إزالة بقايا الأسلوب عبر التوافق المتقاطع (cross-fitted style residualization). وتتمثل الفكرة الجوهرية في أن التباين المرتبط بالأسلوب يمكن التنبؤ به عبر عمليات التوليد المخزنة بناءً على إحداثيات لغوية وسياقية عامة بسيطة، بينما يعتمد التباين المرتبط بالاستدلال بشكل أكبر على حالة المشكلة المحددة.

تتبع الطريقة الخطوات التالية:

1. تفكيك التباين: يتم نمذجة فرق احتمالية اللوغاريتم الخام بين المعلم والمرجع ($d_{it} = \ell^T_{it} - \ell^R_{it}$) كمجموع لمكون تحيز أسلوبي متكرر $b(z_{it})$ ومتغير متبقي $v_{it}$ (يمثل الأدلة الخاصة بالسياق).
   $$d_{it} = b(z_{it}) + v_{it}$$
2. الإحداثيات القابلة للرصد: لتقدير المكون المتكرر $b(z_{it})$، تستخدم الطريقة نوعين من الإحداثيات:
   • هوية الرمز (Token Identity): لالتقاط التفضيلات اللغوية.
   • السياق العام (Coarse Context): ويُعرف بموضع الاستجابة المعياري (normalized response position) واندهش المرجع (reference-policy surprisal) (وهو مقياس لمدى غرابة الرمز في ظل سياسة الـ SFT).
3. التقدير عبر التوافق المتقاطع: يتم تقسيم عمليات التوليد المخزنة إلى $K$ من الطيات (folds). ولأجل طية محجوزة $k$، تقوم الطريقة بإنشاء جدولين للبحث باستخدام الطيات الأخرى $K-1$ فقط:
   • جدول بحث للرموز لتقدير متوسط التباين لكل هوية رمز.
   • جدول بحث للسياق لتقدير متوسط التباين لكل زوج من إحداثيات السياق.
     يتم تنعيم (smoothing) هذه الجداول للتعامل مع المجموعات النادرة.
4. إزالة البقايا (Residualization): لكل رمز في الطية المحجوزة، يتم حساب تحيز الأسلوب المقدر $\hat{b}_{it}$ كمتوسط لتوقعات البحث للرمز والسياق. يتم طرح هذا التقدير من التباين الخام لإنتاج إشارة مُزال منها البقايا:
   $$d^*_{it} = d_{it} - \hat{b}_{it}$$
5. التحسين (Optimization): يحل التباين المُزال منه البقايا $d^*_{it}$ محل التباين الخام في هدف Lightning OPD. يتم تحديث سياسة الطالب باستخدام الميزة (advantage) المستمدة من هذه الإشارة المُزال منها البقايا، مما يؤدي فعلياً إلى إزالة التحيز الأسلوبي المتكرر مع الحفاظ على أدلة الاستدلال الخاصة بالسياق.

المساهمات الرئيسية

1. صياغة الـ OPD عبر المعلمين (Cross-Teacher OPD): حدد البحث رسمياً الإعداد الذي يتم فيه اختيار مولد بيانات الـ SFT ومعلم الـ OPD بشكل مستقل، موضحاً أن التطبيق الساذج لعملية OPD في هذا الإعداد يؤدي إلى تدهور كبير في الأداء.
2. تحديد تحيز الرموز الأسلوبي: حدد المؤلفون مكوناً متكرراً في التباين بين المعلم والمرجع يمكن التنبؤ به عبر عمليات التوليد ومرتبط بالاختلافات الأسلوبية، مما يفسر سبب كون إشراف المعلم المتقاطع الخام مضللاً.
3. خوارزمية Lightning OPD 2.0: تقديم تقنية إزالة بقايا الأسلوب عبر التوافق المتقاطع التي تقوم بتقدير وطرح هذا التحيز باستخدام جداول بحث الرموز والسياق. وهذا يسمح باختيار مرجع الـ SFT ومعلم التقطير بشكل مستقل دون الحاجة لإعادة بناء مسار الـ SFT.

النتائج التجريبية

تم تقييم الطريقة على معايير الاستدلال الرياضي وتوليد الأكواد البرمجية باستخدام إعدادين مختلفين للمعلمين:

• الإعداد 1: مرجع SFT من Qwen3-4B (تم توليده بواسطة Qwen3-8B) مع معلم OPD هو Qwen3-30B-A3B-Thinking-2507.
• الإعداد 2: مرجع SFT من Klear-Reasoner-8B (مدرب على بيانات مستخلصة من DeepSeek-R1) مع نفس معلم الـ OPD وهو Qwen3-30B.

النتائج الرئيسية:

• مكاسب الأداء: تفوقت Lightning OPD 2.0 باستمرار على النسخة الأساسية Lightning OPD والمتغيرات الأخرى من OPD (مثل IW-OPD و TA-OPD) في إعدادات المعلمين المتقاطعين.
  • في إعداد Qwen3-4B، حسنت متوسط الاستدلال الرياضي بمقدار 3.1 نقطة وتوليد الأكواد بمقدار 1.4 نقطة مقارنة بالنسخة الأساسية Lightning OPD.
  • في إعداد Klear-Reasoner-8B، حسنت متوسط الاستدلال الرياضي بمقدار 1.0 نقطة وتوليد الأكواد بمقدار 1.4 نقطة.
• الأداء الأفضل (State-of-the-Art): بدءاً من Klear-Reasoner-8B-SFT، حققت Lightning OPD 2.0 نسبة 82.4% في AIME 2024 و 63.0% في LiveCodeBench v5.
• تحليل الآلية: أظهر التحليل البعدي أن عملية إزالة البقايا قللت بشكل كبير من انحراف إشارة التدريب عن إشارة مرجعية تشخيصية (تمثل الإشارة المثالية المتسقة مع المعلم). على سبيل المثال، في إعداد Qwen3-4B، انخفض معدل الرموز ذات الانحرافات الكبيرة (>1 nat) من 8.14% إلى 3.85% بعد التصحيح.
• الدراسة الاستقصائية (Ablation): أدى إزالة أي من بحث الرموز، أو بحث السياق، أو التوافق المتقاط، إلى أداء أقل، مما يؤكد ضرورة الجمع بين التقديرات اللغوية والسياقية مع تقسيم العينات لمنع التوافق الذاتي (self-fitting).

الأهمية والادعاءات

يدعي البحث أن Lightning OPD 2.0 تؤسس نهجاً عملياً للتقطير على السياسة عبر المعلمين. ومن خلال تخفيف الشرط الصارم لاتساق المعلم، تتيح الممارسين:

• اختيار النموذج الأكثر ملاءمة لتوليد عروض الـ SFT التوضيحية (لتعظيم جودة سياسة المرجع) بشكل مستقل عن النموذج المختار للتقطير اللاحق (لتعظيم نتيجة ما بعد التدريب النهائية).
• استخدام مجموعات بيانات SFT الموجودة دون الحاجة للتكلفة الباهظة لإعادة توليد العروض التوضيحية لكل معلم مرشح.

يضع المؤلفون هذا العمل كحل لعائق عملي في توسيع نماذج الاستدلال، مما يسمح بمسارات أكثر مرونة وكفاءة لما بعد التدريب حيث يتم فصل مولد الـ SFT ومعلم الـ OPD. وتُقدم الطريقة كإطار عمل قوي يحقق أداءً رائداً في معايير الاستدلال مع الحفاظ على استقرار وكفاءة التكلفة لعمليات الـ OPD غير المتصلة (offline OPD).