ملخص تقني: التعرض التكيفي للمعلم في التقطير الذاتي لنماذج اللغات الكبيرة (ATESD)

1. بيان المشكلة: عدم تطابق التعرض من جانب المعلم

بينما برز التقطير الذاتي في السياسة المتبعة (On-Policy Self-Distillation - OPSD) كطريقة مهيمنة لتحسين استدلال نماذج اللغات الكبيرة (LLM) عبر محاذاة الإشراف مع مخرجات النموذج نفسه، تحدد هذه الورقة مشكلة حرجة لم تُدرس سابقاً: عدم تطابق التعرض من جانب المعلم (Teacher-side exposure mismatch).

في نظام OPSD القياسي، يعتمد "المعلم" (وهو نسخة مجمدة من النموذج) على الحل المرجعي الكامل (سلسلة التفكير المتميزة/Privileged Chain-of-Thought) عند تقديم الإشراف على مستوى الرمز (Token). ويرى المؤلفون أن هذا الافتراض الافتراضي — وهو أن المعلومات الأكثر تميزاً هي دائماً الأفضل للإشراف — هو افتراض معيب.

• عدم التطابق: عندما يتجاوز الاستدلال المرجعي الكامل قدرة الطالب الحالية بشكل كبير (وهو أمر شائع في المسائل الصعبة)، تصبح أهداف الرموز الناتجة قوية جداً بحيث يصعب استيعابها. يصبح التوزيع التنبؤي للمعلم شديد التركيز وحاداً على رموز لا يستطيع الطالب توليدها بعد، مما يخلق إشارة إشراف غنية بالمعلومات ولكنها غير قابلة للتعلم.
• الأدلة التجريبية: كشفت عمليات المسح المنضبطة لمستويات التعرض الثابتة ($\alpha \in [0, 1]$) على اختبار AIME 2024 عن نمطين رئيسيين:
  1. دون المثالية للتعرض الكامل: غالباً ما تتفوق مستويات التعرض المتوسطة (مثل $\alpha=0.5$) على التعرض الكامل ($\alpha=1.0$).
  2. نمو عدم التطابق الرتيب: ينمو عدم التطابق بين توزيع المعلم والطالب (مقاساً بتباعد KL في السياسة المتبعة وأعلى درجة عدم اتفاق في المركز الأول) بشكل رتيب مع رؤية المعلم لمزيد من الاستدلال المتميز.
  3. الاعتماد على النظام (Regime Dependency): يختلف مستوى التعرض الأمثل باختلاف صعوبة المسألة (المسائل السهلة تفضل التعرض الكامل؛ المسائل الصعبة تفضل التعرض الأقل)، مما يشير إلى أن المستوى الافتراضي الثابت الواحد غير كافٍ.

2. المنهجية: ATESD

لمعالجة ذلك، يقترح المؤلفون إطار عمل التعرض التكيفي للمعلم في التقطير الذاتي (Adaptive Teacher Exposure for Self-Distillation - ATESD). يعامل هذا الإطار التعرض للمعلم ليس كمعلم فائق (Hyperparameter) ثابت، بل كـ متغير تحكم قابل للتعلم ومشروط بحالة التدريب.

المكونات الأساسية

1. المعلم المعدل بالتعرض (Exposure-Modulated Teacher):

   • بدلاً من الاعتماد على المرجع الكامل $y^*$، يعتمد المعلم على بادئة مبتورة $truncate(y^*, \alpha_t)$، حيث $\alpha_t \in [0, 1]$ هو نسبة التعرض.
   2. يتم تطبيق البتر فقط على بادئة الاستدلال؛ بينما يتم دائماً الحفاظ على الإجابة النهائية المحاطة بإطار (Boxed answer) للحفاظ على قيود المهمة.
   • تظل بروتوكولات مخرجات الطالب دون تغيير (أخذ عينات في السياسة المتبعة من مطالبة المشكلة فقط)، مما يضمن أن المقارنة تعزل تأثير سياق المعلم.

2. متحكم تعرض بيتا ($\pi_\phi$):

   • يقوم نموذج MLP خفيف الوزن برسم خرائط لإحصائيات حالة التدريب الموجزة (مثل الخسارة الأخيرة، والمتوسطات المتحركة لعدم التطابق، وثقة الطالب الذاتية) إلى معاملات التركيز $(a_t, b_t)$ لتوزيع بيتا.
   • يقوم المتحكم بأخذ عينة من نسبة تعرض عالمية $\alpha_t$ لـ نافذة احتجاز $H$ من تحديثات الطالب. يضمن هذا أن قراراً واحداً يحكم فترة قصيرة، مما يسمح بتخصيص ائتمان مستقر.
   • يتم تقييد توزيع بيتا ليكون أحادي المنوال ($a, b > 1$)، مما يسم_ح للسياسة بتعلم مستوى تعرض مفضل مع تباين في الثقة.

3. التدريب بنظام الحلقة المغلقة مع الائتمان المتأخر:

   • التحدي: تؤثر قرارات التعرض على تقدم تعلم الطالب المستقبلي، وليس فقط على الخسارة الفورية. قد يكون قرار التعرض العالي مفيداً على المدى الطويل حتى لو تسبب في ارتفاع مؤقت في الخسارة.
   • الحل: يتم تدريب المتحكم عبر خوارزمية REINFORCE باستخدام مكافأة تقدم التعلم المخصومة.
   • إشارة المكافأة ($R$): تتكون من جزأين:
     • $G_{lp}$: المجموع المخصوم للتحسينات الإيجابية في الخسارة عبر نافذة استشرافية ($L$ خطوة).
     • $G_{gt}$: درجة ائتمان قائمة على المعلم بناءً على الاحتمالية اللوغاريتمية للرموز المرجعية المتحقق منها، مما يضمن أن التعرض المختار لا يزال متوافقاً مع الحقيقة الأرضية.
   • يعالج هذا النهج مشكلة تخصيص الائتمان المتأخر المتأصلة في التقطير في السياسة المتبعة، متجنباً الانحياز الضيق المعتمد على خطوة واحدة من مقاييس الخسية.

3. المساهمات الرئيسية

1. تحديد عدم تطابق التعرض من جانب المعلم: توثق الورقة ملاحظة أن الاستدلال المتميز الكامل ليس مثالياً دائماً، وأن عدم التطابق ينمو مع زيادة التعرض، مما يستوجب الانتقال من القيم الافتراضية الثابتة إلى التحكم التكيفي.
2. إطار عمل ATESD: طريقة مبتكرة تنمذج التعرض كمتغير مستمر وقابل للتعلم عبر متحكم سياسة بيتا، يتم تدريبه بجدول زمني ذي زمنين (تحديثات سريعة للطالب، وتحديثات بطيئة للمتحكم) وإشارات مكافأة متأخرة.
3. التحقق التجريبي: تجارب شاملة تثبت أن التعرض التكيفي يتفوق باستمرار على التعرض الثابت والأساليات القياسية عبر مختلف أحجام النماذج ومعايير الاستدلال.

4. النتائج التجريبية

تم تقييم الطريقة على AIME 2024 و AIME 2025 و HMMT 2025 باستخدام نماذج Qwen3 (بأحجام 1.7B و 4B و 8B).

• مكاسب الأداء: تفوق ATESD باستمرار على خط أساس OPSD وغيره من أساليب التعلم التعزيزي/التقطير (SFT, GRPO).
  • Qwen3-1.7B: زيادة قدرها +0.95 في متوسط @12 نقطة فوق OPSD.
  • Qwen3-4B: زيادة قدرها +2.05 في متوسط @12 نقطة فوق OPSD (ليصل إلى 65.65 في متوسط @12).
  • Qwen3-8B: زيادة قدرها +2.33 في متوسط @12 نقطة فوق OPSD.
• نتائج دراسة الاستبعاد (Ablation):
  • الائتمان المتأخر: أدى إزالة مكافأة الاستشراف المتأخر (باستخدام تغذية راجعة فورية لخطوة واحدة) إلى تدهور الأداء بشكل كبير (52.22 مقابل 59.17)، مما يؤكد ضرورة تخصيص الائتمان طويل الأمد.
  • المتعلم مقابل الثابت: تفوقت السياسة المتعلمة (59.17) على أفضل إعداد للتعرض الثابت (57.44) وعلى التعرض العشوائي غير المتحكم فيه (54.94)، مما يثبت أن المتحكم يتعلم استراتيجية ديناميكية بدلاً من مجرد اختيار ثابت أمثل.
  • تقليل عدم التطابق: في المسارات الإيجابية الثابتة، قلل التعرض التكيفي من تباعد KL بين المعلم والطالب على مستوى الرمز (من 0.0136 إلى 0.0061)، مما يثبت أنه يمنع المعلم من فرض قيود مفرطة على الطالب.

5. الأهمية والادعاءات

تدعي الورقة أن التعرض التكيفي للمعلم هو محور جديد وفعال لتقطير الاستدلال الذاتي. من خلال معاملة وصول المعلم إلى المعلومات المتميزة كمتغير قابل للتحكم بدلاً من افتراض ثابت، يحل ATESD نظير عملية التقطر من جانب الإشراف.

يؤكد المؤلفون أن مساهمتهم ليست مجرد منهج تعليمي جديد أو توزيع تدريب مختلف للطالب، بل هي تحول جذري في كيفية تكييف المعلم مع الحلول المرجعية. يرسخ هذا الأسلوب أن:

• التعرض الكامل هو افتراض دون المثالية.
• يجب أن يتناسب التعرض مع نظام التعلم الحالي للطالب.
• تعلم هذا التعرض يتطلب آليات تخصيص ائتمان متأخر مشابهة لتلك المستخدمة في التعلم التعزيزي.

تخلص الورقة إلى أن ATESD يوفر تحسيناً قوياً وقابلاً للتوسع لنماذج الاستدلال في مرحلة ما بعد التدريب، خاصة مع زيادة سعة النماذج، مع الإشارة إلى أن العمل المستقبلي قد يستكشف التكييف حسب صعوبة كل عينة والتطبيق على مجالات استدلال أوسع تتجاوز المسابقات الرياضية.