ملخص تقني: الأقل هو الأكثر: تطبيق التوقف المبكر في التوليد لعملية التقطير داخل السياسة (On-Policy Distillation)

1. بيان المشكلة: تدهور المعلم خارج السياسة (Off-Policy Teacher Decay)

تحدد الورقة نمط فشل حرج في التقطير داخل السياسة (On-Policy Distillation - OPD)، وهو نموذج يقوم فيه النموذج الطالب بتوليد مسارات (rollouts) خاصة به، والتي يتم بعد ذلك تقييمها بواسطة نموذج معلم لتوفير أهداف ناعمة (soft targets) على مستوى الرمز (token). وبينما يعد الـ OPD ممارسة صناعية مهيمنة، لاحظ المؤلفون ظاهرة أطلقوا عليها اسم "تدهور المعلم خارج السياسة" (Off-Policy Teacher Decay).

في عملية الـ OPD القياسية، يقوم المعلم بتقييم توليد الطالب عند كل موضع رمز $t$. ومع ذلك، مع توليد الطالب لمزيد من الرموز، يصبح السياق $y_{<t}$ "خارج السياسة" (off-policy) بشكل متزايد بالنسبة لتوزيع تدريب المعلم. وتجادل الورقة بأنه عندما يتم تكييف المعلم بناءً على بادئة (prefix) ولدها الطالب وتختلف عن مناطق الاستدلال عالية الاحتمالية الخاصة بالمعلم، فإن قدرته على تقديم إشارة تصحيحية تتدهور. وبدلاً من تصحيح الطالب لحل المشكلة، يعود المعلم إلى سلوكيات ما قبل التدريب (pre-training)، حيث يعمل فعلياً كمكمل تلقائي (auto-completer) لمسار الطالب.

أظهر التحقق التجريبي على مجموعة بيانات MATH-500 أن دقة المعلم تنخفض بشكل كبير (من ~65% إلى ~51%) عند الاستمرار من بادئة ولدها الطالب بطول 300 رمز، مما يقترب من أداء خط الأساس للطالب غير المدرب. وهذا يشير إلى أن درجات الرموز في المواضع المتأخرة في الـ OPD كامل المسار ليست إشارات تصحيحية موثوقة، بل هي انعكاسات لعجز المعلم عن التعافي من مسار الطالب الخارج عن السياسة.

2. المنهجية: التوقف المبكر في التوليد (Early Stopping Rollout - ESR)

لمعالجة هذا التدهور، يقترح المؤلفون التوقف المبكر في التوليد (ESR)، وهو تعديل بسيط على حلقة الـ OPD القياسية.

• الآلية الجوهرية: بدلاً من توليد استجابات كاملة الطول، يتم قطع مسار الطالب عند أول $N$ من الرموز (حيث $N \ll T$، طول التسلسل الكامل). ويتم حساب خسارة التقطير (تباعد KL العكسي) فقط على هذه النافذة المبكرة.
• التنفيذ: يتطلب هذا تغيير سطر واحد فقط من الكود في حلقة التدريب. إذا أصدر الطالب رمز نهاية التسلسل (EOS) قبل الموضع $N$، ينتهي المسار بشكل طبيعي.
• محاذاة الرموز: بالنسبة للأزواج من عائلات مختلفة أو أجيال مختلفة ذات أجهزة ترميز (tokenizers) مختلفة، يتم فك تشفير مسار الطالب إلى نص وإعادة ترميزها تحت جهاز ترميز المعلم لضمان المحاذاة على مستوى الرمز لحساب الخسارة.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

1. تحسين منهجي: يتفوق ESR باستمرار على الـ OPD كامل المسار عبر مهام متنوعة (رياضيات، برمجة، استدعاء الدوال)، وأحجام نماذج مختلفة (طلاب 1.5B–32B، معلمين 1.7B–72B)، وأنظمة تدريب مختلفة (LoRA والضبط الدقيق الكامل). وهو فعال بشكل خاص في سيناريوهات العائلات المختلفة والأجيال المختلفة حيث يفشل الـ OPD كامل المسار غالباً.
2. الكفاءة والاستقرار: يقلل ESR التكاليف الحسابية بشكل كبير، محققاً تسريعًا يصل إلى 24 ضعفاً في وقت التشغيل الفعلي وتقليلاً بمقدار 4 أضعاف في ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU). كما يوفر استقراراً أعلى بكثير في التدريب، مما يمنع أنماط الفشل الكارثي الملاحظة في إعدادات المسار الكامل.
3. الرؤية الآلية: يقدم المؤلفون تحليلاً عميقاً لسبب نجاح ESR، محددين ثلاث ظواهر رئيسية:
   • تدهور المعلم خارج السياسة: السبب الجذري لفشل المسار الكامل.
   • المحاذاة المتتالية (Cascading Alignment): التدريب على النافذة المبكرة يحسن المحاذاة على الرموز المتأخرة غير المدربة.
   • الالتزام بالنمط الفرعي (Sub-mode Commitment): يسمح ESR للطلاب بتجاوز أداء المعلم من خلال الالتزام بأنماط فرعية محددة وعالية الجودة من توزيع المعلم.

4. النتائج التجريبية

قيم المؤلفون ESR عبر مصفوفة شاملة من الإعدادات:

• الأداء: يطابق ESR أو يتفوق على الـ OPD كامل المسار في جميع التكوينات المختبرة. ومن الجدير بالذكر أنه في إعدادات العائلات المختلفة (مثل Gemma-2 إلى Qwen3)، غالباً ما ينهار الـ OPD كامل المسار (ينخفض الأداء بأكثر من 10% أو يفشل في التقارب)، بينما يحسن ESR الأداء باستمرار.
• تجاوز المعلم: في كثير من الحالات، يتجاوز الطلاب المدربون بـ ESR أداء نموذج المعلم نفسه، وهي ظاهرة نادراً ما تُرى في التقطير القياسي.
• المتانة تجاه $N$: المنهج متين تجاه اختيار $N$ ضمن نطاق معين (على سبيل المثال، $N \in [50, 200]$)، رغم أن أزواج العائلات المختلفة تظهر حساسية أعلى تجاه $N$ مقارنة بأزواج العائلة الواحدة.
• الكفاءة: على وحدة معالجة رسومات A6000، قلل ESR إجمالي وقت الخطوة من 194 ثانية (OPD) إلى 8 ثوانٍ، ويرجع ذلك أساساً إلى إلغاء تكلفة توليد تسلسلات طويلة لغرض التقييم.

5. التحليل الآلي

تبحث الورقة في سبب تحقيق تقييد التدريب على الرموز المبكرة لنتائج قوية كهذه:

• المحاذاة المتتالية: حتى وإن تم حساب الخسارة فقط على أول $N$ من الرموز، فإن تباعد KL على الرموز اللاحقة غير المدربة ينخفض بنسبة 30-40%. ويفترض المؤلفون أن الرموز المبكرة غالباً ما تحتوي على التخطيط الاستراتيجي وصياغة المشكلة (مثل تعريف المتغيرات، أو إعداد الهندسة). بمج once يتعلم الطالب الاستراتيجية الصحيحة من المعلم، يتبع التنفيذ (الرموز اللاحقة) بشكل طبيعي، ويكون "مجانيًا" من الإشراف المباشر.
• الالتزام بالنمط الفرعي: تباعد KL العكسي ($KL(\pi_s \parallel \pi_t)$) هو بحث عن النمط (mode-seeking)؛ فهو يعاقب الطالب على وضع كتلة احتمالية على رموز غير مدعومة، لكنه لا يعاقبه على تركيز الكتلة على رمز واحد مدعوم.
  • غالباً ما تكون المعلمين كثيري الكلام ومتعددي الأنماط (يدعمون الحلول الموجزة والمطولة على حد سواء).
  • يميل الـ OPD كامل المسار إلى متوسط هذه الأنماط، مما يجر الطالب نحو إطناب المعلم.
  • ESR، من خلال قطع المسار، يمنع الطالب من الانجرار إلى ذيل الإطناب الخاص بالمعلم. بدلاً من ذلك، يلتزم الطالب بنمط فرعي محدد، وغالباً ما يكون أكثر إيجازاً وصحة، من توزيع المعلم. وهذا يسمح للطلاب أحياناً بالتفوق على متوسط سلوك المعلم.
• الموضع مقابل الإشارة: تظهر دراسات الاستبعاد (Ablation studies) أن اختيار الرموز بناءً على تباعد KL العالي أو الإنتروبيا العالية فقط لا يكرر نجاح ESR. في الواقع، اختيار أفضل 100 رمز حسب تباعد KL غالباً ما يؤدي لأداء أقل من الـ OPD القياسي. وهذا يشير إلى أن الموضع هو عامل مستقل وحاسم لاختيار الرموز، وليس مجرد وسيط لقوة الإشارة.

6. الأهمية والادعاءات

تدعي الورقة أن ESR يقدم نهج "الأقل هو الأكثر" للتقطير داخل السياسة. ومن خلال تقييد المسار إلى النافذة الاستراتيجية الأولية، يخفف ESR من تدهور إشارات المعلم، ويحسن استقرار التدريب، ويقلل من استهلاك الموارد.

يؤكد المؤلفون أن نتائجهم تتحدى الافتراض القائل بأن المسارات الأطول توفر إشارة تعلم أكبر. بدلاً من ذلك، يثبتون أنه في سيناريوهات النماذج المختلفة، فإن "الضجيج" الناتج عن تدهور المعلم خارج السياسة في الرموز المتأخرة يفوق فوائد البيانات الإضافية. إن اكتشاف قدرة الطلاب على تجاوز المعلمين عبر الالتزام بالنمط الفرعي يفتح مساراً جديداً للتقطير حيث لا يكون الهدف هو محاكاة توزيع المعلم بالكامل، بل استخراج والالتزام باستراتيجيات الاستدلال الأكثر فعالية لديه.

القيود: يشير المؤلفون إلى أن تجاربهم تفترض أن الطالب هو بالفعل نموذج مضبوط وفق التعليمات ويمتلك قدرات استدلال أساسية. كما يقرون بأن فعالية ESR عند مقياس النماذج ذات التريليونات من المعلمات مع ميزانيات بيانات ضخمة تظل سؤالاً مفتوحاً. بالإضافة إلى ذلك، تظل فعالية ESR في النماذج التي تبدأ من الصفر (Pre-trained only) مسألة تتطلب مزيداً من البحث، حيث قد يظل الإشراف على المسار الكامل ضرورياً.