ملخص تقني: SimCT - استعادة الإشراف المفقود لعملية التقطير داخل السياسة عبر أجهزة الترميز المتباينة

1. بيان المشكلة

يُعد التقطير داخل السياسة (On-policy distillation - OPD) نموذجاً قياسياً لنقل سلوك نموذج معلم كبير إلى نموذج طالب أصغر. وخلافاً للتقطير غير المتصل (offline distillation)، يقوم الـ OPD باستعلام المعلم بناءً على البوادئ (prefixes) التي يولدها سياسة الطالب الحالية، مما يؤدي إلى مواءمة توزيع التدريب مع توزيع الاستدلال والحد من تراكم الأخطاء.

ومع ذلك، يفترض الـ OPD القياسي ضمناً أن نموذجي المعلم والطالب يتشاركان في جهاز ترميز (tokenizer) واحد، مما يسمح بمقارنة التنبؤات بالرمز التالي (next-token) رمزاً تلو الآخر. وفي سيناريوهات النشر الواقعية، غالباً ما تنتمي نماذج المعلم والطالب إلى عائلات مختلفة ذات أجهزة ترميز متباينة (heterogeneous tokenizers). ويخلق هذا التباين عقبتين جوهريتين:

1. عدم تطابق المفردات: مجموعات الرموز ($\mathcal{V}_T$ و $\mathcal{V}_S$) تتداخل جزئياً فقط. إن قصر الإشراف على الرموز المشتركة يؤدي إلى التخلص من جزء كبير من توزيع مخرجات المعلم.
2. عدم تطابق التسلسل: حتى عندما يكون النص الأساسي متطابقاً، فإن أجهزة الترميز المختلفة تقسمه إلى تسلسلات رمزية مختلفة (على سبيل المثال، "happy" مقابل "hap" + "py" مقابل "ha" + "pp" + "y"). وبناءً على ذلك، فإن توزيع الرمز التالي للمعلم عند بادئة معينة قد لا يتوافق مع نفس الوحدة النصية لتوزيع الطالب، مما يجعل تباعد KL على مستوى الرمز (token-level KL divergence) غير محدد بدقة.

تحاول الحلول الحالية للتعامل مع اختلاف أجهزة الترميز سد هذه الفجوة عبر النقل الأمثل (optimal transport) (المكلف حوسبياً)، أو طبقات إسقاط متعلمة (تتطلب معاملات إضافية)، أو مطابقة الكتل خشنة الحبيبات (مما يؤدي لفقدان الإشارات دقيقة التفاصيل). وغالباً ما تفشل هذه الطرق في استعادة كامل إشارة المعلم أو تتسبب في أعباء إضافية كبيرة.

2. المنهجية: التقطير البسيط عبر أجهزة الترميز المتباينة (SimCT)

يقترح المؤلفون SimCT، وهي طريقة تستعيد الإشراف المفقود عن طريق توسيع فضاء الإشراف بدلاً من تعديل دالة الـ OPD نفسها.

المفهوم الجوهري: الوحدات المتوافقة الدنيا (Minimal Aligned Units)

بدلاً من فرض مطابقة التنبؤات فقط على الرموز المتطابقة، يحدد SimCT الوحدات المتوافقة الدنيا (MAUs). تُعرف الـ MAU بأنها أدق استمرارية نصية يمكن لكلا جهازي الترميز تحقيقها، حتى لو قاما بتفكيكها إلى تسلسلات رمزية مختلفة.

• الرموز المشتركة: الرموز الموجودة في كلا المعجمين ($\mathcal{V}_T \cap \mathcal{V}_S$) تُعامل كوحدات متوافقة 1:1.
• الـ MAUs: بالنسبة للمناطق النصية التي تختلف فيها أجهزة الترميز، تقوم الطريقة ببناء أدق تقسيم متسق للحدود بحيث يمكن تمثيل كل وحدة كتسلسل من رموز المعلم وتسلسل من رموز الطالب.

بناء فضاء الإشراف

يحدد SimCT فضاء إشراف مشترك $\mathcal{U}_{SimCT}$:
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
حيث $\mathcal{A}$ هي مجموعة كافة الوحدات المتوافقة الدنيا.

التقييم والخسارة (Scoring and Loss)

لمقارنة التوزيعات عبر هذا الفضاء، يقدم SimCT خرائط تقييم $\Pi_T$ و $\Pi_S$:

1. الرموز المشتركة: يكون التقييم هو الاحتمال اللوغاريتمي الأصلي.
2. الـ MAUs (متعددة الرموز): يكون التقييم هو متوسط الاحتمال اللوغاريتمي الموزون على الطول للرموز المكونة لها. بالنسبة لوحدة $u$ يتم تمثيلها كـ $k$ من الرموز $(v_1, \dots, v_k)$ بواسطة النموذج $M$:
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   يمنع هذا التطبيع معاقبة الوحدات التي تتطلب رموزاً أكثر بموجب جهاز ترميز معين.

يتم الحصول على التوزيعات النهائية $q_T$ و $q_S$ عبر فضاء $\mathcal{U}_{SimCT}$ من خلال تطبيع هذه التقييمات. وتظل خسارة التقطير هي تباعد reverse-KL القياسي:
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

الخصائص النظرية

• النظرية 1: تشكل الـ MAUs أدق واجهة حدودية مشتركة يمكن التعبير عنها بواسطة كلا جهازي الترميز. لا يوجد أي تفكيك أدق منها يحافظ على قابلية الترميز المشتركة.
• الافتراض 1: إن جعل هذه الوحدات أكثر خشونة (دمج الـ MAUs في نطاقات أكبر) يقلل بشكل صارم من تباعد KL بين توزيعات المعلم والطالب، مما يؤدي فعلياً إلى محو التمايزات المفيدة داخل النطاق. وبالتالي، فإن الحفاظ على أدنى مستوى من الحبيبات هو الأمثل نظرياً للاحتفاظ بالإشارة.

3. المساهمات الرئيسية

1. تحديد فقدان الإشارة: يوضح البحث أن الـ OPD القياسي عبر أجهزة ترميز متباينة يتخلص بصمت من جزء كبير من إشارة المعلم بسبب عدم تطابق المفردات وعدم تطابق التسلسل.
2. توسيع فضاء الإشراف: يقدم SimCT واجهة إشراف مبتكرة تستعيد الإشارة من المفردات غير المشتركة ومن مقاطع النص غير المتوافقة 1:1 دون الحاجة إلى معاملات إضافية قابلة للتدريب أو حسابات نقل معقدة.
3. التبرير النظري: يثبت المؤلفون أن الـ MAUs تمثل أدق درجة حبيبات ممكنة للإشراف، وأن جعلها أكثر خشونة يؤدي حتماً إلى إزالة تمايزات المعلم والطالب المفيدة.
4. التحقق التجريبي: تظهر التجارب المكثفة أن SimCT يتفوق باستمرار على نماذج المفردات المشتركة وطرق أجهزة الترميز المتباينة الأخرى في مهام الاستدلال الرياضي وتوليد الكود.

4. النتائج التجريبية

قيم المؤلفون SimCT على ثلاثة أزواج متباينة من المعلم والطالب (Qwen2.5, Phi-4, Gemma-2) عبر أربعة اختبارات مرجعية: GSM8K، وMATH-500، وMBPP، وLiveCodeBench-v6.

• مكاسب الأداء: حقق SimCT تحسينات مستمرة مقارنة ببدء التشغيل الساخن (SFT warm-starts) وجميع النماذج المرجعية (SimpleOPD, DSKD, ALM, GOLD). وقد حقق متوسط ربح نسبي قدره 6.0% مقارنة بـ SFT وتفوق على أفضل نموذج مرجعي للأجهزة المتباينة بفارق كبير.
• تحليل استعادة الإشارة: أكدت دراسات الاستبعاد (Ablation studies) أن المكاسب ناتجة عن استعادة نوعين من الإشارات المهملة:
  • خارج المفردات المشتركة (OoSV): تنبؤات المعلم ذات الاحتمالية العالية خارج المفردات المشتركة.
  • الوحدات غير المتوافقة: المقاطع النصية التي لا يمكن مواءمتها 1:1.
    استعادة كلا المصدرين عبر فضاء الـ MAU الموحد حققت أفضل أداء.
• استبعاد الحبيبات (Granularity Ablation): أدى دمج الـ MAUs في وحدات أكثر خشونة إلى انخفاض في الأداء، مما يتوافق مع التنبؤ النظري بأن جعل الوحدات أكثر خشونة يزيل إشارة الـ KL التي تمثل تفضيلات المعلم والطالب الدقيقة.
• الكفاءة: لا يضيف SimCT سوى عبء حوسبي هامشي مقارنة بـ SimpleOPD (حوالي 0.16 ساعة لكل تشغيل على 8x H20 GPUs)، وهو أسرع بكثير من الطرق التي تتطلب إسقاطات متعلمة أو نقلاً أمثلاً.

5. الأهمية والادعاءات

يجادل البحث بأن العقبة الرئيسية في الـ OPD عبر أجهزة الترميز المتباينة ليست في نموذج التدريب نفسه، بل في بناء فضاء الإشراف. ومن خلال تحويل التركيز من "مطابقة الرموز" إلى "مطابقة الاستمرارية النصية"، يستعيد SimCT الإشراف الذي كان غير متاح سابقاً.

يدعي المؤلفون أن SimCT يوفر حلاً بسيطاً، وخالياً من المعاملات، وقوياً للتقطير بين النماذج ذات أجهزة الترميز المختلفة. وتشير النتائج إلى أن الحفاظ على أدق الوحدات القابلة للترميز المشترك أمر بالغ الأهمية للحفاظ على جودة إشارات التعلم داخل السياسة. يرسخ هذا العمل حقيقة أن توسيع فضاء الإشراف ليشمل الوحدات المتوافقة الدنيا هو استراتيجية أكثر فعالية من تعديل دالة الخسارة أو إضافة آليات مواءمة معقدة.

القيود التي ذكرها المؤلفون:

• التقييم حالياً محدود بمجالات الرياضيات والكود.
• تعتمد الطريقة على أجهزة ترميز نمط BPE؛ قد يلزم التكيف مع أجهزة الترميز ذات سلوكيات التقسيم المختلفة جذرياً.
• يفترض التنفيذ الحالي الوصول إلى توزيعات الرمز التالي للمعلم (white-box access)؛ وترك التوسع في بيئات الصندوق الأسود (black-box) للعمل المستقبلي.