ملخص تقني: فك الارتباط بين KL والمسارات في تقطير النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

أصبح تقطير المعرفة (Knowledge Distillation) حجر الزاويد في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLM)، لا سيما لمهام الاستدلال، وغالباً ما يعمل جنباً إلى جنب مع التعلم التعزيزي (RL). ومع ذلك، لا تزال مساحة التصميم لعمليات التقطير غير مفهومة بشكل جيد. تتبع خطوط الأنابيب الحالية عادةً أحد نموذجين: التقطير خارج السياسة (off-policy distillation) (التدريب على آثار يولدها المعلم، غالباً عبر الضبط الدقيق الخاضع للإشراف - SFT)، أو التقطير داخل السياسة (on-policy distillation - OPD) (التدريب على مخرقات يولدها الطالب مع تغذية راجعة من المعلم).

تجادل الورقة بأن هذه النماذج السائدة تربط ضمناً بين خيارين تصميميين متعامدين:

1. مصدر البادئة (Prefix Source): ما إذا كان الإشراف يُطبق على بادئات يولدها المعلم (خارج السياسة) أم يولدها الطالب (داخل السياسة).
2. اتجاه KL على مستوى الرمز (Token-level KL Direction): ما إذا كان الهدف يقلل من تباعد KL الأمامي ($KL(p_{teacher} \parallel q_{student})$) أم تباعد KL العكسي ($KL(q_{student} \parallel p_{teacher})$).

يربط الممارسة التقليدية بين بادئات المعلم و KL الأمامي، وبين بادئات الطالب و KL العكسي. ويرى المؤلفون أن هذا الارتباط ليس جوهرياً على مستوى الرمز، وأن فك الارتباط بين هذين المحورين يكشف عن مساحة تصميم أوسع تضم أربعة أهداف صالحة، كل منها يقابل نظام تعلم متميزاً.

المنهجية

الإطار النظري: فك الارتباط بين المحاور

قام المؤلفون بتفكيك تباعد KL على مستوى التسلسل باستخدام قاعدة السلسلة ذاتية الانحدار (autoregressive chain rule). وقد أثبتوا أن:

• الـ KL الأمامي ($KL(p_T \parallel q_S)$) يقترن طبيعياً مع بادئات المعلم (خارج السياسة) لأن التوقع يؤخذ بناءً على توزيع مسار المعلم.
• الـ KL العكسي ($KL(q_S \parallel p_T)$) يقترن طبيعياً مع بادئات الطالب (داخل السياسة) لأن التوقع يؤخذ بناءً على توزيع مسار الطالب.

من خلال معاملة هذه كأمحاور مستقلة، حدد المؤلفون أربعة أهداف:

1. بادئة المعلم + KL أمامي: يقابل SFT خارج السياسة (التقطير القياسي).
2. بادئة الطالب + KL أمامي: يقابل أسلوب DAgger للتدريب داخل السياسة (on-policy SFT).
3. بادئة المعلم + KL عكسي: يقابل هدف تقطير بأسلوب RL خارج السياسة (offline RL-style).
4. بادئة الطالب + KL عكسي: يقابل التقطير داخل السياسة (OPD)، ويُنظر إليه كتعلم تعزيزي داخل السياسة بمكافأة كثيفة.

تثبت الورقة هويات على مستوى التدرج (gradient-level identities) تُظهر أن:

• الـ KL الأمامي ينتج تدرجاً لتقاطع الإنتروبيا (cross-entropy) بأسلوب SFT مع أهداف ناعمة من المعلم.
• الـ KL العكسي ينتج تدرج سياسة بأسلوب RL مع مكافأة كثيفة محددة بنسبة اللوغاريتم (log-ratio) بين المعلم والطالب ($r = \log p_T - \log q_S$).

الإعداد التجريبي

أجرى المؤلفون دراسة منضبطة على الاستدلال الرياضي باستخدام نماذج Qwen3 (طالب بحجم 0.6B، ومعلم بحجم 4B/8B). وقاموا بتقييم الأهداف الأربعة في نظامين:

1. التقطير المستقل (Standalone Distillation): مقارنة الأداء النهائي للنماذج المدربة حصرياً بكل هدف.
2. التقطير ثم RL (Distillation-then-RL): استخدام نقاط التفتيش (checkpoints) المقطرة كنقاط انطلاق لـ تحسين السياسة النسبي للمجموعات (GRPO).

كما تتبعوا الدقة، والإنتروبيا التنبؤية، وطول الاستجابة عبر مختلف أطوال التسلسل (128 مقابل 4096 رمزاً) وعبر معايير مختلفة (MATH500, GSM8K, AIME24, AMC23).

المساهمات الرئيسية

1. تحديد ثلاثة مقايضات (Tradeoffs)

يكشف التحليل التجريبي عن ثلاث مقايضات أساسية تحكم تصميم التقطير:

• مقايضة الدقة–الإنتروبيا (اتجاه KL): يحقق الـ KL العكسي باستمرار دقة مستقلة أعلى (Avg@k) ولكنه يدفع الإنتروبيا التنبؤية نحو الانهيار، مما يقلل التنوع (انخفاض Pass@k) ويجعل النموذج أقل استقراراً لعمليات RL اللاحقة. أما الـ KL الأمامي فيحافظ على الإنتروبيا، مما يدعم تحسيناً أكثر استقراراً لـ RL، وإن كان بدقة مستقلة أولية أقل.
• مقايضة الجودة–الحوسبة (مصدر البادئة): تحقق بادئات الطالب (داخل السياسة) دقة أعلى تحت ظروف عدد خطوات تدريب متساوية من خلال الإشراف على الحالات التي يزورها الطالب فعلياً. ومع ذلك، فإن بادئات المعلم (خارج السياسة) أكثر كفاءة حوسبياً تحت ظروف FLOPs متساوية لأنها تسمح بإعادة استخدام لوغاريتمات المعلم المخزنة (cached logits) والمسارات خارج السياسة، مما يتجنب تكلفة توليد الطالب عبر الإنترنت.
• مقايضة الدقة–الاستقرار (طول التدريب): يحسن تقطير التسلسل الطويل (4096 رمزاً) دقة الاستدلال، ولكنه، خاصة تحت ظل الـ KL العكسي، يسبب انهياراً حاداً في الإنتروبيا وتضخماً في الطول ("length inflation") (وصول الاستجابات إلى حد التوليد الأقصى). التدريب على تسلسلات قصيرة أكثر استقراراً ولكنه أقل دقة.

2. الطرق المقترحة لموازنة المقايضات

مدفوعين بهذه النتائج، يقترح المؤلفون طريقتين عمليتين:

• خلط KL (KL Mixing): مزيج مرجح من الـ KL الأمامي والعكسي عند كل بادئة. وجد المؤلفون أنه في تقطير التسلسل الطويل، يكون المزيج الثقيل بالـ KL الأمامي أمراً بالغ الأهمية؛ فهو يحتفظ بفوائد الدقة للـ KL العكسي مع منع انهيار الإنتروبيا وتضخم الطول، مما يستقر ديناميكيات التدريب.
• منهج طول محكوم بالإنتروبيا (Entropy-Gated Length Curriculum): جدول تدريبي يبدأ بآفاق قصيرة ويزيد طول التسلسل فقط عندما تظل الإنتروبيا التنبؤية فوق عتبة استقرار معينة. هذا النهج يتجنب انهيار الإنتروبيا المرتبط بالتدريب ذي الأفق الطويل الثابت.

النتائج

التقطير المستقل

• يتفوق الـ KL العكسي عموماً على الـ KL الأمامي في الدقة المستقلة (Avg@k)، بفارق +2.45 نقطة في المتوسط.
• تتفوق بادئات الطالب على بادئات المعلم في الدقة، خاصة في إعدادات التسلسل الطويل (+3.55 في Avg@k).
• انهيار الإنتروبيا: يؤدي الـ KL العكسي الصرف في إعدادات التسلسل الطويل إلى دفع الإنتروبيا إلى الصفر تقريباً ويتسبب في تضخم أطوال الاستجابة إلى الحد الأقصى (مثلاً، 8185 رمزاً)، مما يؤدي لتدهور Pass@k.

التقطير ثم RL (GRPO)

• استقرار التهيئة: النماذج التي يتم تهيئتها باستخدام الـ KL الأمامي (حتى لو كانت دقتها المستقلة أقل) تظهر تحسناً أكثر موثوقية أثناء GRPO لأنها تحتفظ بإنتروبيا أعلى.
• فخ الـ KL العكسي: النماذج التي يتم تهيئتها بالـ KL العكسي غالباً ما تبدأ بدقة أعلى ولكنها تتدهور أو تستقر (plateau) أثناء RL بسبب انخفاض الإنتروبيا وقلة قدرة الاستكشاف.
• نجاح المنهج (Curriculum): حسن منهج الطول المحكوم بالإنتروبيا أداء النموذج بشكل كبير. مقارنة بالتدريب الثابت بـ 4096 رمزاً، أدى هذا المنهج إلى تحسين Avg@k بمقدار 3.6 نقطة وتحسين Pass@k بما يصل إلى 5.8 نقطة، مع تقليل متوسط طول الاستجابة بنحو 3 أضعاف (على سبيل المثال، من ~8185 إلى ~2688 رمزاً).

نتائج خلط KL

في إعدادات التسلسل الطويل، حافظ المزيج ذو الوزن العالي للـ KL الأمامي (على سبيل المثال، 0.8 للـ Forward / 0.2 للـ Reverse) على معظم دقة الـ KL العكسي مع استقرار الإنتروبيا ومنع تضخم الطول.

الأهمية والادعاءات

تدعي الورقة توفير إطار نظري موحد يربط وصفات التدريب المتباينة (SFT, DAgger, Offline RL, OPD) كحالات محددة من خيارين تصميميين متعامدين. من خلال فك الارتباط بين مصدر البادئة واتجاه KL، يرى المؤلفون أنه يمكن للممارسين تجاوز النماذج الجامدة لتصميم أهداف تقطير استدلال توازن صراحةً بين:

• الدقة (عبر الـ KL العكسي والتسلسلات الطويلة)،
• التنوع/الاستكشاف (عبر الـ KL الأمامي والحفاظ على الإنتروبيا)،
• كفاءة الحوسبة (عبر بادئات المعلم/التخزين المؤقت)، و
• قابلية التدريب لـ RL لاحقاً (عبر استقرار الإنتروبيا).

تُقدم الطرق المقترحة (خلط KL والمنهج المحكوم بالإنتروبيا) كأدوات عملية للتنقل عبر المقايضات المحددة، مما يسمح بتدريب نماذج استدلال أصغر تكون دقيقة ومستقرة في نفس الوقت لعمليات تحسين السياسة اللاحقة. ويشدد المؤلفون على أن "أفضل" هدف مستقل ليس بالضرورة هو الأفضل كتهيئة لمسار RL، مما يسلط الضوء على الحاجة إلى رؤية شاملة لعملية ما بعد التدريب.