💬 NLP

Hybrid Policy Distillation for LLMs

تقدم هذه الورقة تقنية تقطير السياسة الهجين (HPD)، وهي إطار عمل موحد لتقطير المعرفة يدمج تباعدات KL الأمامية والعكسية مع مزيج من البيانات غير المتوافقة مع السياسة والبيانات المتوافقة مع السياسة التقريبية لتعزيز استقرار وكفاءة وأداء ضغط النماذج اللغوية الكبيرة عبر مهام متنوعة.

المؤلفون الأصليون: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عبقرياً عالمياً (المعلم) يمكنه طهي أطباق مذهلة ومعقدة. ومع ذلك، فإن هذا الطباخ ضخم، وتكلفة إطعامه باهظة، ويشغل مطبخاً هائلاً. أنت تريد تدريب متدرب شاب وصغير (الطالب) ليطبخ ببراعة مماثلة، لكن لا يمكنك تحمل تكلفة إبقاء الطباخ الكبير حولك للأبد.

هذه هي مشكلة تقطير المعرفة (Knowledge Distillation): تعليم نموذج ذكاء اصطناعي صغير من نموذج كبير.

تقترح ورقة بحثية بعنوان "تقطير السياسة الهجين (Hybrid Policy Distillation)" طريقة أذكى لتدريب المتدرب. إليك التفاصيل باستخدام تشبيهات بسيطة:

المشكلة: خطأ "النموذج الواحد الذي يناسب الجميع"

تقليدياً، كانت هناك طريقتان رئيسيتان لتعليم المتدرب، وكلتاهما تعانيان من عيوب:

1. طريقة "المُقلد" (Forward KL):

كيف تعمل: يقول المعلم: "لقد صنعت طبقاً بنسبة 30% احتمال أن يكون حاراً، و20% مالحاً، و50% حلواً. يجب عليك محاولة مطابقة كل الاحتمالات التي فكرت فيها".
العيب: يصاب المتدرب بالارتباك. لكي يطابق "روح" المعلم في جعل كل شيء ممكناً، ينتهي الأمر بالطالب بصنع طعام باهت وعجيني يحاول أن يكون كل شيء في آن واحد. إنه مفرط في التمهيد (over-smoothed) ويفتقر إلى النكهة.

2. طريقة "الأكيل الانتقائي" (Reverse KL):

كيف تعمل: يقول المعلم: "أنا أحب أفضل 5 أطباق فقط. تجاهل كل ما عداها. فقط اصنع هذه الأطباق الخمسة".
العيب: يصبح المتدرب ضيق الأفق للغاية. إذا ارتكب المعلم خطأً أو إذا أخطأ الطالب في التخمين، فإن الطالب يعلق في حلقة مفرغة من صنع نفس الأطباء القليلة، متجاهلاً الخيارات الصالحة الأخرى. إنه غير مستقر ويمكن أن يؤدي إلى عادات سيئة.

الحل: تقطير السياسة الهجين (HPD)

أدرك المؤلفون أنه ليس عليك الاختيار بين أن تكون "مُقلداً" أو "أكيلاً انتقائياً". يمكنك أن تكون كليهما، اعتماداً على الموقف. هم يسمون هذا تقطير السياسة الهجين (HPD).

فكر في HPD كـ مدرب ذكي يستخدم نظام "إشارات المرور" الخاص لتوجيه الطالب:

1. "الضوء الأخضر" (عندما يكون أداء الطالب جيداً)

عندما ينظر الطالب إلى إجابة صحيحة ("توكن خبير") ويدرك: "أوه، لم أعطِ هذه الإجابة حقها الكافي!" (لقد قلل من تقديرها)، يقول المدرب:

"انطلق!"
يتم تشجيع الطالب على التعلم من وصفة المعلم الكاملة (Forward KL). هذا يضمن أن الطالب لن يفوت الفرصة في اكتشاف الاحتمالات الجيدة.

2. "الضوء الأحمر" (عندما يخرج الطالب عن المسار)

عندما يحاول الطالب توليد إجابة غريبة أو غير منطقية ("توكن غير خبير") ويدرك: "انتظر، هذا لا يبدو منطقياً مقارنة بالمعلم"، يقول المدرب:

"توقف! لا تفعل ذلك."
يتم معاقبة الطالب على هذا التخمين السيئ. ولكن هنا يكمن السحر: بدلاً من مجرد قول "لا"، يأخذ المدرب الطاقة من هذا الـ "لا" ويعيد توجيهها نحو الإجابة الصحيحة. الأمر يشبه أخذ منعطف خاطئ واستخدام ذلك الزخم لدفعك بقوة أكبر نحو المسار الصحيح.

3. "الممارسة خفيفة الوزن"

عادةً، لتدريب الطالب جيداً، يتعين عليك جعله يمارس توليد جمل كاملة (rollouts) ثم تقييمها. هذا بطيء ومكلف (مثل جعل الطالب يطبخ وجبة كاملة مكونة من 5 أطباق فقط ليتعلم كيفية تقطيع البصل).

HPD ذكي لأنه يطلب من الطالب فقط تخمين الكلمة التالية والتحقق مما إذا كانت صحيحة أم خاطئة. إنه يشبه "اختباراً مفاجئاً" سريعاً على الكلمة التالية بدلاً من امتحان كامل. هذا يوفر الكثير من الوقت وقوة الحوسبة.

لماذا يعد هذا أمراً هاماً؟

اختبر المؤلفون هذا في ثلاثة "مطابخ" مختلفة تماماً:

الاستدلال الرياضي: حل المسائل الرياضية المعقدة والطويلة.
الدردشة: إجراء محادثات طبيعية متعددة الأدوار.
البرمجة: كتابة أكواد الكمبيوتر.

النتائج:

الاستقرار: لم يرتبك الطالب أو ينهار أداؤه (لا مزيد من "انهيار الإنتروبي").
السرعة: تم تدريبه بشكل أسرع وأرخص من الطرق السابقة.
الأداء: انتهى الأمر بنماذج الطلاب الصغيرة بأداء يقارب نماذج المعلمين العملاقة، حتى في المهام الصعبة مثل الرياضيات والبرمجة.

الخلاصة

تقطير السياسة الهجين هو بمثابة إعطاء الطالب مدرساً خصوصياً ذكياً ومتكيفاً.

إذا كان الطالب غير متأكد، يظهر له المدرس النطاق الكامل للاحتمالات حتى لا يفوت أي شيء.
إذا ارتكب الطالب خطأً، يقوم المدرس بتصحيحه بصرامة ويستخدم هذا التصحيح لدفعه نحو الإجابة الصحيحة.
وهو يفعل كل هذا دون جعل الطالب يطبخ وجبة كاملة في كل مرة يمارس فيها.

إنها طريقة أكثر كفاءة، واستقراراً، وقوة لتقليص عقول الذكاء الاصطناعي العملاقة إلى عقول صغيرة ومحمولة دون فقدان عبقريتها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Hybrid Policy Distillation for LLMs" (تقطير السياسة الهجين للنماذج اللغوية الكبيرة):

1. بيان المشكلة

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً، لكنها تتسبب في تكاليف حوسبة وتخزين هائلة. ويعد تقطير المعرفة (Knowledge Distillation - KD) وسيلة أساسية لضغط هذه النماذج، ومع ذلك تواجه الأساليب الحالية مقايضات كبيرة تحكمها ثلاثة محاور تصميمية مترابطة:

اتجاه التباعد (Divergence Direction):
- التباعد الأمامي (Forward KL - FKLD): يعزز "تغطية النمط" (ضمان تغطية الطالب لجميع أنماط المعلم) ولكنه غالباً ما يؤدي إلى تنبؤات مفرطة في التنعيم ومنخفضة الثقة.
- التباعد العكسي (Reverse KL - RKLD): يعزز "البحث عن النمط" (التركيز على أنماط المعلم ذات الاحتمالية العالية) ولكنه قد يسبب عدم استقرار في التدريب وانهياراً عندما تكون الفجوة بين الطالب والمعلم كبيرة.
استراتيجية التحسين (Optimization Strategy): ما إذا كان التباعد يُعامل كخسارة مباشرة أو كإشارة مكافأة، مما يؤدي إلى ديناميكيات تدرج مختلفة.
نظام البيانات (Data Regime):
- خارج السياسة (Off-policy): يستخدم بيانات معلم ثابتة (كفء ولكن يعاني من عدم التطابق بين التدريب والاستدلال).
- داخل السياسة (On-policy): يأخذ عينات من سياسة الطالب (أفضل في المحاذاة ولكنه مكلف حوسبياً بسبب عمليات التوليد الكاملة).

عادةً ما تختار الطرق الحالية اتجاهاً واحداً (FKLD أو RKLD) ونظاماً واحداً، مما يفشل في موازنة الفوائد المتكاملة لكل منهما أو التعامل بكفاءة مع المقايضة بين الاستقرار والأداء.

2. المنهجية: تقطير السياسة الهجين (HPD)

يقترح المؤلفون تقطير السياسة الهجين (HPD)، وهو إطار عمل موحد يدمج مزايا FKLD وRKLD مع الجمع بين بيانات خارج السياسة وأخذ عينات داخل السياسة خفيفة الوزن.

أ. الرؤية النظرية الموحدة

تعيد الورقة صياغة تقطير المعرفة (KD) كهدف إعادة وزن لوغاريتمي (reweighted log-likelihood objective) على مستوى الرمز (token):
$\mathcal{L}(\theta) = \min_{\theta} -\mathbb{E}_{(s_t, a_t) \sim D_\pi} [w(a_t | s_t) \log q_\theta(a_t | s_t)]$
هنا، يعمل $w(a_t | s_t)$ كإشارة إعادة وزن. يحلل المؤلفون كيف ترتبط الطرق المختلفة (SFT، FKLD، RKLD) باختيارات محددة لهذا الوزن. ويوضحون أن الأوزان السالبة (التي تميز Reverse KL) تعمل بنشاط على كبح الرمز المأخوذ وإعادة توزيع الكتلة الاحتمالية إلى الرموز الأخرى، بينما تعزز الأوزان الموجبة الرمز.

ب. خوارزمية HPD

تعمل HPD على تصميم غير متماثل على مستوى الرمز لكل حالة $s_t$ في مجموعة بيانات خارج السياسة:

معالجة رمز الخبير (الناتج الحقيقي/مخرج المعلم):
- تحسب مُقدّر التباعد العكسي (Reverse KL - $k_1$ ) لرمز الخبير $a^*_t$ : $k_1 = q_\theta(a^*_t|s_t) [\log p(a^*_t|s_t) - \log q_\theta(a^*_t|s_t)]$ .
- المنطق:
  - إذا كان $k_1 > 0$ (الطالب يقلل من تقدير الخبير): يتم تطبيق وزن التباعد الأمامي (Forward KL weight) ( $p(a^*_t|s_t) + k_1$ ) لتعزيز الرمز.
  - إذا كان $k_1 \le 0$ (الطالب يبالغ في التقدير): يتم حجب مكون Forward KL لمنع التدرجات المتضاربة، والاعتماد فقط على الإشارة السالبة.
معالجة الرمز المأخوذ من الطالب (داخل السياسة):
- يأخذ الطالب عينة لرمز غير خبير $a_t \sim q_\theta(\cdot|s_t)$ حيث $a_t \neq a^*_t$ .
- يحسب الفجوة $k'_1$ لهذا الرمز المأخوذ.
- المنطق:
  - إذا كان $k'_1 < 0$ (الطالب يبالغ في تقدير رمز غير خبير): يتم تطبيق وزن سالب ( $k'_1$ ) لكبح هذا السلوك غير المنطقي.
  - من المهم، إذا بالغ الطالب في تقدير رمز غير خبير ( $k'_1 < 0$ ) وفي نفس الوقت قلل من تقدير الخبير ( $k_1 > 0$ )، يتم مضاعفة الوزن لرمز الخبير ( $2p(a^*_t|s_t) + k_1$ ). هذا يوجه بشكل صريح الكتلة الاحتمالية التي تم كبحها من العينة السيئة نحو إجراء الخبير الصحيح.
دالة الخسارة:
تجمع الدالة النهائية هذه الحدود الموزونة:
$\mathcal{L}_{HPD} = \mathbb{E} [ -w^*_t \log q_\theta(a^*_t | s_t) - w_t \log q_\theta(a_t | s_t) ]$
يحافظ هذا النهج على الكفاءة الحسابية للإشراف بنموذج (one-hot) المستخدم في SFT مع دمج التوجيه التوزيعي الكثيف لتباعد KL.

3. المساهمات الرئيسية

رؤية موحدة: وضع إطار عمل لإعادة وزن الاحتمالية اللوغاريتمية يربط بين SFT وFKLD وRKLD، موضحاً كيفية تفاعل اتجاه التباعد وأنظمة البيانات.
خوارزمية HPD: اقترح طريقة جديدة تدمج إشارات Forward KL وReverse KL. وهي تستخدم مُقدّرات KL السالبة كإشارات مكافأة لكبح عينات الطالب السيئة وتعزيز رموز الخبير ديناميكياً، مما يوازن بفعالية بين تغطية النمط والبحث عن النمط.
الكفاءة: على عكس تقطير داخل السياسة (OPD) الذي يتطلب عمليات توليد كاملة مكلفة، تستخدم HPD أخذ عينات خفيف الوزن على مستوى الرمز الواحد من الطالب، مما يقلل بشكل كبير من الأعباء الحسابية.
التهيئة القوية: أثبتت أن HPD توفر تهيئة فائقة لعمليات تقطير داخل السياسة (OPD) أو تحسين التفضيل المباشر (DPO) اللاحقة، مما يؤدي إلى مكاسب أداء إضافية.

4. النتائج التجريبية

تحقق المؤلفون من صحة HPD عبر ثلاثة مجالات: الاستدلال الرياضي (توليد طويل)، الحوار (توليد قصير)، وتوليد الكود.

الاستدلال الرياضي (خارج السياسة):
- تم الاختبار على عائلات Qwen2.5 وLLaMA3 (على سبيل المثال، معلم 7B $\leftarrow$ طالب 1.5B/3B).
- النتائج: تفوقت HPD بشكل كبير على SFT وSeqKD وRKLD وJSD. والجدير بالذكر أن HPD حسنت قدرات الاستدلال لـ Qwen2.5 3B بنسبة 41% وLLaMA3 3B بنسبة 78% مقارنة بالخطوط المرجعية القياسية.
- الديناميكيات: حافظت HPD على استقرار إنتروبيا التدريب (تجنب الانهيار) وقللت تدريجياً من فجوة تباعد KL بين الطالب والمعلم، على عكس SFT التي كانت تعاني من الركود.
الحوار والكود (خارج السياسة):
- الحوار: حققت HPD أعلى الدرجات في اختبارات الحوار متعدد الأدوار (MT-Bench) ومقاييس المحاذاة (AlpacaEval, Arena-Hard)، مما أظهر تماسكاً فائقاً وقدرة أفضل على الاحتفاظ بالسياق.
- الكود: حققت HPD أفضل متوسط درجات pass@1 في HumanEval وMBPP، مما أظهر تحسينات أكثر استقراراً عبر عائلات النماذج مقارلة بالتباين العالي المشاهد في KD وJSD.
التكامل مع داخل السياسة (On-Policy) وDPO:
- عند استخدامها كتهيئة لـ OPD، تفوقت HPD + OPD على الخطوط المرجعية SFT + OPD.
- في مهام محاذاة DPO، أظهرت النماذج التي بدأت بـ HPD مكاسب أداء أكبر ( $\Delta$ ) بعد DPO مقارنة بتهيئة SFT أو RKLD، مما يثبت أن HPD تخلق أساساً أقوى من "القوي إلى الضعيف".

5. الأهمية

سد الفجوة: تحل HPD المقايضة طويلة الأمد بين استقرار SFT/Forward KL ودقة المحاذاة لـ Reverse KL/On-Policy.
القابلية للتوسع: من خلال تجنب عمليات التوليد الكاملة واستخدام استراتيجية أخذ عينات خفيفة الوزن على مستوى الرمز، تجعل HPD تقطير المعرفة عالي الجودة ممكناً في البيئات محدودة الموارد.
القدرة على التعميم: الطريقة مستقلة عن النموذج وفعالة عبر مهام متنوعة (الاستدلال، الحوار، البرمجة) ومقاييس نماذج مختلفة، مما يشير إلى أنها نموذج قوي للجيل القادم من نشر النماذج اللغوية الكبيرة بكفاءة.
التأثير المستقبلي: تشير الورقة إلى إمكانية تطبيق HPD في مراحل مبكرة من عملية التدريب (مثل منتصف التدريب أو ما قبل التدريب) لتعزيز كفاءة النماذج اللغوية الكبيرة بشكل أكبر.