🤖 machine learning

Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level

تقترح هذه الورقة البحثية "التقطير غير المتماثل في السياسة المتبعة" (AOPD)، وهو إطار تدريب مبتكر يعالج نقاط الضعف الهيكلية في التقطير القياسي للسياسة المتبعة من خلال استبدال التعزيز السلبي غير الفعال بتقليل التباعد الموضعي، مما يحقق أداءً فائقاً في الاستدلال الرياضي والتكيف مع استخدام الأدوات مع الحفاظ على إنتروبيا سياسة أعلى.

المؤلفون الأصليون: Nan Jia, Haojin Yang, Xing Ma, Jiesong Lian, Shuailiang Zhang, Weipeng Zhang, Ke Zeng, Xunliang Cai, Zequn Sun

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nan Jia, Haojin Yang, Xing Ma, Jiesong Lian, Shuailiang Zhang, Weipeng Zhang, Ke Zeng, Xunliang Cai, Zequn Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب شاب (الذكاء الاصطناعي "الطالب") كيفية حل ألغاز رياضية معقدة من خلال مراقبة خبير (الذكاء الاصطناعي "المعلم").

لفترة طويلة، كانت الطريقة القياسية للقيام بذلك هي ترك المتدرب يحاول حل اللغز بمفرده. إذا قام بخطوة صحيحة، يمنحه المعلم "تحية عالية" (high-five). وإذا أخطأ في خطوة، يوجه له المعلم كلمة "لا" حازمة. تسمى هذه العملية التقطير داخل السياسة (On-Policy Distillation).

ومع ذلك، اكتشف مؤلفو هذه الورقة البحثية أن نظام "التحية أو الرفض" هذا يعاني من ثلاثة عيوب رئيسية تجعل التعلم بطيئاً ومحبطاً:

مشكلة "الصرخة" (التباين العالي): عندما يرتكب المتدرب خطأً فادحاً حقاً، تكون كلمة "لا" من المعلم صاخبة وقاسية جداً (من الناحية الرياضية، الإشارة ضخمة وغير محدودة)، مما يخيف المتدرب. وبدلاً من تعلم تصحيح محدد، يصاب المتدرب بالارتباك ويقوم بقفزات جامحة وغير متوقعة في تفكيره.
مشكلة "الصمت" (تلاشي التدرجات): في معظم الأوقات، تكون خطوات المتدرب مجرد خطوات "مقبولة" — ليست جيدة جداً، وليست سيئة جداً. في النظام القديم، يعطي المعلم إشارة "متوسطة" باهتة. ولأن هذه الإشارة ضعيفة جداً، لا يتعلم المتدرب شيئاً من هذه اللحظات، رغم أن المعلم لديه طريقة أفضل للقيام بها بالفعل. هنا، تتوقف عملية التعلم تماماً.
مشكلة "النقطة العمياء" (ثقوب الاستكشاف السوداء): إذا علق المتدرب في طريق مسدود، فإن النظام القديم يخبره فقط بألا يسلك هذا الطريق. لكنه لا يخبره إلى أين يذهب بدلاً من ذلك. يترك المتدرب يدور في حلقات مفرغة، ويخمن المسارات الجديدة بشكل عشوائي لأنه لا يعرف ما إذا كان المسار الصحيح موجوداً أم لا.

الحل: AOPD (نهج "المعلم الذكي")

تقترح الورقة طريقة جديدة تسمى التقطير غير المتماثل داخل السياسة (Asymmetric On-Policy Distillation - AOPD). فكر في الأمر كمعلم يغير أسلوبه في التدريس بناءً على الموقف.

بدلاً من استخدام نفس قاعدة "التحية أو الرفض" لكل شيء، يستخدم AOPD نمطين مختلفين:

النمط 1: المشجع (الاستغلال): عندما يقوم المتدرب بشيء يحبه المعلم (خطوة "إيجابية")، يعمل النظام مثل الطريقة القديمة؛ حيث يقول: "عمل رائع! استمر في فعل ذلك بالضبط!" وهذا يعزز السلوك الجيد.
النمط 2: نظام الملاحة (التقليد): عندما يعلق المتدرب، أو يرتكب خطأً، أو يقوم بشيء "مقبول" (خطوات غير إيجابية)، يتوقف النظام عن استخدام الـ "لا" القاسية والـ "متوسط" الباهت. بدلاً من ذلك، يقوم فوراً باستدعاء خريطة، ويقول: "توقف عن التخمين. انظر إلى خريطة المعلم. هذا هو المسار الدقيق الذي سيسلكه المعلم من هذا الموقع تحديداً".

لماذا يعمل هذا بشكل أفضل؟

اختبر المؤلفون هذه الطريقة على مسابقات رياضية صعبة (مثل AIME وHMMT) باستخدام أحجام مختلفة من نماذج الذكاء الاصطناعي. وإليكم ما وجدوه:

تعلم أذكى: من خلال الانتقال إلى نمط "نظام الملاحة" عندما تصبح الأمور صعبة، لا يشعر المتدرب بالخوف من الأخطاء الضخمة ولا بالملل من الخطوات المتوسطة. بل يحصل على توجيهات دقيقة ومفيدة في الوقت الذي يحتاج فيه إليها تماماً.
أسرع وأقوى: تفوقت الطريقة الجديدة باستمرار على طريقة "التحية أو الرفض" القديمة. في الواقع، عندما بدأ المتدرب بمهارات أضعف ("بداية ضعيفة")، ساعدت الطريقة الجديدة المتدرب على اللحاق بالركب بشكل أسرع، حيث حقق زيادة قدرها 8% تقريباً في الإجابات الصحيحة مقارنة بالطريقة القديمة.
ذاكرة أفضل: عندما تعلم المتدرب مهارة جديدة (مثل استخدام الأدوات) بعد إتقان الرياضيات، جعلت الطريقة القديمة المتدرب ينسى مهاراته الرياضية. أما طريقة AOPD، فقد كانت مثل الإسفنجة المرنة؛ حيث تعلمت مهارة الأداة الجديدة دون أن تمحو المعرفة الرياضية التي اكتسبها بالفعل.

الصورة الكبيرة

ببساذلة، تجادل هذه الورقة البحثية بأنه لا ينبغي معاملة كل لحظة تعلم بنفس الطريقة.

عندما تسير الأمور على ما يرام، شجع الطالب على الاستمرار في الاستكشاف بمفرده.
عندما تسير الأمور بشكل سيء أو "متوسط"، أوقف لعبة التخمين وأظهر للطالب طريق المعلم الأفضل مباشرة.

من خلال المزج بين "تركه يجرب" و"إظهار الإجابة له" في اللحظات المناسبة، يتعلم الذكاء الاصطناعي بشكل أسرع، ويرتكب أخطاء أقل، ويتذكر ما تعلمه بشكل أفضل.

ملخص تقني: التقطير غير المتماثل في السياسة المماثلة (AOPD)

1. بيان المشكلة

برز التقطير في السياسة المماثلة (On-Policy Distillation - OPD) كتقنية قوية لتدريب نماذج اللغات الكبيرة (LLMs) الطلابية عبر الاستفيد من التغذية الراجعة على مستوى الرمز (token) من نموذج المعلم على مسارات توليد النموذج الطالب. وخلافًا للتقطير خارج السياسة (off-policy)، الذي يعاني من انحياز التعرض (exposure bias)، يقوم OPD بمواءمة الطالب مع توزيع المعلم أثناء عمليات التوليد في وقت الاستدلال. ومع ذلك، يحدد المؤلفون أن تقنية OPD القياسية، التي تعتمد على تدرج السياسة الموزون بالميزة (advantage-weighted policy gradient)، تعاني من ثلاث نقاط ضعف هيكلية في مناطق الميزة غير الموجبة:

تحديثات عالية التباين: في المناطق التي يكون فيها احتمال الطالب أقل بكثير من احتمال المعلم (الميزة السالبة)، تؤدي الطبيعة اللوغاريتمية لصيغة الميزة إلى قيم قياسية غير محدودة. يؤدي هذا إلى توزيعات تدرج ذات ذيول ثقيلة وتذبذب في التحسين.
تلاشي التدرجات: غالبًا ما تتجمع مجموعة كبيرة من الرموز المولدة حول ميزة صفرية. في هذه المناطق "المحايدة"، يتلاشى تحديث الميزة القياسي، مما يؤدي إلى إهدار المعلومات الغنية بالتوزيع الشرطي التي يوفرها المعلم بشأن مسارات الاستدلال البديلة.
اختناقات الاستكشاف (الثقوب السوداء): عندما يرتكب الطالب خطأً (ميزة سالبة)، فإن التحديث القياسي يقلل من احتمالية الرمز المختار ولكنه يعيد توزيع الكتلة الاحتمالية وفقًا لـ "الاحتمال القبلي" الحالي للطالب فقط. إذا كان الرمز الصحيح ذا احتمال قبلي قريب من الصفر في نموذج الطالب، فإن التحديث التصحيحي سيكون ضئيلاً. هذا يحبس النموذج في "ثقب أسود للاستكشاف"، مما يمنعه من اكتشاف البدائل الصحيحة دون توجيه خارجي.

2. المنهجية: التقطير غير المتماثل في السياسة المماثلة (AOPD)

لمعالجة هذه القيود، يقترح المؤلفون التقطير غير المتماثل في السياسة المماثلة (AOPD). يربط هذا الإطار بين التعلم التعزيزي (الاستغلال) والتعلم الخاضع للإشراف (التقليد) عبر التبديل الديناميكي لأنماط التعلم على مستوى الرمز بناءً على إشارة الميزة.

الآلية الجوهرية

يقوم AOPD بتفكيك هدف التدريب إلى نظامين متميزين:

مناطق الميزة الموجبة (الاستغلال): عندما يتلقى رمز الطالب ميزة موجبة ( $A_t > 0$ )، تحتفظ الطريقة بتحديث تدرج السياسة القياسي. هذا يعزز الاستكشاف الناجح حيث يتوافق استدلال الطالب مع تفضيل المعلم أو يتجاوزه.
مناطق الميزة غير الموجبة (التقليد): عندما تكون الميزة صفرية أو سالبة ( $A_t \le 0$ )، يستبدل AOPD تدرج السياسة غير الفعال بـ تقليل التباعد المحلي.

هدف التدخل

بدلاً من الاعتماد على الميزة القياسية، يقلل AOPD من تباعد KL الأمامي (Forward KL Divergence) بين توزيعات المعلم والطالب، ولكن مع قصر ذلك على دعم محدد من قبل المعلم.

دعم المعلم ( $S_t$ ): يتم تعريفه كأعلى $K$ من الرموز ذات الاحتمالية الأعلى تحت توزيع المعلم $P_T(\cdot | c_t)$ .
دالة الخسارة: على هذا الدعم، تُصاغ الخسارة كالتالي:
$L_{FKL}^t = \frac{1}{K} \sum_{v \in S_t} P_T(v | c_t) (\log P_T(v | c_t) - \log P_S(v | c_t))$
الهدف العام: يجمع إجمالي خسارة AOPD بين حد التعزيز الموجب ( $L_{Pos}$ ) وتوجيه KL الأمامي للمناطق غير الموجبة. يمكن استخدام معامل عتبة $\tau$ لتفعيل التدخل، حيث يمثل $\tau=0$ الإعداد الافتراضي لاستهداف النظام غير الموجب بدقة.

التبرير النظري

تحديثات مقيدة: من خلال الانتقال إلى KL الأمامي على دعم محدود، يتم تقييد حجم التحديث ضمن المخطط الاحتمالي ( $P_T - P_S$ )، مما يلغي التباين ذو الذيول الثقيلة الناتج عن فروق اللوغاريتم غير المحدودة.
استعادة التدرج: في مناطق الميزة الصفرية، يستخدم حد KL الأمامي التوزيع الشرطي الكامل للمعلم، مما يوفر إشارات تصحيح ذات معنى حتى عندما تكون الميزة القياسية صفرًا.
الهروب من الثقوب السوداء: من خلال مطابقة توزيع المعلم صراحةً على الدعم، يضخ AOPD إشارات توجيهية نحو الرموز التي يفضلها المعلم ولكن يقل قدرها في تقدير الطالب، مما يكسر اختناق الاستكشاف بفعالية.

3. المساهمات الرئيسية

تحليل قيود OPD: تقدم الورقة تحليلاً نظرياً وتجريبياً يوضح كيف تفشل تحديثات الميزة القياسية في مناطق الميزة السالبة والصفرية بسبب التباين العالي، وتلاشي التدرجات، واختناقات الاستكشاف.
إطار عمل AOPD: اقتراح إطار تدريب غير متماثل ينتقل تكيفياً من تدرج السياسة الموزون بالميزة إلى مطابقة توزيع المعلم الموضعي. هذا التصميم يحافظ على فوائد الاستغلال القائم على التعلم التعزيزي مع تطبيق إشراف قوي وموجه عند اختناقات التحسين.
التحقق التجريبي: أظهرت التجارب الشاملة عبر مستويات متعددة من أحجام النماذج وإعدادات التهيئة أن AOPD يتفوق باستمرار على OPD القياسي وغيره من النماذج المرجعية (SeqKD, GKD, ExOPD).

4. النتائج التجريبية

قيم المؤلفون AOPD على اختبارات التفكير الرياضي بمستوى المسابقات (AIME 2024, AIME 2025, HMMT 2025) باستخدام نماذج Qwen3 (4B و 8B) مع خطوات تهيئة (SFT warm-up) متفاوتة.

مكاسب الأداء: حقق AOPD باستمرار أفضل أداء إجمالي.
- تحت التهيئة القوية (3K خطوة SFT)، حسن AOPD متوسط Pass@1 بنسبة 4.09% مقارنة بـ OPD القياسي.
- تحت التهيئة الضعيفة (1K خطوة SFT)، كانت المكاسب أكثر أهمية بلغت 8.34%، مما يثبت قوة AOPD عندما تبدأ النماذج الطلابية بقدرات تأسيسية أضعف.
ديناميكيات التدريب: أظهر AOPO منحنيات تدريب مستقرة دون التدهور الأولي في الأداء الذي لوحظ في OPD و ExOPD. كما حافظ على إنتروبيا سياسة أعلى طوال التدريب، مما يشير إلى فضاء سياسة أقل تركيزاً.
التعلم المستمر: في مهام التكيف المتسلسل لاستخدام الأدوات، أظهر AOPD قدرة فائقة على الاحتفاظ بالمهارات. وبينما عانت الطرق الأخرى من انخفاض في الأداء في التفكير الرياضي بعد تعلم أدوات جديدة، قام AOPD فعلياً بتحسين الاحتفاظ بالرياضيات (من 67.43 إلى 68.04 في Pass@4) مع تحقيق معدلات نجاح تنافسية في استخدام الأدوات.

5. الأهمية والادعاءات

تدعي الورقة أن AOPD يمثل خطوة مهمة للأمام في تقطير قدرات الاستدلال من خلال حل عدم الكفاءة الهيكلية في التقطير القياسي في السياسة المماثلة. ويجادل المؤلفون بأن:

عدم التماثل هو المفتاح: التعامل مع مناطق الميزة الموجبة وغير الموجبة بشكل مختلف أمر بالغ الأهمية؛ حيث تستفيد المناطق الموجبة من الاستكشاف القائم على التعلم التعزيزي، بينما تتطلب المناطق غير الموجبة التوجيه المباشر وعالي الدقة للتقليد الخاضع للإشراف لتجنب ركود التحسين.
القوة تجاه التهيئة: الطريقة فعالة بشكل خاص للنماذج ذات القدرات الأولية الأضعف، حيث غالباً ما يفشل OPD القياسي في التعافي من التدهور المبكر للتحسين.
الحفاظ على القدرات: من خلال حصر تدخل المعلم في المواضع الصعبة بدلاً من إعادة تشكيل السياسة بأكملها، يحافظ AOPD بشكل أفضل على مهارات الاستدلال المكتسبة سابقاً أثناء التعلم المستمر.

يخلص المؤلفون إلى أن الجمع بين الاستغلال (التعلم التعزيزي) والتقليد (التعلم الخاضع للإشراف) على مستوى الرمز يقدم مساراً مبدئياً لتحسين كل من كفاءة التدريب والقدرات النهائية للنماذج الطلابية، لا سيالما في مهام الاستدلال المعقدة.