🤖 machine learning

Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation

تقدم هذه الورقة "قابلية تعلم الرموز" (Token Teachability)، وهي مقياس يميز بين الخلافات القابلة للتعلم وغير المتوافقة بين المعلم والطالب في عملية التقطير داخل السياسة (on-policy distillation)، وتقترح طريقة TA-OPD التي تحسن أداء الطالب بشكل كبير من خلال التدريب الانتقائي على الرموز ذات القابلية العالية للتعلم دون الحاجة إلى نماذج مكافأة خارجية.

المؤلفون الأصليون: Yuanyi Wang, Su Lu, Yanggan Gu, Pengkai Wang, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

نُشر 2026-05-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanyi Wang, Su Lu, Yanggan Gu, Pengkai Wang, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب شاب (الطالب) كيفية حل الألغاز المعقدة من خلال مراقبة حرفي ماهر (المعلم).

في عالم الذكاء الاصطناعي، يُطلق على هذا اسم التقطير داخل السياسة (On-Policy Distillation). يحاول المتدرب حل لغز ما، بينما يراقبه المعلم، مشيرًا إلى كل حركة يقوم بها المتدرب لم تكن مثالية. ثم يحاول المتدرب تصحيح تلك الحركات.

الطريقة القديمة: "ضجيج أكثر، تعلم أكثر"

لفترة طويلة، اعتقد الباحثون أن أفضل طريقة للتعلم هي الانتباه إلى كل خطأ واحد يشير إليه المعلم. كانوا يعتقدون أنه إذا كان المعلم مرتبكًا جدًا (اعتلال عالٍ/high entropy) أو إذا كان هناك اختلاف قوي بين المعلم والمتدرب (اختلاف عالٍ/"disagreement")، فإن ذلك يمثل الدرس الأكثر قيمة.

الأمر يشبه معلمًا يصرخ بالتصحيحات على الطالب مقابل كل كلمة يكتبها، آملًا أن يؤدي حجم الملاحظات الهائل في النهاية إلى جعل الطالب مثاليًا.

المشكلة: ليست كل التصحيحات مفيدة

أدرك مؤلفو هذه الورقة البحثية شيئًا مهمًا: مجرد كون المعلم يصرخ بصوت عالٍ لا يعني أن الطالب يمكنه التعلم منه بالفعل.

لقد اكتشفوا أن "الاختلاف" يأتي بنوعين مختلفين تمامًا:

التصحيح "القابل للوصول" (القابل للتعلم):
- السينارية: يختار المتدرب مسارًا يكون شبه صحيح. يقول المعلم: "لا، لا تذهب في ذلك الطريق، بل اذهب جهة اليسار قليلاً بدلًا من ذلك".
- التشبيه: تخيل أن المتدرب يقف على درجة معينة من السلم. يشير المعلم إلى الدرجة المجاورة لها مباشرة ويقول: "اذهب إلى هناك". يمكن للمتدرب أخذ تلك الخطوة بسهءولة. هذا هو النوع القابل للتعلم.
التصحيح "غير القابل للوصول" (غير المتوافق):
- السينارية: يختار المتدرب مسارًا، لكن المعلم مرتبك جدًا أو متقدم جدًا بحيث يقترح مسارًا مختلفًا تمامًا لا يفهمه المتدرب بعد.
- التشبيه: المتدرب يقف على الدرجة الأولى من السلم. يصرخ المعلم: "اذهب إلى السطح!". ليس لدى المتدرب أدنى فكرة عن كيفية الوصول إلى هناك. ورغم أن المعلم "يختلف" بقوة، إلا أن المتدرب لا يمكنه التعلم من هذا لأن الاقتراح بعيد جدًا عن قدراته الحالية. هذا هو النوع غير المتوافق.

الاكتشاف الكبير: "قابلية تعليم الرموز" (Token Teachability)

تقدم الورقة مفهومًا جديدًا يسمى قابلية تعليم الرموز (Token Teachability). فبدلاً من مجرد النظر في مقدار اختلاف المعلم مع الطالب، يسألون: "هل هذا الاختلاف شيء يمكن للطالب استيعابه في الوقت الحالي؟"

لقد وجدوا أن الاختلاف الخام هو معلم سيء. فهو يخلط بين تصحيحات "الوصول إلى الخطوة التالية" المفيدة وبين تصحيحات "الطيران إلى القمر" المربكة.

الحل: TA-OPD (الفلتر الذكي)

ابتكر المؤلفون طريقة جديدة تسمى TA-OPD (التقطير داخل السياسة المدرك لقابلية التعلم).

اعتبر TA-OPD بمثابة فلتر ذكي أو منسق.

بدلاً من ترك المتدرب يستمع إلى كل تصحيح يقدمه المعلم، يعمل TA-OPD كمرشد حكيم.
ينظر إلى كل تصحيح ويسأل: "هل هذا التصحيح قريب بما يكفي مما يعرفه المتدرب بالفعل بحيث يمكنه التعلم منه؟"
إذا كانت الإجابة نعم، فإنه يحتفظ بالدرس.
إذا كانت الإجابة لا (أي أنه بعيد جدًا)، فإنه يتجاهل الدرس.

النتائج: القليل يعني الكثير

الجزء الأكثر إثارة للدهشة في الورقة البحثية هو النتيجة. باستخدام هذا الفلتر، احتاج المتدرب فقط إلى الاستماع إلى 5% من تصحيحات المعلم ليتعلم بشكل أفضل مما لو استمع إلى 100% من التصحيحات.

الطريقة القديمة: استمع إلى كل شيء. يصاب الطالب بالإرهاق بسبب النصائح المربكة ويتعلم ببطء.
TA-OPD: استمع فقط إلى النصيحة التي تبدو منطقية في الوقت الحالي. يتعلم المتدرب بشكل أسرع ويصبح أكثر ذكاءً، رغم أنه سمع قدرًا أقل بكثير.

ملخص في إيجاز

تجادل الورقة بأن جودة التغذية الراجعة أهم من كميتها في تدريب الذكاء الاصطناعي. مجرد كون المعلم "صاخبًا" (اختلاف عالٍ) لا يعني أن الطالب يمكنه التعلم. من خلال تصفية النصائح "غير القابلة للوصول" والاحتفاظ فقط باللحظات "القابلة للتعليم"، يمكننا تدريب نماذج ذكاء اصطناٍ أصغر لتكون أكثر ذكاءً، باستخدام جزء ضئيل جدًا من البيانات.

الخلاصة الرئيسية: لا تكتفِ بتعليم الطالب كل ما يعرفه المعلم؛ بل علمهم فقط الأشياء التي هم مستعدون لتعلمها.

ملخص تقني: ليس كل خلاف قابل للتعلم: قابلية تعلم الرموز في التقطير داخل السياسة (On-Policy Distillation)

بيان المشكلة

يعمل التقطير داخل السياسة (OPD) على تدريب نموذج لغة طالب باستخدام مخرجاته الخاصة (rollouts) مع إشراف على مستوى الرمز (token-level) من سياسة المعلم. وبينما تحاول أساليب الـ OPD الانتقائية الحديثة تحسين الكفاءة من خلال إعطاء الأولوية للرموز "البارزة" (salient)—مثل تلك ذات الإنتروبيا العالية أو التباين العالي بين المعلم والطالب (تباعد KL)—تعتمد هذه النهج على افتراض أن التباين العالي يعني قيمة تعلم عالية.

يحدد البحث خللاً جوهرياً في هذا الافتراض: فتباعد KL الخام هو مؤشر تقريبي خشن للتعلم. فهو يخلط بين سيناريوهين مختلفين نوعياً:

التباين القابل للتعلم (Learnable Disagreement): حيث يخصص المعلم كتلة احتمالية تصحيحية للرموز الموجودة بالفعل ضمن الدعم التنبئي الحالي للطالب (top- $K$ ).
التباين غير المتوافق (Incompatible Disagreement): حيث يخصص المعلم كتلة للرموز البعيدة تماماً عن دعم الطالب الحالي. وبينما يخلق هذا فجوة KL كبيرة، إلا أن الطالب لا يستطيع استيعاب هذا التصحيح بسهولة، مما يؤدي إلى آثار تعلم محلية ضعيفة أو سلبية.

المشكلة الأساسية تكمن في التمييز بين أي إشارات المعلم على مستوى الرمز هي في الواقع قابلة للتعلم (أي قادرة على إحداث تحسن محلي) مقابل تلك التي هي مجرد بارزة أو غير متوافقة.

المنهجية

1. التشخيص ذو السياق الثابت (Fixed-Context Diagnostic)

لعزل قيمة التعلم لرموز محددة عن ضجيج المخرات (rollout noise) وتحولات السياق اللاحقة، قدم المؤلفون تشخيصاً ذا سياق ثابت.

البروتوكول: يتم جمع البوادئ (prefixes) التي يولدها الطالب وتجميدها كبنك سياق. يتم بعد ذلك إعادة تقييم كل من نموذج الطالب الأولي (قبل التحديث) والنموذج المدرب مقابل توزيع المعلم على هذه السياقات الثابتة.
المقياس: يُعرف كسب الرمز في السياق الثابت ( $G^{\text{fix}}_{i,t}$ ) بأنه تقليل تباعد KL بين المعلم والطالب بعد التدريب، مقاساً على نفس البادئة.
الهدف: يسمح هذا للمؤلفين بربط إشارات ما قبل التحديث (مثل KL الخام) بالتحسن المحلي الفعلي، مع التحكم في تباين العينات.

2. صياغة قابلية تعلم الرمز (Formalizing Token Teachability)

باستاستخدام التشخيص، يقوم المؤلفون بتفكيك التباين إلى مكونين بناءً على توافق الدعم المحلي:

الدعم المحلي ( $S^S_t(K)$ ): مجموعة رموز الـ top- $K$ الخاصة بالطالب.
كتلة التوافق ( $C_t$ ): إجمالي الكتلة الاحتمالية التي يخصصها المعلم للدعم المحلي للطالب $S^S_t(K)$ .
التفكيك:
- التباين القابل للتعلم ( $D^L_t$ ): تباين عالٍ حيث يكون تصحيح المعلم متوافقاً مع دعم الطالب (توافق عالٍ $C_t$ ).
- التباين غير المتوافق ( $D^I_t$ ): تباين عالٍ حيث يقع تصحيح المعلم خارج دعم الطالب (توافق منخفض $C_t$ ).

تُعرف درجة قابلية التعلم (Teachability Score) بأنها حاصل ضرب التباين الموحد في التوافق:
$s^{\text{teach}}_t = \tilde{D}_t \cdot \tilde{C}_t$
حيث $\tilde{D}_t$ هو التباين الموحد و $\tilde{C}_t$ هي كتلة التوافق الموحدة.

3. التقطير داخل السياسة المدرك لقابلية التعلم (TA-OPD)

بناءً على النتيجة التي مفادها أن $D^L_t$ يتنبأ بكسب السياق الثابت بشكل أفضل من KL الخام، يقترح المؤلفون TA-OPD، وهو طريقة خفيفة الوزن لاختيار موضع الرمز:

الاختيار: لميزانية معينة (مثلاً 5% أو 10% من الرموز)، يختار TA-OPD أفضل $N$ موضع من حيث درجات قابلية التعلم ( $s^{\text{teach}}_t$ ).
التنفيذ: يتطلب فقط احتمالات رموز المعلم والطالب (تحديداً log-probs للـ top- $K$ ) المتاحة أثناء عملية OPD القياسية. وهو لا يتطلب نماذج مكافأة، أو أدوات تحقق، أو تسميات إضافية.
التباين: على عكس الطرق السابقة التي تختار بناءً على الإنتروبيا أو التباعد (TIP)، يقوم TA-OPD صراحةً بتصفية التصحيحات "المتوافقة مع الدعم".

المساهمات الرئيسية

التشخيص ذو السياق الثابت: طريقة لقياس تقليل KL في نفس السياق، مما يربط إشارات الرمز قبل التحديث بالتحسن المحلي في OPD دون خلط مع ضجيج المخرات.
صياغة قابلية تعلم الرمز: إثبات أن تباعد KL الخام يخلط بين الإشارات القابلة للتعلم وغير المتوافقة. يثبت البحث أن التباين المتوافق مع الدعم هو المتنبئ الموثوق للتعلم المفيد.
خوارزمية TA-OPD: طريقة اختيار خفيفة الوزن وعملية تطبق خسارة OPD فقط على المواضع ذات قابلية التعلم العالية، مما يحسن الكفاءة دون أدوات خارجية.
التحقق التجريبي: تجارب واسعة النطاق تظهر أن الاختيار بناءً على قابلية التعلم يحقق أداءً أفضل من الاختيار بناءً على البروز، حتى مع ميزانيات رموز أقل بكثير.

النتائج التجريبية

قيم المؤلفون TA-OPD عبر أربعة إعدادات (معلم-طالب) تشمل نماذج Qwen3 (4B, 8B, 14B) و Qwen2.5 (3B)، باستخدام اختبارات مثل AIME، و GPQA-Diamond، و HumanEval، و MATH-500.

الأداء مقابل Full OPD: في العديد من الإعدادات، طابق TA-OPD أو تفوق على Full-token OPD مع استخدام 5% فقط من الرموز. على سبيل المثال، في إعداد Qwen3-4B $\to$ 1.7B، حقق TA-OPD متوسط درجة 44.89 مقارنة بـ 42.37 لـ Full OPD، رغم استخد ت ميزانية 10% (وتفوق على Full OPD في مقاييس محددة).
المقارنة مع الخطوط المرجعية: تفوق TA-OPD باستمرار على الخطوط المرجعية القائمة على الإنتروبيا، والتباين، و TIP.
- في إعداد اختلاف الهيكل (DeepSeek-R1-Distill-Qwen-14B $\to$ Qwen2.5-3B)، رفع TA-OPD متوسط الدرجة إلى 30.62، متفوقاً بشكل كبير على النموذج الأساسي (29.98) و Full OPD (28.76).
حساسية الميزانية: تشير النتائج إلى أن أداء OPD محدود بجودة الرموز وليس فقط بالميزانية. غالباً لم تؤدِ زيادة ميزانية الرموز بما يتجاوز 10% إلى مكاسب إضافية بل وأدت أحياناً إلى تدهور الأداء، مما يعزز فكرة أن ليس كل إشراف إضافي يكون مفيداً.
المتانة: ظلت فجوة الربح الإيجابية العالية (الفرق في الأداء بين الرموز عالية قابلية التعلم والرموز منخفضة قابلية التعلم) ثابتة عبر سياقات مختلفة (الرياضيات، GSM8K-COT)، وأحجام المعلمين (8B, 14B)، وأحجام الدعم ( $K=8, 16, 32$ ).

الأهمية والادعاءات

يعيد البحث صياغة التقطير الانتقائي داخل السياسة ليس كمشكلة اختيار رموز "بارزة" أو "غير مؤكدة"، بل كمشكلة تحديد إشارات المعلم القابلة للتعلم محلياً.

الادعاء الجوهري: تعتمد المكاسب من OPD على التوافق بين تصحيح المعلم والدعم التنبئي الحالي للطالب. تباعد KL العالي وحده غير كافٍ؛ يجب على المعلم تخصيص كتلة للرموز التي يعتبرها الطالب بالفعل محتملة.
الأثر العملي: يوفر TA-OPD طريقة لتقليل التكلفة الحسابية للتقطير بشكل كبير (من خلال تصفية الرموز غير المتوافقة) مع الحفاظ على أداء النموذج أو تحسينه. ويحقق ذلك دون العبء الإضافي لنماذج المكافأة أو أدوات التحقق، مما يجعله قابلاً للتطبيق في مسارات التدريب القياسية.
القيود: يشير المؤلفون إلى أن تحليلهم يركز على المهام الرياضية ونماذج عائلة Qwen. وبينما يعد التشخيص مستقلاً عن النموذج، فإن هناك حاجة إلى تحقق أوسع على الحوار، والبرمجة، وهياكل غير Qwen لتأكيد القدرة على التعميم. بالإضافة إلى ذلك، يشير "ميزانية الرموز" إلى كثافة الإشراف، وليس بالضرورة سرعة التنفيذ الفعلي، حيث تختار الطريقة المواضع بدلاً من تقليم حسابات الـ Transformer.

في الختام، يشير العمل إلى أن التقطير الفعال يتطلب استراتيجية إشراف مدركة للتوافق، حيث يتعلم الطالب بشكل أفضل من إشارات المعلم التي تكون تصحيحية وقابلة للوصول محلياً في آن واحد.