💻 computer science

On-Policy Distillation with Best-of-N Teacher Rollout Selection

تقدم هذه الورقة البحثية إطار عمل BRTS، وهو "اختيار المعلم الأفضل من بين N من عمليات التدحرج" (Best-of-N Rollout Teacher Selection) لعملية التقطير داخل السياسة (on-policy distillation)، والذي يعمل على تحسين أداء الاستنتاج من خلال أخذ عينات من مسارات متعددة للمعلم واختيار المسار الأكثر صحة وتوافقاً مع الطالب لتوفير إشراف موثوق، وبذلك يتغلب على قيود التباين العالي للطرق القياسية.

المؤلفون الأصليون: Ke Zhang, Yunjie Tian, Dongdi Zhao, Yijiang Li, Yuanye Liu, Vishal M Patel, Di Fu

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ke Zhang, Yunjie Tian, Dongdi Zhao, Yijiang Li, Yuanye Liu, Vishal M Patel, Di Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب شاب (الطالب) كيفية حل الألغاز الرياضية المعقدة. لديك عالم رياضيات بارع (المعلم) وهو ذكي للغاية، لكنه أحياناً يتشتت، أو يرتكب أخطاءً سخيفة، أو يشرح الأشياء بطريقة لا يستطيع المتدرب فهمها ببساطة.

في عالم الذكاء الاصطعي، يُسمى هذا التقطير داخل السياسة (On-Policy Distillation). عادةً، يحاول المتدرب حل مشكلة ما، ويراقب المعلم ما يفعله، ويقوم بتصحيحه خطوة بخوة. المشكلة هي: إذا بدأ المتدرب في مسار مربك، فقد يرتبك المعلم أيضاً، أو قد يعطي المعلم مجرد إجابة عشوائية وغير مفيدة لأنه هو أيضاً "يراهن على الحظ" في كيفية حلها.

تقدم هذه الورقة البحثية طريقة جديدة تسمى BRTS (اختيار المعلم من أفضل $N$ من المحاولات). فكر في الأمر كـ "نظام مدرب ذكي" يصلح عيوب طريقة التدريس القديمة. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "الرمية السيئة للنرد"

في الطريقة القديمة، عندما يسأل المتدرب: "كيف أحل هذا؟"، يرمي المعلم عملة معدنية ويعطي إجابة واحدة فقط.

المخاطرة: أحياناً يكون المعلم في "يوم سيء" ويعطي إجابة خاطئة. وأحياناً يعطي المعلم إجابة صحيحة، لكنه يشرحها بطريقة تختلف تماماً عن طريقة تفكير المتدرب.
النتيجة: يتعلم المتدرب من مثال سيء أو مربك، مما يجعله أسوأ في حل المشكلات.

2. الحل: استراتيجية "جرب عدة مرات، واختر الأفضل"

تغير تقنية BRTS قواعد اللعبة. بدلاً من طلب إجابة واحدة من المعلم، يطلب النظام من المعلم إنتاج عدة محاولات مختلفة (مجموعة صغيرة من الإجابات) في آن واحد.

بعد ذلك، يقوم مرشح ذكي (المُنتقي - Selector) بفحص هذه المحاولات ويختار واحدة منها ليعرضها على المتدرب بناءً على قاعدتين بسيطتين:

القاعدة رقم 1: هل هي صحيحة؟ أولاً، يتحقق النظام: "هل حصل المعلم بالفعل على الإجابة الصحيحة؟" إذا كانت المحاولة خاطئة، يتم رميها في القمامة.
القاعدة رقم 2: هل تتوافق مع الطالب؟ إذا حصل المعلم على الإجابة الصحيحة بثلاث طرق مختلفة، يختار النظام الطريقة التي تبدو أكثر تشابهاً مع الطريقة التي يفكر بها المتدرب عادةً. هذا يضمن أن الدرس سيكون سهلاً للفهم بالنسبة للمتدرب.

3. "النسخة الاحتياطية للطوارئ" (التعافي من المستوى الثاني)

ماذا لو حاول المعلم ثلاث مرات وكانت جميعها خاطئة؟ (وهذا يحدث في الألغاز الصعبة حقاً).

الطريقة القديمة: يستسلم النظام أو يجبر المتدرب على التعلم من إجابة خاطئة.
طريقة BRTS: يمتلك النظام "ورقة غش" سرية (الحقيقة المطلقة - Ground Truth). يهمس النظام بالإجابة الصحيحة للمعلم بصمت ويقول له: "حسناً، الآن بعد أن عرفت الإجابة، يرجى كتابة شرح مثالي وطبيعي لكيفية الوصول إليها".
بعد ذلك، ينتج المعلم شرحاً عالي الجودة وصحيحاً يمكن للمتدرب التعلم منه. هذا يشبه تدخل المدرب ليقول: "هذا هو المسار الصحيح، والآن شاهد كيف أسير فيه".

4. النتيجة: تعلم أسرع وأذكى

اختبرت الورقة البحثية هذه الطريقة على مسابقات رياضية صعبة (مثل AIME و AMC).

النتيجة: من خلال استخدام طريقة "اختر الأفضل" هذه، تعلم المتدرب بشكل أسرع وحل المزيد من المشكلات بشكل صحيح مقارنة بالطريقة القديمة (طريقة "الإجابة الواحدة العشوائية").
لماذا تنجح: لأنها تمنع المتدرب من التعلم من أخطاء المعلم أو تفسيراته المربكة. إنها تضمن أن المتدرب لا يرى إلا أفضل وأكثر الأمثلة صلة بكيفية التفكير.

ملخص التشبيه

تخيل أنك تتعلم الطبخ من طاهٍ مشهور.

الطريقة القديمة: تسأل الطاهي: "كيف أصنع هذا الحساء؟". يرمي الطاهي عملة معدنية. إذا ظهرت "صورة"، يعطيك وصفة تحتوي على ملح. وإذا ظهرت "كتابة"، يعطيك وصفة تحتوي على سكر. أنت تحاول التعلم من أي منهما اختارهما، حتى لو كانت وصفة السكر.
طريقة BRTS: تطلب من الطاهي كتابة خمس وصفات مختلفة للحساء. تتحقق منها: "حسناً، هذه تحتوي على سكر (سيئة)، وهذه ينقصها الماء (سيئة). هذه مثالية، وهذه أيضاً مثالية ولكنها تستخدم تقنية تعرفها بالفعل". تختار الوصفة المثالية والمألوفة وتتعلم منها. وإذا لم يستطع الطاهي التفكير في وصفة جيدة من تلقاء نفسه، تظهر له سراً بطاقة الوصفة "الصحيحة" وتطلب منه شرحها مرة أخرى.

تزعم الورقة البحثية أن هذا التغيير البسيط — التحقق من خيارات متعددة واختيار الأفضل منها — يجعل نماذج الذكاء الاصطناعي أفضل بكثير في التفكير والاستنتاج دون الحاجة إلى تقنيات تدريب مكلفة جديدة.

ملخص تقني: التقطير في السياسة نفسها باستخدام اختيار مسارات المعلم من أفضل N (BRTS)

1. بيان المشكلة

برز التقطير في السياسة نفسها (On-Policy Distillation - OPD) كطريقة فعالة في استهلاك البيانات لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، حيث يتم الإشراف على نموذج الطالب باستخدام احتمالات الـ (log-probabilities) لكل توكن (token) من المعلم بناءً على مساراته التي تم أخذ عينات منها. وبينما يقلل OPD من تحيز التعرض (exposure bias) عبر مواءمة الإشراف مع الحالات التي يزورها الطالب بالفعل، تعاني التنفيذات القياسية من إشارات إشراف عالية التباين.

تتمثل الفجوة الجوهرية المحددة في جانبين:

سياقات الطالب الضوضائية: يتم حساب الإشراف على بادئات (prefixes) تولدها طالب غير مثالي، والتي قد تنحرف إلى حالات استدلال ضوضائية حيث يكون رد فعل المعلم المحلي أقل إفادة.
مسارات المعلم العشوائية: يعتمد OPD القياسي عادةً على مسار معلم واحد لكل مطالبة (prompt). وبما أن المعلم عشوائي، فقد يكون المسار المأخوذ عينة واحدة غير صحيح، أو غير مفيد، أو غير متوافق بشكل جيد مع سلوك الاستدلال الحالي للطالب. يؤدي هذا إلى توجيه غير موثوق، لا سيما في المطالبات الصعبة حيث تختلف مخرجات المعلم المأخوذة عينات في الصحة والأسلوب بشكل كبير.

بناءً على ذلك، يخاطر OPD القياسي بنشر إشارات معلم خاطئة أو الفشل في تعريض الطالب لمسارات استدلال كاملة وصحيحة، مما يحد من فعاليته في اختبارات الاستدلال الصعبة.

2. المنهجية: إطار عمل BRTS

يقترح المؤلفون إطار عمل BRTS (Best-of-N Rollout Teacher Selection)، وهو إطار مصمم لتنقية مسارات المعلم الموثوقة قبل استخدامها للإشراف ضمن حلقة OPD. يعمل BRTS على تعزيز تقطير سياق الطالب عبر فرع إشراف سياق المعلم الذي يتم بناؤه من مسار معلم مختار وعالي الجودة.

2.1 تنقية المسارات الواعية بالصحة والمواءمة

لكل مطالبة، يقوم BRTS بأخذ عينات من مجموعة مكونة من $N$ من مسارات المعلم غير المشروطة ( $\{y_{T,i}\}_{i=1}^N$ ). تتبع عملية الاختيار تسلسلاً هرمياً للأولويات:

الأولوية 1: الصحة. يقوم النظام بتصفية المسارات التي تتطابق فيها الإجابة النهائية المستخرجة مع الحقيقة الأرضية ( $y^*$ ).
الأولوية 2: المواءمة مع الطالب. إذا وجدت مسارات صحيحة متعددة، يختار BRTS المسار الذي يمتلك أعلى تداخل على مستوى التوكن مع مجموعة المرشحين الـ $K$ -الأعلى للطالب. يضمن هذا أن المسار المختار متوافق مع توزيع الاستدلال الحالي للطالب.
الاسترداد الموجه بالحقيقة الأرضية (المستوى الثاني). إذا فشلت جميع عينات المعلم غير المشروطة (أي لا يوجد أي مسار صحيح)، يقوم BRTS باستدعاء خطوة استرداد. يقوم بإنشاء مطالبة معدلة تقوم بحقن الإجابة الأرضية بصمت كإشارة تحقق مع توجيه المعلم لإنتاج اشتقاق طبيعي. يتم أخذ عينة مسار جديدة؛ وإذا كانت صحيحة، يتم اختيارها. وإذا فشلت هذه أيضاً، يعود النظام إلى المسار غير المشروط ذو أعلى تداخل مع الطالب.

2.2 إشراف سياق المعلم

يجمع هدف التدريب بين مكونين للخسارة:

خسارة سياق الطالب ( $L_{stu-ctx}$ ): هدف OPD القياسي، الذي يقلل من تباعد KL العكسي بين توزيع الطالب وتوزيع المعلم المشروط بالبادئة (prefix) التي ولدها الطالب. هذا يصحح حالة الطالب في الحالات التي يزورها بالفعل.
خسارة سياق المعلم ( $L_{tea-ctx}$ ): خسارة مساعدة تُحسب على مسار المعلم المختار ( $y'$ ). هنا، يتم حساب كل من توزيعي الطالب والمعلم بشرط البادئة الخاصة بالمعلم. هذا يعرض الطالب لمسار استدلال متماسك وصحيح قد يقع خارج منطقة الاحتمالية العالية الحالية للطالب.

يتم تعريف الخسارة الإجمالية كالتالي:
$L_{total} = L_{stu-ctx} + \lambda L_{tea-ctx}$
حيث $\lambda$ هو معامل الوزن (تم ضبطه تجريبياً على 10).

2.3 اتجاه المرشحين الـ $K$ -الأعلى

لتنفيذ هذه الخسائر بكفاءة، يستخدم BRTS تجميع الـ $K$ -الأعلى:

بالنسبة لـ فرع سياق الطالب، يتم اشتقاق مجموعة التوكنات المرشحة من مجموعة الـ $K$ -أعلى للتوكنات تحت بادئة الطالب.
بالنسبة لـ فرع سياق المعلم، يتم اشتقاق مجموعة المرشحين من الـ $K$ -أعلى للتوكنات تحت بادئة المعلم المختارة. يسمح هذا للفرع المساعد بالإشراف على التوكنات التي يفضلها المعلم والتي قد لا يعتبرها الطالب حالياً، مع الحفاظ على مجموعة مرشحين مدمجة.

3. المساهمات الرئيسية

يلخص البحث مساهماته كما يلي:

تحديد التباين العالي في الإشراف: يسلط المؤلفون الضوء على أن الإشراف القياسي لسياق الطالب في OPD محدود بسبب سياقات الطالب الضوضائية ومسارات المعلم العشوائية، مما يجعل إشارة المعلم غير موثوقة في المطالبات الصعبة.
تقديم BRTS: إطار عمل خفيف الوزن لاختيار وتقطير مسارات معلم موثوقة. يستخدم قاعدة اختيار قائمة على "الصحة أولاً، والمواءمة ثانياً" ويتضمن استرداداً موجهاً بالحقيقة الأرضية في حالة فشل العينات غير المشروطة.
التحسين التجريبي: يتفوق BRTS بشكل كبير على OPD القياسي في اختبارات الاستدلال الصعبة. يقدم البحث تحليلات تشخيصية توضح كيف تؤثر جودة مرشحي المعلم، وتغطية الاسترداد، واختيارات الهيكل الأساسي (backbone) على الأداء.

4. النتائج التجريبية

أُجريت التجارب على AIME 2024 و AIME 2025 و AMC 2023 باستخدام نموذج طالب بحجم 1.5B (DeepSeek-1.5B) وتكوينات مختلفة للمعلم (JustRL-1.5B و DeepSeek-R1-Distill-Qwen-7B).

مكاسب الأداء: يحقق BRTS تحسناً مستمراً مقارنة بالخط المرجعي للطالب فقط. وتكون المكاسب أكثر وضوحاً في مجموعة بيانات AIME 2025 الأكثر صعوبة. على سبيل المثال، في AIME 2024، حقق استخدام أربعة مرشحين للمعلم متوسط دقة قدره 0.4000 مقارنة بـ 0.3917 للخط المرجعي.
تأثير استرداد المستوى الثاني: يوفر خطوة الاسترداد الموجهة بالحقيقة الأرضية (المستوى الثاني) تحسينات جوهرية في المطالبات الصعبة حيث تفشل العينات غير المشروطة. في AIME 2025، أدى إضافة المستوى الثاني إلى زيادة دقة التصويت بالأغلبية من 0.2748 (المستوى الأول فقط) إلى 0.3133.
قمم التدريب المبكرة: يحقق BRTS قمة أداء أعلى في مراحل التدريب المبكرة مقارنة بالخطوط المرجعية، مما يشير إلى تقارب أسرع ومقايضة أفضل بين الحوسبة والأداء.
المتانة: يظل الأسلوب فعالاً عند تبديل هياكل المعلم (على سبيل المثال، استخدام معلم 7B لطالب 1.5B) ولا يتأثر بالاضطرابات الطفيفة في المطالبات، والتي تساعد في الواقع في فك الارتباط بين عينات المعلم.
التكلفة الحوسبية: التكلفة الإضافية طفيفة؛ حيث إن زيادة مجموعة مرشحي المعلم من 1 إلى 2 تضيف حوالي 59 ثانية لكل خطوة تدريب على 8×B200 GPU، وهو أمر يعتبر مقبولاً بالنظر إلى مكاسب الأداء.

5. الأهمية والادعاءات

يزعم البحث أن BRTS يعالج عقبة حرجة في التقطير في السياسة نفسها: عدم موثوقية إشارات المعلم العشوائية في المهام الصعبة. ومن خلال هيكلة إشراف المعلم ليكون واعياً بالصحة (تصفية الأخطاء) وواعياً بالمواءمة (مطابقة توزيع الطالب)، يحول BRTS مسارات المعلم العشوائية إلى إشراف مهيكل وعالي الجودة.

يضع المؤلفون BRTS ليس كبديل لـ OPD، بل كتعزيز ضروري يسمح للطلاب بالتعلم من مسارات استدلال كاملة وموثوقة دون التعرض للنسيان الكارثي المرتبط غالباً بالضبط الدقيق الخاضع للإشراف (SFT) أو التباين العالي لـ OPD القياسي. ويُقدم الأسلوب كإضافة قابلة للتوسع وخفيفة الوزن تعمل على تحسين قدرات الاستدلال، خاصة في المجالات التي تتوفر فيها إجابات الحقيقة الأرضية للتحقق.