🤖 AI

Instruction-Conditioned Exploration with Asymmetric Reinforcement Learning and Self-Distillation

تقترح هذه الورقة البحثية آلية الاستكشاف المشروط بالتعليمات (ICE) مدمجة مع هدف التعلم التعزيزي غير المتماثل والتقطير الذاتي لتعزيز استكشاف النماذج اللغوية الكبيرة ونقل السلوكيات المتنوعة إلى سياسة وقت الاختبار، مما يحقق مكاسب كبيرة في الأداء في مهام الاستدلال الرياضي.

المؤلفون الأصليون: Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

نُشر 2026-08-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية حل لغز معقد. لديك أداة قوية تسمى "التعلم التعزيزي" (Reinforcement Learning - RL)، وهي تشبه مدرب ألعاب الفيديو؛ حيث يجرب الروبوت حركة ما، فيتلقى إشارة مثل "عمل جيد!" أو "حاول مرة أخرى"، ثم يتعلم ببطء كيف يفوز. لكن العقدة تكمن في أن عالم النماذج اللغوية الكبيرة (LLMs) —وهي الأدمغة الاصطناعية التي تكتب النصوص وتحل المسائل الرياضية— لا تكون فيه "الحركات" مجرد أزرار بسيطة مثل "قفز" أو "إطلاق نار"، بل هي كلمات. وهناك عشرات الآلاف من الكلمات للاختيار من بينها.

إذا أخبرت الروبوت فقط أن "يجرب أشياء عشوائية" ليتعلم، فسينتج في الغالب كلاماً غير مفهوم. إن تبديل كلمة في جملة بشكل عشوائي يشبه محاولة إصلاح محرك سيارة عبر رمي قطع غيار عشوائية عليه؛ فهذا نادراً ما ينجح. لذا، يميل الروبوت إلى فعل نفس الأشياء القليلة التي يعرفها بالفعل، مما يجعله يفوت طرقاً جديدة وذكية لحل المشكلات. السؤال الكبير الذي يواجه العلماء هو: كيف نجعل هذه الأدمغة الاصطناعية تستكشف طرق تفكير جديدة ومتنوعة دون أن تجعلها تقول هراءً؟ تتناول هذه الورقة البحثية هذه المشكلة تحديداً، وتقترح طريقة ذكية لإجبار الروبوت على تجربة "استراتيجيات" مختلفة أثناء تعلمه، ثم تعليمه كيفية استخدام هذه الاستراتيجيات حتى عندما تختفي التلميحات.

استراتيجية "التعليمات السرية"

ابتكر الباحثون، جيم ديلكس وفريقه من جامعة ساوثهامبتون، طريقة أطلقوا عليها اسم الاستكشاف المشروط بالتعليمات (Instruction-Conditioned Exploration - ICE). فكر في الأمر كالتالي: تخيل أنك تدرب لاعباً في الشطرنج. بدلاً من قول "العب مباراة فقط"، تعطي له "تعليمات سرية" مختلفة لكل مباراة يتدرب عليها. قد تقول ورقة واحدة: "اليوم، ركز فقط على الهجوم على جانب الملك"، بينما تقول أخرى: "دافع عن بيادقك بكل قوتك".

في طريقة البحث، يأخذون مسألة رياضية ويرفقون بها أحد "التعليمات السلوكية" المختلفة. هذه ليست الإجابات؛ بل هي مجرد تلميحات توجيهية مثل "ابحث عن التماثل في هذه المسألة" أو "حاول تقسيمها إلى أجزاء أصغر". ومن خلال إجبار الذكاء الاصطناعي على توليد الإجابات وهو يرتدي هذه "القبعات" المختلفة، يستكشف النموذج مجموعة أوسع بكثير من الحلول مما لو كان بمفرده. الأمر يشبه إجبار الطالب على حل نفس المسألة الرياضية بخمس طرق مختلفة فقط ليرى أي طريقة ستنجح.

المعلم والطالب

هنا يحدث السحر. يلعب نموذج الذكاء الاصطناعي دورين في آن واحد: المعلم والطالب.

المعلم: يحصل هذا الإصدار من الذكاء الاصطناعي على "التعليمات السرية" (التعليمات). ويحاول حل المسائل باستخدام هذه التلميحات. وعندما يصل إلى إجابة جيدة حقاً، يحصل على مكافأة.
الطالب: هذا الإصدار من الذكاء الاصطناعي هو "الحقيقي" الذي نريد استخدامه لاحقاً. هو لا يرى أبداً التعليمات؛ بل يرى المسألة الرياضية الخام فقط.

يستخدم الفريق خدعة تدريب خاصة تسمى Asymmetric-RL/SD. وهي تشبه إلى حد ما طباخاً ماهراً (المعلم) يطهو وجبة لذيذة باستخدام مزيج توابل سري. يراقب الطالب (الطالب) الطباخ وهو يطهو، ويتذوق الطبق النهائي، ويحاول تعلم كيفية الطهي بهذا المستوى من الجودة بحيث يمكنه إعادة ابتكار ذلك المذاق اللذيذ باستخدام المكونات الأساسية فقط، دون التوابل السرية.

وجد الباحثون أنه من خلال السماح للمعلم بالاستكشاف باستخدام التلميحات ثم "تقطير" (نقل) تلك المعرفة إلى الطالب، يصبح الطالب أفضل بكثير في حل المشكلات بمفرده.

ما وجدوه

اختبر الفريق هذه الطريقة على نموذج ذكاء اصطناعي محدد يسمى Qwen3-1.7B (وهو نموذج "صغير" يمكنه العمل على أجهزة الكمبيوتر المحمولة والهواتف) لحل المسائل الرياضية. وقارنوا طريقتهم الجديدة بتقنية تدريب قياسية تسمى DAPO.

النتيجة: عندما تم تدريب النموذج باستخدام طريقة "التعليمات السرية" (ICE) ونقل "المعلم إلى الطالب" (Asymmetric-RL/SD)، أصبح أفضل بنسبة 5.0% في حل المسائل الرياضية بشكل صحيح من المحاولة الأولى مقارنة بالطريقة القياسية.
الدليل: لم تكن هذه مجرد ضربة حظ. لقد أجروا التجربة خمس مرات مع بذور عشوائية مختلفة (مثل رمي النرد خمس مرات)، وفازت طريقتهم في جميع المرات الخمس. كان التحسن ثابتاً بما يكفي لجعل الباحثين واثقين تماماً من أنه تأثير حقيقي وليس مجرد حظ.
المدى الطويل: اختبروا ذلك أيضاً مع إجابات أطول (سياق بطول 8K)، وظل النموذج يتحسن، وإن كان الارتفاع في المستوى أقل قليلاً.

ومع ذلك، هناك حد معين. فعندما جربوا هذه الطريقة على نموذج أكبر (4 مليار بارامتر)، لم تؤدِ الطريقة إلى تحسين النتائج مقارنة بالتدريب القياسي. وهذا يشير إلى أن خدعة "التعليمات" هذه تعمل بشكل أفضل مع النماذج الصغيرة التي تقف على حافة القدرة على حل المسألة، مما يساعدها على الوصول إلى آفاق جديدة لم تكن لتصل إليها بمفردها.

لماذا هذا مهم؟

الجزء الأكثر روعة هو أنه بمجرد انتهاء التدريب، لا تعود بحاجة إلى التعليمات. "الطالب" جاهز للذهي، يحل المسائل الرياضية بمفرده دون الحاجة إلى أي تعليمات إضافية. هذا يعني أنه يمكنك الحصول على ذكاء اصطناعي أكثر ذكاءً وقدرة على هاتفك أو جهاز الكمبيوتر المحمول الخاص بك دون الحاجة إلى حمل قائمة ضخمة من التلميحات. إنها طريقة لتعليم الذكاء الاصطناعي أن يكون أكثر إبداعاً ودقة أثناء "دراسته" لكي يصبح حلالاً للمشكلات بشكل أفضل لبقية حياته.

يعترف الباحثون بأنهم لا يزالون يكتشفون بالضبط مدى اتساع هذا الأثر، حيث لم ينجح الأمر مع النموذج الأكبر الذي اختبروه. ولكن بالنسبة لنماذج الذكاء الاصطناعي الصغيرة واليومية التي تشغل أجهزتنا، يبدو أن "الاستكشاف المشروط بالتعليمات" طريقة واعدة لمساعدتهم على التفكير خارج الصندوق.

ملخص تقني: الاستكشاف المشروط بالتعليمات مع التعلم المعزز غير المتماثل والتقطير الذاتي

1. بيان المشكلة

أصبح التدريب اللاحق باستخدام التعلم المعزز (RL) طريقة قياسية لتعزيز النماذج اللغوية الكبيرة (LLMs)، لا سيما للمهام ذات النتائج القابلة للتحقق. ومع ذلك، يرى المؤلفون أن طرق الاستكشاف التقليدية في التعلم المعزز، والتي تعتمد على اختيار الأفعال العشوائي (مثل $\epsilon$ -greedy أو حقن الضجيج)، لا تتناسب مع النماذج اللغبية الكبيرة. ففي النماذج اللغوية الكبيرة، تكون "الأفعال" عبارة عن رموز (tokens) تُسحب من مفردات هائلة يجب أن تشكل تسلسلات متماسكة؛ وعادة ما يؤدي الاضطراب العشوائي على مستوى الرمز إلى نصوص غير متماسكة بدلاً من مسارات جديدة وفعالة.

علاً على ذلك، تشير الدراسات الحديثة إلى أن التدريب اللاحق بالتعلم المعزز يميل إلى "شحذ" توزيع مخرجات النموذج، مما يزيد من احتمالية الإجابات الصحيحة المعروفة مع تقليل تغطية السلوكيات المتنوعة (انكماش الدعم). وهذا يحد من قدرة النموذج على اكتشاف استراتيجيات تفكير جديدة. طرق الاستكشاف الموجودة إما تعمل على مستوى الرمز (مما يفشل في معالجة التنوع الدلالي) أو تعتمد على الوساطة السياقية التي تفتقر إلى آليات صريحة لنقل سلوكيات وقت التدريب إلى سياسات وقت الاختبار. التحدي الجوهري هو تحفيز استكشاف متنوع أثناء التدريب دون المساس بأداء السياسة غير المشروطة المستخدمة عند الاستدلال.

2. المنهجية

يقترح البحث إطار عمل يتكون من جزأين: الاستكشاف المشروط بالتعليمات (ICE) لتنوع وقت التدريب، والتعلم المعزز غير المتماثل/التقطير الذاتي (Asymmetric-RL/SD) لنقل السلوك.

2.1 الاستكشاف المشروط بالتعليمات (ICE)

إن ICE هو نهج قائم على القوالب لـ "تركيب الدعم". بدلاً من الاعتماد على اضطرابات الرموز العشوائية، يقوم ICE بتكملة مطالبة المهمة $x$ بتعليمات سلوكية $I$ يتم أخذ عينات منها من مجموعة ثابتة $\mathcal{I} = \{I_1, \dots, I_N\}$ .

سياسة المعلم (Teacher Policy): خلال التدريب، يقوم النموذج (بصفته معلماً) بتوليد مخرجات مشروطة بـ $x + I$ . توفر هذه التعليمات توجيهاً رفيع المستوى (مثل: "اسأل: ما هي التماثل الذي تمتلكه هذه المسألة؟") لدفع النموذج نحو استراتيجيات حل مشكلات متميزة.
السياسة المركبة (Composite Policy): تصبح سياسة التدريب خليطاً: $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$ . هذا يوسع دعم توزيع النص المولد بالنسبة لمطالبة مهمة واحدة.
المقايضة: بينما يزيد هذا من تغطية الاستراتيجيات، فإنه يخاطر بإدخال تعليمات غير مفيدة تقلل من الدقة.

2.2 التعلم المعزز غير المتماثل/التقطير الذاتي (Asymmetric-RL/SD)

لنقل السلوكيات التي تعلمها المعلم المشروط بالتعليمات إلى سياسة وقت الاختبار غير المشروطة، قدم المؤلفون Asymmetric-RL/SD، وهو هدف تقطير ذاتي يجمع بين التعلم المعزز وتقطير المعرفة.

المعلم ( $\pi^T_\theta$ ): السياسة المشروطة بالتعليمات.
الطالب ( $\pi^S_\theta$ ): السياسة غير المشروطة (المستخدمة في وقت الاختبار)، والتي تشترك في المعلمات $\theta$ مع المعلم.
دالة الهدف (Objective Function): يجمع هدف التدريب $J(\theta)$ $J (θ)$ بين:
1. حد التعلم المعزز (RL Term): حد لتعظيم المكافأة لسياسة المعلم (باستخدام متغير DAPO من GRPO).
2. حد التقطير (Distillation Term): حد تباعد (forward-KL) يسحب سياسة الطالب نحو مخرجات المعلم الصحيحة.
عدم التماثل (Asymmetry): على عكس التقطير الذاتي القياسي الذي غالباً ما يوازن المكافآت لكلا السياستين، يضبط Asymmetric-RL/SD وزن مكافأة الطالب $\alpha=1$ (تعظيم مكافأة المعلم فقط) ويطبق حد KL فقط على الطالب، مع تصفية مخرات المعلم لتشمل فقط تلك ذات الإجابات الصحيحة ( $R=1$ ). يضمن هذا أن يتعلم الطالب تكرار السلوكيات المفيدة والمحققة التي اكتشفها المعلم دون أن يُعاقب بسبب استكشاف المعلم للمسارات غير الصحيحة.

3. المساهمات الرئيسية

الاستكشاف المشروط بالتعليمات (ICE): طريقة مبتكرة لتحفيز مخرات متنوعة أثناء التدريب اللاحق بالتعلم المعزز عبر اشتراط التوليد بمجموعة من التعليمات السلوكية المتميزة، مما يوسع دعم السياسة أثناء التدريب.
هدف Asymmetric-RL/SD: هدف تدريب جديد يجمع بين التعلم المعزز على سياسة المعلم وتقطير (forward-KL) ذاتي إلى طالب غير مشروط. هذا ينقل بوضوح فوائد الاستكشاف المشروط بالتعليمات إلى سياسة وقت الاختبار.
التحقق التجريبي: دراسة متعددة البذور عبر مقاييس نماذج مختلفة (1.7B, 4B) وأطوال سياق مختلفة (4K, 8K) تثبت فعالية النهج في مهام الاستدلال الرياضي.

4. النتائج

أُجريت التجارب باستخدام نماذج Qwen3 على اختبارات الاستدلال الرياضي (AIME, HMMT, MATH-500).

إعداد 1.7B / 4K:
- أدى ICE مع Asymmetric-RL/SD إلى تحسين pass@1 بنسبة 5.0% مقارنة بأساس DAPO.
- حقق هذا التكوين 5/5 فوزاً في الاختبارات مع فاصل ثقة bootstrap بنسبة 95% يستبعد الصفر.
- كان التحسن مقارنة باستخدام التعلم المعزز وحده مع التعليمات (بدون حد التقطير) أصغر وأقل يقيناً، مما يشير إلى أن إشارة التقطير الصريحة حاسمة للنقل.
- لم يتباطأ تقارب التدريب بسبب تضمين تعليمات متنوعة.
إعداد 1.7B / 8K:
- لوحظ تحسن أصغر ولكنه مستمر بنسبة 3.5% (3/5 فوزاً)، مما يشير إلى أن الطريقة تعمم على السياقات الأطول، وإن كان الربح أضعف.
إعداد 4B / 4K:
- لم يحسن النهج من الأداء فوق DAPO (نتج عنه تغير قدره -3.3%). لاحظ المؤلفون أن نموذج Base 4B قد يمتلك بالفعل قدرة كافية، مما يترك "مساحة" أقل للاستراتيجيات الاستكشافية لتقديم قيمة مقارنة بنموذج 1.7B.
التغطية مقابل الدقة:
- بينما يؤدي التدريب اللاحق بالتعلم المعزز عادةً إلى زيادة pass@1 ولكن تقليل pass@k (التغطية) عند قيم k العالية، فقد حسن Asymmetric-RL/SD من pass@1 مقارنة بـ DAPO مع الحفاظ على تغطية مماثلة.
- أظهر أخذ العينات باستخدام التعليمات السلوكية عند الاستدلال (حتى بالنسبة للنموذج الأساسي) استعادة تغطية عالية، مما يشير إلى أن التعليمات نفسها تظهر الحلول الصحيحة بشكل مستقل عن عملية التعلم المعزز.

5. الأهمية والادعاءات

يدعي البحث أن الاستكشاف المشروط بالتعليمات، مقترناً بآلية نقل تقطير ذاتي صريحة، يمكن أن يحسن قدرات الاستدلال (held-out) للنماذج اللغوية الصغيرة (تحديداً عند مقياس 1.7B) بما يتجاوز أسس التعلم المعزز القياسية مثل DAPO.

تشمل الآثار الرئيسية التي سلط المؤلفون الضوء عليها ما يلي:

كفاءة التكلفة: لا تضيف الطريقة أي تكلفة عند الاستدلال؛ فسياسة وقت الاختبار غير مشروطة وقياسية. يتم تحقيق المكاسب بالكامل من خلال عملية تدريب معدلة.
منفعة النماذج الصغيرة: تحسين النماذج الصغيرة أمر بالغ الأهمية للنشر على الأجهزة الاستهلاكية (الهواتف، الحواسيب المحمولة) حيث يصعب استخدام النماذج الأكبر.
آلية العمل: تشير النتائج إلى أن مشاركة المعلمات وحدها غير كافية لنقل سلوكيات المعلم؛ بل إن إشارة تقطير (forward-KL) الصريحة ضرورية لدمج استراتيجيات المعلم المكتشفة في سياسة الطالب.

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن المكاسب لم تنتقل إلى نموذج 4B تحت الظروف المختبرة، وأن الدراسة محدودة بالاستدلال الرياضي مع مكافآت ثنائية. وهم يضعون عملهم كخطوة نحو توصيف أين يمكن أن تتحقق هذه المكاسب عبر مقاييس النماذج والسياقات المختلفة.