🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

تكشف هذه الورقة أن التعلم المعزز القائم على السياسة ذات المكافآت القابلة للتحقق (RLVR) يمكن أن يحسن أداء المهام الفورية، بينما يتسبب دون قصد في "إعادة تشكيل الدعم الناجم عن التحقق"، حيث تضيق السياسة توزيع مخرجاتها لجعل المسارات الناجحة للأهداف المستقبلية نادرة للغاية بحيث يصعب أخذ عينات منها، مما يؤدي إلى تقويض القدرة على التدريب طويل الأمد والقدرة المشتركة.

المؤلفون الأصليون: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا فائق الذكاء ليكون مساعدًا مفيدًا. أنت لا تريد منه فقط معرفة الحقائق؛ بل تريد منه اتباع القواعد، وحل المسائل الرياضية المعقدة، وكتابة الأكواد البرمجية. وللقيام بذلك، يستخدم العلماء طريقة تسمى "التعلم التعزيزي" (reinforcement learning)، وهي تشبه لعبة يحاول فيها الروبوت تجربة إجابات مختلفة، ويحصل على درجة من "المُحقِّق" (verifier) -وهو بمثابة قاضٍ صارم- ثم يتعلم تكرار الحركات التي حصلت على درجات عالية. والأمل الكبير هو أننا نستطيع تعليم الروبوت مهارة تلو الأخرى؛ أولاً الرياضيات، ثم الكتابة، ثم البرمجة، دون أن ينسى الأشياء القديمة أو يصاب بالارتباك. هذا هو حلم "التعلم المستمر" (continual learning): بناء روبوت يصبح أفضل في كل شيء، خطوة بخطوة. ولكن ماذا لو كان فعل تعليم الروبوت ليكون مثاليًا في شيء واحد قد يؤدي بالخطأ إلى إغلاق الباب أمام تعلم الشيء التالي؟ ماذا لو تعلم الروبوت أن يكون جيدًا جدًا في اتباع التعليمات لدرجة أنه نسي كيف يفكر خطوة بخطوة، أو العكس؟

تبحث هذه الورقة البحثية في مشكلة خفية تسمى "إعادة تشكيل الدعم الناجم عن المُحقِّق" (verifier-induced support reshaping). وجد الباحثون أنه عندما تدرب ذكاءً اصطناعيًا ليكون بارعًا في مهمة محددة للغاية باستخدام قاضٍ صارم، فإن الذكاء الاصطناائي لا يصبح أفضل في تلك المهمة فحسب؛ بل إنه يغير شخصيته بطريقة تجعل من الصعب جدًا تعلم مهام أخرى لاحقًا. الأمر يشبه إذا دربت كلبًا على الجلوس فقط عندما تقول له "اجلس"، وفي سياق ذلك، علمتَه بالخطأ أن كلمة "اجلس" هي الكلمة الوحيدة التي تهم. لاحقًا، عندما تحاول تعليمه "البقاء في مكانه"، قد يصاب بالارتباك لأن دماغه قد أُعيد تشكيله ليتجاهل كل شيء آخر. تُظهر الورقة أن هذا ليس مجرد نسيان الروبوت لخدعه القديمة (وهي مشكلة معروفة تسمى "النسيان الكارثي" أو catastrophic forgetting)؛ بل يتعلق الأمر بجعل الإجابات "الصحيحة" نادرة جدًا بحيث لا تستطيع عملية التدريب العثور عليها بعد الآن. حتى لو كان الروبوت لا يزال يمتلك القدرة على حل مسألة رياضية، فقد يتوقف عن محاولة حلها بالطريقة الصحيحة لأنه اعتاد على أسلوب مختلف في الإجابة.

اختبر الباحثون ذلك عبر تدريب نوعين من نماذج الذكاء الاصطناعي على مهمتين مختلفتين تمامًا: حل المسائل الرياضية واتباع تعليمات كتابية صارمة (مثل "اكتب 50 كلمة بالضبط" أو "استخدم النقاط"). قاموا بتدريب مجموعة لتكون عباقرة في الرياضيات وأخرى لتكون محترفة في اتباع التعليمات. ثم قاموا بتبديل القضاة لمعرفة ما سيحدث.

إليك ما اكتشفوه:

فخ الرياضيات إلى التعليمات
عندما دربوا الذكاء الاصطناعي ليكون عبقريًا في الرياضيات أولاً، أصبح بالفعل أفضل في اتباع التعليمات في المتوسط. ومع ذلك، حدث شيء غريب: أصبح الذكاء الاصطناعي "مستقطبًا" للغاية. فإما أن ينفذ التعليمات بدقة تامة أو يخطئ تمامًا، مع وجود عدد قليل جدًا من المحاولات التي تقع في "المنطقة الوسطى". في السابق، ربما كان الذكاء الاصطناعي يجرب طرقًا عديدة للإجابة، بعضها كان قريبًا من الصواب. أما بعد تدريب الرياضيات، فقد توقف عن تجربة تلك المسارات الوسطى. وهذا يعني أنه إذا حاولت أخذ عينات من الإجابات (مثل طلب من الذكاء الاصطناعي المحاولة 32 مرة)، فستكون أقل عرضة للعثور على أي إجابة ناجحة لمهمة اتباع التعليمات. لقد ضيق تدريب الرياضيات تركيز الذكاء الاصطناعي لدرجة أنه توقف عن استكشاف "الدعم" (التنوع في المحاولات) اللازم لتعلم حيل اتباع التعليمات الجديدة.

فخ التعليمات إلى الرياضيات
كان العكس أكثر إثارة للاهتمام. فعندما دربو الذكاء الاصطناعي ليكون متبعًا للتعليمات أولاً، بدأ يغير طريقة إجابته على المسائل الرياضية. فبدلاً من عرض خطواته بالتفصيل (مثل "أولاً، سأجمع 2 و2...")، بدأ الذكاء الاصطناعي يقفز مباشرة إلى الإجابة ("الإجابة هي 4"). يطلق الباحثون على هذا التحول اسم الانتقال من "بدء التفكير المعتمد" (Deliberate Reasoning Initiation - DRI) إلى "بدء الإجابة المباشرة" (Direct Answer Initiation - DAI).
كان هذا التحول أمرًا جسيمًا. فعندما بدأ الذكاء الاصطناعي في تخطي الخطوات، أصبح من الصعب جدًا العثور على الإجابة الصحيحة، حتى لو كان الذكاء الاصطناسي لا يزال يعرف الرياضيات. في الواقع، كلما زاد قفز الذكاء الاصطناعي إلى الإجابات المباشرة، انخفض معدل نجاحه عند محاولة أخذ عينات متعددة. لقد تقلص "الدعم" اللازم لإيجاد الإجابة الرياضية الصحيحة.

سر "الرمز الأول" (First Token)
تعمق الباحثون للبحث عن سبب حدوث ذلك. واكتشفوا أن التغيير لم يكن يتعلق بنسيان الذكاء الاصطناعي لكيفية إجراء الرياضيات لاحقًا في الجملة، بل حدث التغيير في أول كلمة يكتبها الذكاء الاصطناعي!
اتضح أن "المُحقِّق" (الذي يعمل كقاضٍ) الخاص بالرياضيات يشجع الذكاء الاصطناعي على البدء بكلمات مثل "حسنًا" أو "دعنا نمر بالخطوات"، بينما يشجع مُحقِّق التعليمات على البدء بكلمات مثل "الإجابة" أو "إليك". وبمجرد أن يتعلم الذكاء الاصطناعي البدء بكلمة "الإجابة"، فإنه يُحبس في مسار يجعله يتخطى خطوات التفكير. أثبت الباحثون ذلك من خلال إجبار الذكاء الاصطناعي على البدء بكلمات "الرياضيات" حتى عندما تم تدريبه ليكون متبعًا للتعليمات. وعندما فعلوا ذلك، تحسنت قدرة الذكاء الاصطناعي على إيجاد الحلول الرياضية بشكل سحري. وهذا يشير إلى أن الذكاء الاصطناسي لم يفقد "عقل الرياضيات"، بل علق فقط في عادة "حركة افتتاحية" سيئة.

هل يمكننا إصلاح ذلك؟
حاول الفريق حل هذه المشكلة. حاولوا "التدريب المسبق" للذكاء الاصطناعي لكي يبدأ دائمًا بالكلمات الصحيحة (مبدأ DRI سابق)، لكن هذا لم يؤدِ إلا إلى تأخير المشكلة؛ ففي النهاية، لا يزال الذكاء الاصطناسي يتحول إلى أسلوب الإجابة المباشرة. كما جربوا تقنية "التقطير داخل السياسة" (on-policy distillation)، حيث يحاول ذكاء اصطناعي "طالب" تقليد ذكاء اصطناعي "معلم". لكن هذا لم ينجح إلا إذا اختاروا المعلم بعناية فائقة؛ فإذا كان المعلم قد تعلم بالفعل العادة "السيئة"، فإن الطالب سيقوم بتقليدها أيضًا.

الخلاصة
تخلص الورقة البحثية إلى أن مجرد جعل الذكاء الاصطناعي أفضل في مهمة واحدة لا يضمن جاهزيته لتعلم المهمة التالية. في الواقع، يمكن للتحسينات في مجال ما أن تجعل "مساحة البحث" للمجال التالي صغيرة جدًا بحيث لا يستطيع الذكاء الاصطناعي العثور على الإجابات الصحيحة بعد الآن. إن المكاسب في الرياضيات أو اتباع التعليمات لا تترجم دائمًا إلى إجابات تكون "صحيحة" وتتبع "القواعد" في آن واحد. إنها تحذير لمطوري الذكاء الاصطناعي: مجرد حصول النموذج على درجات عالية في اختبار اليوم لا يعني أنه لم يغلق الباب أمام تعلمه المستقبلي. وللحفاظ على مرونة الذكاء الاصطناعي، نحتاج للتأكد من أنه يحتفظ بمجموعة متنوعة من "الحركات الافتتاحية" المتاحة، وليس فقط تلك التي تحقق درجات عالية في الوقت الحالي.

ملخص تقني: إعادة تشكيل الدعم الناجم عن التحقق في التحسين داخل السياسة (On-Policy Optimization)

1. بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في التعلم المعزز المستمر ذو المكافآت القابلة للتحقق (RLVR). فبينما يركز الأدب الحالي غالباً على ما إذا كان النموذج يحتفظ بالأداء في المهام السابقة (النسيان الكارثي) بعد التكيف مع هدف جديد، تحدد هذه الدراسة مشكلة استشرافية: إعادة تشكيل الدعم الناجم عن التحقق (Verifier-Induced Support Reshaping).

تكمن المشكلة الجوهرية في أن تحسين السياسة لهدف محدد (مثل الصحة الرياضية) يمكن أن يغير توزيع العينات الخاص بالسياسة بحيث تصبح المسارات الناجحة للأهداف المستقبلية (مثل اتباع التعليمات) نادرة جداً بحيث لا يمكن أخذ عينات منها ضمن ميزانية تدفق (rollout budget) ثابتة. حتى لو لم يتم "نسيان" القدرة الأساسية، فقد لا تعود السياسة قادرة على توليد السلوكيات "الناجحة" الضرورية بتكرار كافٍ لتوفير إشارة تدريب إيجابية للمراحل اللاحقة. ويعرّف المؤلفون الدعم القابل للمكافأة الفعال (effective rewardable support) بأنه مجموعة المسارات الناجحة التي تظل مرجحة بما يكفي ليتم أخذ عينات منها ضمن ميزانية محددة.

2. المنهجية

تستخدم الدراسة تصميماً تجريبياً ثنائي الاتجاه محكماً باستخدام عائلتين من النماذج (Qwen3-8B-Base و Qwen2.5-Math-7B) وهدفين مختلفين لما بعد التدريب:

الاستدلال الرياضي (Math-RLVR): تم التدريب على مجموعة بيانات MATH مع متحقق (verifier) يفحص صحة الإجابة النهائية.
اتباع التعليمات المقيد (IF-RLVR): تم التدريب على IFTrain/IFBench مع متحققات تفحص القيود الصريحة (التنسيق، الطول، المحتوى).

التصميم التجريبي

التدريب ثنائي الاتجاه: يدرب المؤلفون فرعاً واحداً باستخدام Math-RLVR ويقيسون تأثيره على دعم IF، والعكس صحيح.
التدريب المتسلسل: يختبرون ترتيب العمليات (Math $\to$ IF و IF $\to$ Math) لملاحظة كيف يقيد الطور الأول الطور الثاني.
مقاييس التقييم:
- Pass@1 (mean@k): متوسط معدل النجاح.
- Best@k: ما إذا كان أي مسار ناجح موجود ضمن $k$ من العينات (لقياس قابلية البحث).
- تحليل حاويات المطالبات (Prompt Bucket Analysis): تصنيف المطالبات إلى "كلها خاطئة"، "مختلطة"، و"كلها صحيحة" بناءً على $k=32$ من التدفقات.
- المعايير المشتركة: استخدام MathIF و ReasonIF لاختبار ما إذا كان رد واحد يلبي كل من الصحة والقيود.

تحليل الآلية

توزيع مستوى الرموز (Token-Level Distribution): تحليل تباعد جينسن-شانون (JS divergence) لتحديد مكان حدوث التغيرات في السياسة.
التدخلات السببية: فرض بدايات استجابة محددة (مثل "Answer" مقابل "Alright") أثناء فك التشفير لاختبار ما إذا كان اختيار الرمز الأول يؤثر سببياً على قابلية البحث في المسارات اللاحقة.
استراتيجيات التخفيف: اختبار قيود سياسة المرجع (Reference Policy Constraints) (تباعد KL)، أولويات التوجيه (Routing Priors) (SFT على أنواع بدايات محددة)، و التقطير داخل السياسة (On-Policy Distillation - OPD).

3. النتائج الرئيسية

3.1 إعادة تشكيل الدعم غير المتماثل

Math-RLVR $\to$ IF: يزيد Math-RLVR من متوسط نجاح اتباع التعليمات (pass@1) ولكنه يقلل بشكل كبير من best@32. تتحول المطالبات من "مختلطة" (بعض النجاحات وبعض الإخفاقات) إلى "كلها صحيحة" أو "كلها خاطئة". هذا الاستقطاب يقلل من عدد المطالبات حيث يمكن لأخذ العينات استعادة النجاح، مما يقلص فعلياً الدعم الفعال لتدريب IF المستقبلي.
IF-RLVR $\to$ Math: يقلل IF-RLVR من قابلية البحث الرياضي (best@k ينخفض عبر الميزانيات المختبرة من $k=4$ إلى $k=32$ ). والأهم من ذلك، أنه يحول أسلوب الاستجابة من بدء الاستدلال المتأني (DRI) (خطوة بخطوة) إلى بدء الإجابة المباشرة (DAI). ويرتبط هذا التحول ارتباطاً وثيقاً بفقدان قابلية البحث الرياضي.

3.2 عواقب التدريب المتسلسل

البدء بـ IF: التدريب على IF أولاً يترك عملية Math-RLVR اللاحقة مع شبه انعدام للمطالبات "المختلطة" (فقط كلها خاطئة أو كلها صحيحة). بدون المطالبات المختلطة، تفتقر التحديثات النسبية للمجموعة إلى التباين في المكافأة، مما يمنع النموذج من استعادة استراتيجيات الاستدلال القائمة على DRI.
البدء بـ Math: التدريب على Math أولاً يسمح لـ IF-RLVR بتحسين درجات IF، ولكن يأتي ذلك على حساب انخفاض حاد في الأداء الرياضي المكتسب سابقاً. يمكن لقيود سياسة المرجع (KL) الاحتفاظ بالأداء الرياضي ولكنها تفشل في مضاهاة مكاسب IF التي حققها النموذج المرجعي غير المقيد.

3.3 الآلية: الدور السببي للبدايات

التوطين: تحدث أكبر التحولات التوزيعية عند الرمز الأول المولد. تتراوح نسبة تباعد JS عند الرمز الأول مقابل الرموز الداخلية من $9.8\times$ إلى $106.7\times$ .
إعادة الترتيب مقابل المحو: يقوم RLVR أساساً بـ إعادة ترتيب المرشحين الموجودين بالفعل في أعلى 3 نتائج للسياسة الأساسية، بدلاً من إدخال رموز جديدة تماماً. ومع ذلك، يمكنه ترقية الرموز منخفضة الاحتمالية (مثل "Answer") لتصبح مهيمنة.
السببية: تؤكد التدخلات المحكومة أن فرض بداية DRI (مثل "Alright") على نموذج IF-RLVR يستعيد قابلية البحث الرياضي، بينما فرض بداية DAI يثبطها. وهذا يثبت أن اختيار البداية يحدد سببياً مسار البحث.

3.4 حدود التخفيف

أولويات التوجيه: تؤخر الأولوية المتحيزة لـ DRI التحول إلى DAI ولكنها لا تمنعه؛ فبحلول الخطوة 100، يتم الوصول إلى هيمنة DAI بغض النظر عن الأولوية.
التقطير داخل السياسة (OPD): نتائج OPD حساسة للغاية لحالة المعلم (teacher). المعلم الذي وصل إلى حالة التقارب في IF لا يحافظ على الدعم الرياضي، ولا توجد حالة معلم واحدة تحسن في آن واحد نقل IF والاحتفاظ بالقدرة الرياضية.

3.5 القدرة المشتركة

في معايير MathIF و ReasonIF، لا تترجم المكاسب الهامشية في أحد المجالات (مثل تحسين الصحة في Math-RLVR) بشكل متناسب إلى نجاح مشترك (الصحة + اتباع القيود). يزدليد الدعم المشترك ( $J = C \land F$ ) بشكل طفيف فقط، مما يشير إلى أن التحسينات في الأهداف المنفردة لا تضمن القدرة أو التدريب المشترك.

4. المساهمات

إطار إعادة تشكيل الدعم: تصيغ الورقة التدريب المستمر لـ RLVR في إطار قابلية التدريب المستقبلية، حيث تُعرّف "الدعم القابل للمكافأة الفعال" وتوضح أن المتحققات تعيد تشكيل هذا الدعم، مما قد يجعل الأهداف المستقبلية غير قابلة للوصول.
الدور السببي للبدايات: تحدد الورقة التحولات عبر المهام في الرموز الأولى وتثبت وجود رابط سببي بين بدايات الاستجابة (DRI مقابل DAI) وقابلية البحث اللاحقة، مما يشير إلى أن المشكلة تتعلق باختيار المسار وليس بمحو القدرة الواسعة.
حدود الحفاظ: تثبت الورقة تجريبياً أن تقنيات التخفيف القياسية (التدريب المتسلسل، قيود KL، أولويات التوجيه، OPD) لا تحافظ إلا جزئياً على الدعم أو تضحي بمكاسب المهمة المستهدفة، وأن التحسينات في المقاييس المنفردة لا تضمن القدرة المشتركة.

5. الأهمية والادعاءات

تدعي الورقة أن التحسينات عند نقاط النهاية لا تضمن قابلية التدريب المستقبلية أو القدرة المشتركة تحت تحسين داخل السياسة (on-policy optimization). وخلافاً للنسيان الكارثي، الذي يقيس الأداء المستبقى، تقيس إعادة تشكيل الدعم ما إذا كانت المسارات الناجحة للمهام المستقبلية لا تزال قابلة للاكتشاف.

يجادل المؤلفون بأن اختيار المتحقق في RLVR يغير جوهرياً "فضاء البدء" للنموذج. فإذا دفع المتحقق النموذج نحو بداية معينة (مثل الإجابات المباشرة)، فقد يغلق دون قصد مساحة البحث المطلوبة للمهام الأخرى (مثل الاستدلال خطوة بخطوة). وبناءً على ذلك، تقترح الورقة أن استراتيجيات التحسين المستقبلية داخل السياسة يجب أن تقدر وتحافظ صراحة على الدعم القابل للمكافأة الفعال عبر عمليات التحسين متعددة المتحققات، بدلاً من الاعتماد فقط على درجات المهمة الحالية أو مقاييس النسيان القياسية.