🤖 AI

Credit Assignment with Resets in Language Model Reasoning

تقترح هذه الورقة تحسين الاستدلال في النماذج اللغوية من خلال "تحسين السياسة بالاستعادة العشوائية" (RRPO) و"تحسين السياسة بالاستعادة الذاتية" (SRPO)، وذلك عبر تمكين التخصيص الدقيق للمسؤولية من خلال الاستعادة إلى حالات وسيطة وإعادة أخذ عينات للتكملات، حيث يحقق SRPO أداءً فائقاً من خلال تحديد الأخطاء وتصحيحها ذاتياً دون إشراف خارجي.

المؤلفون الأصليون: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب كيفية حل مسألة رياضية معقدة أو كتابة قطعة من الكود البرمجي. في الطرق التقليدية، إذا أخطأ الطالب في الإجابة النهائية، قد يقول له المعلم: "لقد فشلت"، ويجعله يعيد كتابة الحل بالكامل من البداية، على أمل أن ينجح في المرة القادمة. تكمن المشكلة في هذا النهج في أن الطالب لا يعرف أي خطوة محددة هي التي تسببت في الفشل. هل ارتكب خطأً في الجملة الأولى؟ أم أنه تاه بعد ثلاث فقرات؟

تقدم هذه الورقة البحثية طريقة أذكى لتعليم نماذج الذكاء الاصطناعي (تحديداً النماذج اللغوية الكبيرة) كيفية التفكير والاستنتاج. وتسمى هذه الطريقة "تخصيص الائتمان مع إعادة الضبط" (Credit Assignment with Resets).

إليك تفصيل أفكارهم باستخدام تشبيهات بسيطة:

1. المشكلة: "العقاب الموحد"

في الوقت الحالي، عندما يفشل الذكاء الاصطناعي في مهمة استنتاجية متعددة الخطوات، تعامل طرق التدريب القياسية كل كلمة أنتجها الذكاء الاصطناعي على أنها مسؤولة بالتساوي عن الفشل.

التشبيه: تخيل سباق تتابع حيث خسر الفريق لأن العداء في المرحلة الثالثة أسقط العصا. لكن المدرب يصرخ في كامل الفريق، ويجعل العداء الأول، والثاني، والرابع يركضون لفات إضافية. لم يرتكب العداء الأول أي خطأ، ومع ذلك عوقب أيضاً. هذا أمر غير فعال ومربك.

2. الحل: "زر إعادة الضبط"

يقترح المؤلفون آلية تسمى "إعادة الضبط" (Reset). بدلاً من البدء من البداية، يتم إرسال الذكاء الاصطناعي إلى نقطة محددة في منتصف المحاولة الفاشلة. ومن تلك النقطة، يحاول توليد نهاية جديدة (تكملة "افتراضية مضادة") ليرى ما إذا كان الخيار المختلف سيؤدي إلى النجاح.

التشبيه: تخيل أنك تقود سيارة وسلكت طريقاً خاطئاً وضللت الطريق. بدلاً من العودة طوال الطريق إلى منزلك لتبدأ من جديد، تتوقف عند التقاطع الذي اتخذت فيه الخطأ تماماً. تقول: "حسناً، لا ينبغي أن أنعطف يساراً هنا؛ دعونا نجرب الانعطاف يميناً بدلاً من ذلك". أنت تعيد قيادة الجزء الذي يهم فقط.

3. طريقتان لتحديد مكان الخطأ

تقترح الورقة طريقتين لتحديد مكان الضغط على زر إعادة الضبط:

RRPO (إعادة الضبط العشوائية): تشبه التخمين. يختار الذكاء الاصطناعي خطوة عشوائية في السلسلة الفاشلة ويحاول مجدداً من تلك النقطة.
- التشبيه: معلم يختار صفحة عشوائية من مقال فاشل كتبه طالب ويقول: "دعونا نعيد الكتابة من هنا". قد ينجح الأمر، لكنه يعتمد في الغالب على الحظ.
SRPO (إعادة الضبط الذاتي): هي نجمة العرض. ينظر الذكاء الاصطناعي إلى محاولته الفاشلة ويسأل نفسه: "أين أخطأت بالضبط؟" يحدد الخطوة أو الفكرة المحددة التي انهار فيها المنطق، ويعيد الضبط عند تلك النقطة تماماً.
- التشبيه: يقرأ الطالب مقاله الخاص، ويكتشف الجملة المحددة التي أصبح فيها المنطق غامضاً، ويقول: "آه، لقد رأيت المشكلة. سأعيد الكتابة بدءاً من هذه الجملة". هذا لا يتطلب أي مساعدة خارجية؛ فالذكاء الاصطناعي يقوم بذلك بنفسه.

4. لماذا يعمل هذا بشكل أفضل ("تخصيص الائتمان")

من خلال إعادة الضبط إلى نقطة الخطأ المحددة وتجربة نهايات جديدة متعددة، يمكن للذكاء الاصطناعي أن يرى بوضوح: "لو كنت قد اخترت المسار (أ) بدلاً من المسار (ب) في هذه اللحظة المحددة، لكنت قد نجحت".

النتيجة: يتعلم الذكاء الاصطناعي إصلاح العادة السيئة المحددة بدلاً من مجرد حفظ الحل بأكمله. الأمر يشبه الجراح الذي يستأصل ورماً بدلاً من بتر الطرف بالكامل.

5. النتائج: أسرع وأذكى

اختبر الباحثون هذه الطريقة على مسائل رياضية، وأسئلة علمية، ومهام برمجية.

النتائج: طريقة SRPO (حيث يحدد الذكاء الاصطناعي خطأه بنفسه) تفوقت باستمرار على الطرق القياسية وطريقة "التخمين العشوائي".
السرعة: في المهام البرمجية، تعلمت طريقة SRPO بمعدل 2 إلى 3 مرات أسرع من الطرق القياسية. لقد وصلت إلى معدل نجاح أعلى لأنها لم تكن تضيع الوقت في إعادة تعلم خطوات كانت تعلم بالفعل أنها صحيحة.
التصحيح الذاتي: وجدت الورقة أنه عندما يحدد الذكاء الاصطناعي الخطأ بشكل صحيح (بادئة "نظيفة")، فإنه يستطيع إصلاح المشكلة بنجاح في ضعف عدد المرات تقريباً مقارنة بما لو خمن المكان الخطأ. وهذا يثبت أن معرفة أين تعيد الضبط هو مفتاح النجاح.

ملخص

فكر في هذه الورقة على أنها تعليم الذكاء الاصطناعي كيف يكون أفضل ناقد لنفسه. بدلاً من إعادة محاولة المهام بالكامل بشكل أعمى، يتعلم الذكاء الاصطناعي تحديد اللحظة الدقيقة التي انحرف فيها عن المسار، والضغط على زر "إعادة الضبط"، وتجربة مسار مختلف من تلك اللحظة المحددة. وهذا يجعل التعلم أكثر كفاءة، ودقة، وفعالية، خاصة في المهام المعقدة مثل الرياضيات والبرمجة.

ملخص تقني: تخصيص الائتمان مع عمليات إعادة الضبط في استدلال النماذج اللغوية

بيان المشكلة

تعتمد أساليب التعلم المعزز بالجوائز القابلة للتحقق (RLVR) المعاصرة المستخدمة في التدريب اللاحق للنماذج اللغوية على مهام الاستدلال متعددة الخطوات عادةً على نشر مكافأة نتيجة واحدة بشكل موحد عبر جميع الرموز (tokens) في المسار. هذا النهج المتمثل في "التخصيص الموحد للائتمان" يحجب تحديد أي خطوات استدلالية محددة ساهمت في النجاح أو الفشل. وبناءً على ذلك، يتم تطبيق تحديثات السياسة بشكل عشوائي على المسار بأكمله، حتى عندما يكون جزء فقط من الخطوات معيباً. وتعد هذه الكفاءة مشكلة خاصة في مهام الاستدلال طويلة الأمد حيث تكون نسبة الإشارة إلى الضجيج في التعلم منخفضة.

يفترض البحث أن تحسين تخصيص الائتمان يتطلب آليات لعزل وصقل خطوات استدلال معينة معيبة بدلاً من تحديث المسارات بأكملها. واستلهاماً من الأنظمة البيولوجية التي تعيد إحياء نقاط اتخاذ القرار عالية التأثير للتعلم من نتائج "ماذا لو" (counterfactual) المضادة للواقع، يقترح المؤلفون استخدام عمليات إعادة الضبط (resets) كأداة أولية لتخصيص الائتمان. تعمل عملية إعادة الضبط على إعادة الدخول إلى حالة تمت زيارتها سابقاً وإعادة أخذ عينة من التكملة، مما يسمح بنسب الاختلافات في النتائج تحديداً إلى القرارات المتخذة من تلك الحالة.

المنهجية

يقدم البحث طريقتين للتدريب اللاحق باستخدام RLVR القائم على إعادة الضبط، وكلاهما يعمل على مستوى الفكرة (thought-level) (حيث يمثل كل إجراء خطوة استدلال متماسكة دلالياً) بدلاً من مستوى الرمز (token level). تنشئ كلتا الطريقتين مخزناً تدريبياً يحتوي على مجموعة أساسية من المسارات القياسية ومجموعة "الأسلاف المشتركة" (shared-prefix group) من المسارات التي تمت إعادة أخذ عيناتها من حالة إعادة ضبط محددة $x^*$ مستمدة من مسار فاشل.

1. تحسين السياسة بإعادة الضبط العشوائية (RRPO)

تعتبر RRPO تجسيداً عملياً لعملية التكرار السياساتي المحافظ (CPI) مع إعادة الضبط العشوائية (CPI-RR).

الآلية: عند مواجهة مسار فاشل (البذرة - seed)، يتم اختيار حالة إعادة الضبط $x^*$ عشوائياً من خطوات الاستدلال في تلك البذرة.
العملية: يتم أخذ عينات متعددة من التكملات اللاحقة من $x^*$ . يتم تطبيق تدرج السياسة فقط على رموز اللاحقة (suffix tokens)، بينما يتم حجب البادئة المشتركة (shared prefix).
الهدف: تقريب النموذج النظري لخط الأساس CPI-RR حيث يتم سحب حالات إعادة الضبط عشوائياً من توزيع السياسة الحالية (on-policy distribution).

2. تحسين السياسة بإعادة الضبط الذاتي (SRPO)

تعتبر SRPO تجسيداً عملياً لـ CPI مع أوراكل (oracle) لإعادة الضبط لتخصيص الائتمان (CPI-CARO).

الآلية: بدلاً من الاختيار العشوائي، يقوم النموذج بـ تحديد موقع الخطأ ذاتياً في أول فكرة خاطئة في مسار البذرة الفاشل. يعمل تحديد الموقع الذاتي هذا كوسيط لـ "أوراكل تخصيص الائتمان" النظري، الذي يحدد الحالات التي تسمح باتخاذ إجراء أفضل (الحالات القابلة للتحسين).
العملية: يحلل النموذج مسار الاستدلال الخاص به لتحديد مؤشر أول خطأ. يتم تعيين حالة إعادة الضبط $x^*$ لتكون البادئة التي تسبق هذا الخطأ مباشرة. بعد ذلك، يتم أخذ عينات متعددة من التكملات اللاحقة من هذه البادئة التي تم التحقق من صحتها.
الميزة الرئيسية: لا تتطلب SRPO إشرافاً خارجياً على مستوى الخطوة (مثل نماذج مكافأة العملية أو التعليقات البشرية)؛ بل تستفيد من قدرة النموذج على اكتشاف أول خطأ له، وهي قدرة مدعومة بالأعمال السابقة (Samanta et al., 2026).

الإطار النظري

يحلل المؤلفون هذه الطرق ضمن إطار التكرار السياساتي المحافظ (CPI). ويقدمون نوعاً نظرياً، وهو CPI-CARO، الذي يستخدم أوراكل لتخصيص الائتمان لأخذ عينات من "الحالات القابلة للتحسين" فقط (الحالات التي يوجد فيها إجراء ذو ميزة أكبر من عتبة $\tau$ ).

النتيجة النظرية: يثبت البحث أن CPI-CARO يحقق تحسيناً في تعقيد العينة بمقدار $1/p_\pi^2$ وتحسيناً في كسب التحسن لكل دورة بمقدار $1/p_\pi$ مقارنة بـ CPI-RR (إعادة الضبط العشوائية) القياسية، حيث $p_\pi$ هي احتمالية الوصول إلى حالة قابلة للتحسين في السياسة الحالية.
الدلالة: من خلال تركيز عمليات إعادة الضبط على الحالات القابلة للتحسين، يتجنب الخوارزمي تخفيف إشارة التعلم بالحالات غير القابلة للتحسين.

المساهمات الرئيسية

مفاهيمية: يؤطر البحث عمليات إعادة الضبط كأداة أساسية لتخصيص الائتمان في التدريب اللاحق. ويجادل بأن الاختلافات في النتائج عبر التكملات اللاحفة المعاد أخذ عيناتها من حالة قابلة للتحسين تربط الائتمان تحديداً بالقرارات المتخذة عند تلك الحالة.
نظرية: يوسع إطار CPI بإضافة أوراكل لتخصيص الائتمان، مما يوفر ضمانات مثبتة بأن تركيز عمليات إعادة الضبط على الحالات القابلة للتحسين يحقق تعقيد عينة وتحسناً في كل دورة أفضل من استراتيجيات إعادة الضبط العشوائية.
خوارزمية وتجريبية: يقترح SRPO، وهي طريقة خالية من التدريب تستخدم تحديد الموقع الذاتي لدفع عمليات إعادة الضبط. تُظهر SRPO أن النماذج اللغوية يمكنها تحديد موقع الخطأ ذاتياً بفعالية لدفع التصحيح الذاتي دون إشراف خارجي.

النتائج التجريبية

قيم المؤلفون SRPO و RRPO على نموذجين أساسيين (Qwen2.5-14B-Instruct و OLMo-3-7B-Instruct) تم تدريبهما على NuminaMath-Olympiads واختبارهما عبر مجموعة من 10 معايير تغطي الاستدلال الرياضي، العلمي، الاستراتيجي، والمنطقي، بالإضافة إلى معيار برمجي (LiveCodeBench).

الاستدلال العام: تفوقت SRPO باستمرار على GRPO و RRPO القيسيين. في نموذج Qwen2.5-14B، حققت SRPO أفضل النتائج في 7 من أصل 10 مهام؛ وفي OLMo-3-7B، كانت الأفضل في 6 من أصل 10 مهام. ومن الجدير بالذكر أن هذه المكاسب حدثت في معايير خارج نطاق التوزيع (العلم، الاستراتيجية، المنطق) رغم التدريب على بيانات الرياضيات فقط.
مهام البرمجة: في LiveCodeBench، وصلت SRPO إلى معدل نجاح أعلى وتعلمت أسرع بـ 2-3 مرات من GRPO و RRPO.
استراتيجية أخذ العينات: وجدت دراسة استقصائية لنسبة المسارات الأساسية إلى المسارات ذات البادئة المشتركة (على سبيل المثال 1×4 مقابل 2×4 مقابل 1×8) أن تقسيم 1×4 (4 مسارات أساسية، 4 تكميلات من بادئة واحدة محددة ذاتياً) قدم أفضل توازن بين تغطية السياسة الأساسية وعمق البادئة المشتركة.
جودة تحديد الموقع الذاتي: كشف تحليل آلية تحديد الموقع الذاتي أنها وسيط غير كامل ولكنه فعال للأوراكل. عندما حدد النموذج الخطأ بشكل صحيح (مما خلق بادئة "نظيفة")، كان معدل التصحيح أعلى بـ مرتين تقريباً (28.7% مقابل 16.3%) مقار Comp بـ عندما تجاوز تحديد الموقع المنطقة الخطأ.

الأهمية والادعاءات

يزعم البحث أن إعادة الضبط المحددة ذاتياً تمثل تقدماً كبيراً في التدريب اللاحق بالتعلم المعزز للاستدلال. فمن خلال الابتعاد عن التخصيص الموحد للائتمان، تمكن SRPO من تحقيق تعلم أكثر كفاءة من خلال استهداف الخطوات المسؤولة عن الفشل.

الكفاءة: تحقق الطريقة أداءً أعلى مع عينات أقل مقارنة بـ GRPO القياسي، خاصة في مهام البرمجة حيث يتم تسريع التقارب.
الاكتفاء الذاتي: تعمل SRPO دون إشراف خارجي على مستوى الخطوة، معتمدة فقط على قدرة النموذج الداخلية على تحديد أول خطأ له. وهذا يجعل النهج قابلاً للتوسع وقابلاً للتطبيق في المجالات التي لا تتوفر فيها ملاحظات بشرية أو نماذج مكافأة عملية.
المواءمة النظرية: يؤكد النجاح التجريبي لـ SRPO الفرضية النظرية بأن تركيز تحديثات السياسة على "الحالات القابلة للتحسين" (عبر أوراكل تخصيص الائتمال) يحقق مكاسب مثبتة على استراتيجيات الاستكشاف العشوائية.

يخلص المؤلفون إلى أنه على الرغم من أن تحديد الموقع الذاتي ليس مثالياً، إلا أنه كافٍ لدفع تحسينات ملموسة. ويُقترح أن يركز العمل المستقبلي على تحسين جودة تحديد الموقع الذاتي (على سبيل المثال عبر محددات محلية مخصصة) وتوسيع آليات تخصيص الائتمان القائمة على إعادة الضبط هذه لتشمل مهام الوكلاء (agents) طويلة الأمد والحوارات متعددة الأدوار.