💻 computer science

Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning

تقترح هذه الورقة إطار عمل للتعلم المعاكس لتعزيز المكافأة (AIRL) يتعلم مكافآت استدلالية قابلة لإعادة الاستخدام مباشرة من عروض الخبراء، مما يثبت أن هذه المكافآت المتعلمة تتفوق على الضبط الدقيق الخاضع للإشراف والتعلم المعزز القائم على النتائج من خلال تحسين أداء النموذج، والعمل كأدوات إعادة ترتيب فعالة في وقت الاستدلال، وتمكين النقل عبر المهام لتشخيص إخفاقات الاستدلال.

المؤلفون الأصليون: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب طباخ، ذكي جداً ولكنه يفتقر للخبرة، كيف يطهو وجبة فاخرة ومثالية. لديك كومة من بطاقات الوصفات التي كتبها "شيف عالمي" (وهي "نماذج العرض الخبير").

حالياً، هناك طريقتان رئيسيتان لتعليم المتدرب:

طريقة "التقليد الأعمى" (الضبط الدقيق الخاضع للإشراف): أنت تقول للمتدرب: "فقط انسخ بالضبط ما كتبه الشيف العالمي في البطاقة".
- المشكلة: إذا تعثر المتدرب أو حاول استخدام مكون جديد غير موجود في البطاقة، فلن يملك أدنى فكرة عما يجب فعله. إنه مجرد مقلد، وليس لديه فهم حقيقي لسبب كون الخطوة جيدة أو سيئة.
طريقة "اختبار التذوق" (التعلم التعزيزي): أنت تترك المتدرب يطهو، وفي النهاية فقط تتذوق الطبق. إذا كان جيداً، تعطيه نجمة ذهبية. وإذا كان محترقاً، تعطيه علامة إبهام للأسفل.
- المشكلة: إذا احترق الطبق، فلن تعرف أين وقع الخطأ بالضبط. هل أحرق الثوم في الخطوة الأولى؟ أم أنه نسي الملح في الخطوة الخامسة؟ التعليقات تأتي متأخرة جداً وغير محددة، مما يجعل إصلاح الخطأ مستحيلاً.

الحل الجديد: "ناقد الطعام الذكي" (هذه الورقة البحثية)

يقترح المؤلفون طريقة ثالثة. بدلاً من جعل المتدرب ينسخ البطاقة أو ينتظر حتى النهاية ليتذوق، يقومون بتدريب "ناقد طعام ذكي" (نموذج مكافأة ذكاء اصطناعي) لمراقبة عملية الطهي في الوقت الفعلي.

إليك كيف يفعلون ذلك، باستخدام إطار عمل "التعلم العكسي التنافسي لتعزيز التعلم" (AIRL) الخاص بالورقة:

1. تدريب الناقد (اختبار التذوق من الداخل)

لا يعطي الباحثون "الناقد" كتاب قواعد. بدلاً من ذلك، يعرضون عليه نوعين من فيديوهات الطهي:

الفيديو (أ): الشيف العالمي يطهو بشكل مثالي.
الفيديو (ب): المتدرب يطهو (أحياناً يصيب وأحياناً يخطئ).

مهمة الناقد هي اكتشاف: "ما الذي يجعل الفيديو (أ) يبدو كتحفة فنية، والفيديو (ب) يبدو ككارثة؟"

الخدعة الذكية هنا هي أن الناقد يتعلم رصد خطوات التفكير الجيدة، وليس فقط النتيجة النهائية. إنه يتعلم أن "تقطيع البصل بشكل متساوٍ" هي خطوة جيدة، حتى لو فسدت الوجبة لاحقاً بسبب شيء آخر. إنه يتعلم أن يقول: "عمل رائع في تقطيع البصل! ولكن انتظر، لقد أضفت السكر للتو إلى حساء مالح—هذه حركة سيئة!"

2. "دقة" الناقد

تجرب الورقة البحثية مدى تفصيل ملاحظات الناقد:

الناقد "المتباعد" (ناقد نهاية الوردية): يعطي ملاحظات في النهاية فقط. "عمل جيد" أو "عمل سيء". هو مستقر ولكنه لا يساعد كثيراً أثناء عملية الطهي.
الناقد "الكثيف" (الناقد في الوقت الفعلي): يعطي ملاحظات بعد كل إجراء بمفرده. "تقطيع جيد"، "حرارة سيئة"، "تتبيل مثالي". هذا مفيد جداً لإصلاح الأخطاء فوراً، ولكنه أصعب في التدريب لأن الناقد قد يرتبك بسبب التفاصيل الصغيرة جداً.

3. كيف يتعلم المتدرب

بمجرد تدريب الناقد، يبدأ المتدرب (نموذج الذكاء الاصطناعي) في الطهي مرة أخرى. هذه المرة، يراقب الناقد كل خطوة ويعطي درجة.

إذا اتخذ المتدرب خطوة تشبه منطق الشيف العالمي، يعطيه الناقد درجة عالية.
إذا اتخذ المتدرب طريقاً مختصراً غريباً أو ارتكب خطأً منطقياً، يعطيه الناقد درجة منخفضة.

يستخدم المتدرب هذه الدرجات ليتعلم كيف يطهو بشكل أفضل، دون الحاجة إلى إنسان يتذوق كل طبق على حدة.

4. "الحياة الثانية" للناقد

الجزء الأفضل؟ الناقد لا يساعد المتدرب على التعلم فحسب؛ بل يساعد أيضاً بعد انتهاء عملية التعلم.

خدعة "إعادة التصنيف": تخيل أن المتدرب مُطالب بطهي 16 نسخة مختلفة من نفس الطبق. عادةً، ستكتفي بأول نسخة. ولكن الآن، يتذوق الناقد النسخ الـ 16 جميعها ويختار الأفضل على الإطلاق.
النتيجة: تظهر الورقة أن استخدام هذا الناقد لاختيار أفضل محاولة يمكن أن يحسن النتيجة النهائية بنسبة تصل إلى 17.4% مقارنة بمجرد التخمين.

5. تشخيص "السبب"

بما أن الناقد يراقب كل خطوة، فيمكنه العمل كالمحقق. إذا كان الطبق النهائي سيئاً، يمكن للناقد الإشارة بدقة إلى اللحظة التي انحرف فيها المتدب عن المسار الصحيح.

مثال: "كنت تبلي رائعاً حتى الخطوة السابعة، حيث قررت وضع الكعكة في المجمد بدلاً من الفرن. هذا هو المكان الذي أخطأت فيه."

ملخص في إيجاز

هذه الورقة تعلم نماذج الذكاء الاصطناعي كيف تفكر مثل الخبراء، وليس فقط كيف تقلدهم.

قاموا ببناء ناقد ذكي يتعلم من الأمثلة الخبيرة لفهم عملية التفكير.
يساعد هذا الناقد الذكاء الاصطناعي على التعلم بشكل أسرع وأكثر دقة من مجرد التقليد.
يساعد الذكاء الاصطناعي على اختيار أفضل إجابة من بين محاولات عديدة.
يمكنه شرح أين أخطأ الذكاء الاصطناعي بالضبط، ليعمل كمعلم شخصي له.

إنها تسد الفجوة بين "التقليد الأعمى للمعلم" و"التخمين حتى تصيب الهدف"، مما يمنح الذكاء الاصطناعي فهماً حقيقياً لكيفية حل المشكلات خطوة بخطوة.

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "تعلم نماذج مكافأة الاستدلال من نماذج الخبراء عبر التعلم المعاكس للتعزيز" (Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning)، المقبولة في ورشة عمل ICLR 2026 حول الاستدلال المنطقي للنماذج اللغوية الكبيرة.

1. بيان المشكلة

تواجه الطرق الحالية لتحسين الاستدلال في النماذج اللغوية الكبيرة (LLMs) مقايضة جوهرية:

الضبط الدقيق الخاضع للإشراف (SFT): يعتمد على محاكاة مسارات استدلال الخبراء. وبينما هو فعال للمهام داخل التوزيع (in-distribution)، إلا أنه مجرد محاكاة بحتة ويفشل في تقديم التوجيه عندما ينحرف النموذج عن المسارات الموضحة (حالات خارج التوضيح/off-demonstration).
التعلم المعاكس القائم على النتيجة (Outcome-Based RL): يستخدم مُحقِّقًا (verifier) يكافئ فقط الإجابة النهائية. يتطلب هذا وجود مُحقِّق خارجي محدد جيدًا وغالبًا ما يكون خاصًا بمهمة معينة، ويفتقر إلى الإشراف على مستوى الخطوة، مما يجعل من الصعب تحديد مكان الأخطاء أو توجيه خطوات الاستدلة الوسيطة.

تعالج الورقة البحثية الفجوة في تعلم مكافأة استدلال على مستوى الخطوة مباشرة من نماذج الخبراء دون الاعتماد على مُحقِّقات خارجية أو دوال مكافأة مصممة يدويًا. الهدف هو إنشاء نموذج مكافأة يلبي ثلاثة متطلبات:

D1 (إشارة التدريب): يعمل كإشارة تحسين لتعلم السياسة على المسارات المولدة ذاتيًا.
D2 (المساعدة أثناء الاستنتاج): يعمل كأداية لإعادة التصنيف (reranker) لاختيار أفضل مسار استدلال تحت ميزانية عينات ثابتة.
D3 (تحديد موقع الخطأ): تحديد الرمز (token) أو الخطوة المحددة التي ينحرف عندها مسار الاستدلال لأول مرة عن المسار الصحيح.

2. المنهجية: التعلم المعاكس للتعزيز العدائي (AIRL)

يقترح المؤلفون إطار عمل التعلم المعاكس للتعزيز العدائي (AIRL) المتكيف مع النماذج اللغوية الكبيرة. بدلاً من معاملة رموز الخبراء كأهداف مباشرة (كما في SFT)، تستنتج الطريقة دالة مكافأة كثيفة من مسارات الخبراء وتعمل على تحسين السياسة لتعظيم هذه المكافأة.

المكونات الأساسية:

المميز (نموذج المكافأة، $D_\phi$ ): مصنف على مستوى الرمز (token-level) يتم تدريبه للتمييز بين مسارات الاستدلال "الإيجابية" و"السلبية".
- المجموعة الإيجابية ( $D_{pos}$ ): نماذج الخبراء + مسارات السياسة التي تنتج نفس الإجابة النهائية كخبير.
- المجموعة السلبية ( $D_{neg}$ ): مسارات السياسة ذات الإجابات النهائية المختلفة + التشويهات الاصطناعية لمسارات الخبراء (مثل قلب الأرقام، أو المنطق الطبي غير الصحيح).
- الابتكار الرئيسي: من خلال تضمين مسارات السيئة المتسقة مع الإجابة كمجموعات إيجابية، يُجبر المميز على تعلم جودة الاستدلال وليس فقط أسلوب المصدر أو صحة الإجابة.
دقة المكافأة (Reward Granularity): يقيم الإطار ثلاثة مستويات من الإشراف عبر قناع ثنائي $m_t$ $m_{t}$ :
1. الخفيف (Sparse): مكافأة عند الرمز النهائي فقط ( $t=T$ ).
2. المتقطع (Interval): مكافأة كل $k$ من الرموز.
3. الكثيف (Dense): مكافأة عند كل رمز.
- بالنسبة للأقنعة الخفيفة/المتقطعة، يتم الانتشار العكسي (backfilling) للمكافآت (نشرها) إلى الرموز غير المقنعة لإنشاء إشارة كثيفة لتحديثات السياسة.
تحسين السياسة: يتم تحديث السياسة ( $\pi_\theta$ $π_{θ}$ ) باستخدام تحسين السياسة النسبي للمجموعات (GRPO).
- الاستقرار: لمنع انهيار النمط (mode collapse) واختطاف المكافأة (reward hacking)، يستخدم المؤلفون:
  - ذاكرة التخزين المؤقت لإعادة التشغيل (Replay Buffers): تجميع المسارات الإيجابية والسلبية عبر التكرارات.
  - خطوات المميز المتعددة: تحديث نموذج المكافة عدة مرات ( $N_{disc}$ ) لكل تحديث للسياسة.
  - قص المكافأة (Reward Clipping): قص المكافآت الكثيفة إلى حد متماثل ( $\beta$ ) لمنع عدم الاستقرار العددي الناتج عن اللوغاريتمات غير المحدودة.
  - التنميط الجماعي (Group Standardization):izing): تطبيع المكافآت ضمن دفعة من المخرات العينات لتقليل التباين.

3. المساهمات الرئيسية

تكييف AIRL للنماذج اللغوية الكبيرة: أول عمل يكيّف AIRL لتعلم مكافآت استدلال كثيفة على مستوى العملية مباشرة من نماذج الخبراء دون الحاجة لمحققات خارجية.
إطار عمل موحد للتدريب والاستنتاج: يثبت أن نموذج مكافأة واحد تم تعلمه يمكن أن يخدم بفعالية غرضين مزدوجين: تحسين السياسة أثناء التدريب (D1) وإعادة تصنيف المرشحين وقت الاستنتاج (D2).
القدرة على تحديد موقع الخطأ: يوضح أن المكافآت الكثيفة يمكن أن تحدد بدقة الخطوة التي يفشل فيها الاستدلال (D3)، مما يوفر قدرات تشخيصية تفتقر إليها طرق RL القائمة على النتيجة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير متنوعة: GSM8K (رياضيات)، MEDREASON (طب)، و MMLU-PRO (أسئلة علمية)، باستخدام نماذج أساسية مختلفة (Qwen2.5, Llama3, Qwen3).

إشارة التدريب (D1):
- تفوقت مكافآت AIRL المتعلمة عمومًا على SFT. حقق أفضل متغير تحسنًا على MedReason، و GSM8K، و MMLU-Pro.
- مقايضة الدقة: كانت المكافآت الخفيفة هي الأكثر استقرارًا وموثوقية. أما المكافآت الكثيفة فقد قدمت دقة أعلى ولكنها كانت أكثر عرضة لعدم الاستقرار وانهيار النمط في التدريب العدائي.
إعادة التصنيف عند الاستنتاج (D2):
- أدت المكافأة المتعلمة إلى تحسين كبير في أداء إعادة التصنيف Best-of-16.
- إحصائية رئيسية: تحسن يصل إلى 17.4 نقطة مئوية فوق الاختيار العشوائي في GSM8K (باستخدام Qwen2.5-7B مع مكافأة كثيفة).
- أدى الجمع بين إعادة التصنيف الموجه بالمكافأة والتصويت بالأغلبية إلى تحقيق أفضل النتائج عند ميزانيات العينات الكبيرة.
التعميم والتحديد (D3):
- القابلية للنقل: غالبًا ما انتقلت المكافآت المدربة على مهمة واحدة (مثل GSM8K) أو نموذج أساسي واحد (مثل Llama3) بشكل إيجابي إلى مهام أخرى، مما يشير إلى إشارات استدلال قابلة لإعادة الاستخدام.
- تحديد الموقع: أكدت عمليات التصور (الشكل 5) أن المكافأة الكثيفة ظلت إيجابية للخطوات الوسيطة الصحيحة ولكنها انخفضت بشكل حاد عند أول رمز خاطئ، مما يشحذ القدرة على تشخيص نقطة الفشل.

5. الأهمية والخاتمة

تجسر هذه الورقة الفجوة بين المحاكاة البحتة (SFT) والتحسين القائم على المكافأة (RL). من خلال تعلم نموذج مكافأة قابل لإعادة الاستخدام على مستوى العملية حصريًا من النماذج التوضيحية، يمكّن المؤلفون من:

تعلم سياسة أفضل: تجاوز مجرد المحاكة البسيطة نحو التحسين لجودة الاستدلال.
كفاءة وقت الاختبار: تحقيق مكاسب كبيرة في الأداء عبر إعادة التصنيف دون إعادة تدريب النموذج.
القابلية للتفسير: القدرة على تشخيص أين و لماذا يفشل النموذج، وهو أمر بالغ الأهمية في المجالات الحساسة للسلامة مثل الطب.

تخلص الورقة إلى أنه بينما يظل موازنة دقة المكافأة مع استقرار التحسين تحديًا، فإن AIRL يوفر إطار عمل قويًا وموحدًا لتعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة.