💬 NLP

Discovering Process-Outcome Credit in Multi-Step LLM Reasoning

تقترح هذه الورقة إطار عمل جديد للتعلم التعزيزي يعزز الاستدلال متعدد الخطوات للنماذج اللغوية الكبيرة من خلال تقديم آلية كسب المعلومات الهامشية الخطوية لإشارات المكافأة المستمرة، واستراتيجية القناع المنفصل لتخصيص الائتمان المتمايز، وهدف ضبط دقيق للتعلم الخاضع للإشراف ثنائي البوابة، مما يحقق بشكل جماعي كفاءة عينة ودقة وقوة في مواجهة التوزيعات الخارجة عن النطاق تتفوق على النماذج المرجعية مثل GRPO.

المؤلفون الأصليون: Xiangwei Wang, Wei Wang, Ken Chen, Nanduni Nimalsiri, Saman Halgamuge

نُشر 2026-02-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiangwei Wang, Wei Wang, Ken Chen, Nanduni Nimalsiri, Saman Halgamuge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "اكتشاف الائتمان بين العملية والنتيجة في التفكير متعدد الخطوات للنماذج اللغوية الكبيرة (LLM)" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "الصندوق الأسود" للتفكير

تخيل أنك تعلم طالباً كيفية حل مسألة رياضية طويلة ومعقدة للغاية. في الطريقة القديمة (التي تسمى التعلم القائم على النتيجة)، لا تعطيه درجة إلا في النهاية تماماً.

السيناريو: يكتب الطالب 50 خطوة من التفكير. إذا كانت الإجابة النهائية صحيحة، يحصل على تقدير "امتياز". وإذا كانت خاطئة، يحصل على "رسوب".
الخلل: إذا حصل الطالب على "رسوب"، فلن يعرف أين أخطأ بالضبط. هل أخطأ في الخطوة الثالثة؟ أم الخطوة الأربعين؟ أم أن الحساب النهائي كان مجرد خطأ مطبعي؟ لأن التغذية الراجعة نادرة جداً (تأتي فقط في النهاية)، غالباً ما يقوم الطالب بمجرد التخمين أو حفظ الأنماط للحصول على "الامتياز" دون أن يتعلم التفكير فعلياً. وهذا ما يسمى بـ ندرة المكافأة (Reward Sparsity).

الحل: "نظام ملاحة (GPS)" للعقل

يقترح المؤلفون طريقة جديدة تعمل مثل نظام الملاحة (GPS) لعقل الطالب. فبدلاً من الانتظار حتى النهاية لتقييمه، يمنحه نظام الـ GPS "رنة" في كل مرة يتخذ فيها منعطفاً صحيحاً أو يكتشف قطعة جديدة من اللغز.

يطلقون على هذا الإطار اسم كسب المعلومات الهامشي خطوة بخ خطوة (MIG). وإليك كيفية عمله، مقسماً إلى ثلاثة أجزاء رئيسية:

1. "العلامة المائية" (منع الغش)

تخيل أن الطالب يتسلق جبلاً. وللتأكد من أنه يتسلق بالفعل وليس مجرد القفز صعوداً وهبوطاً في نفس المكان (وهو ما يسمى "اختراق المكافأة")، يضع النظام علامة مائية تاريخية رتيبة (Monotonic Historical Watermark).

كيف تعمل: يتتبع النظام أعلى نقطة وصل إليها الطالب في فهمه حتى الآن.
القاعدة: تحصل على مكافأة فقط إذا تسلقت أعلى من أفضل مستوى وصلت إليه سابقاً. إذا اتخذت خطوة لا تحسن فهمك (أو تجعله أسوأ)، ستحصل على صفر نقاط.
التشبيه: الأمر يشبه لعبة فيديو حيث تحصل على نقاط فقط عند اكتشاف منطقة سرية جديدة. إذا ذهبت ذهاباً وإياباً في نفس الغرفة، فلن تحصل على شيء. هذا يجبر الذكاء الاصطناي على استكشاف مسارات منطقية جديدة بدلاً من الدوران في حلقات أو تكرار نفسه.

2. "النظام ثنائي المسار" (الاستكشاف مقابل الدقة)

يدرك البحث أن "التفكير" و"الإجابة" شيئان مختلفان.

المسار (أ) (المستكشف): بالنسبة لخطوات التفكير (سلسلة الأفك‏ - Chain of Thought)، يستخدم النظام مكافآت MIG المذكورة أعلاه. هذا يشجع الذكاء الاصطناي على أن يكون فضولياً، ويجرب زوايا مختلفة، ويجد حلولاً عميقة ومعقدة. الأمر يشبه السماح للمحقق باتباع كل دليل، حتى الغريب منها.
المسار (ب) (القاضي): بالنسبة للإجابة النهائية، يستخدم النظام فحصاً صارماً لـ النجاح/الفشل.
السحر: يستخدم البحث استراتيجية حجب منفصلة (Decoupled Masking Strategy). هذا يشبه وجود معلمين مختلفين؛ أحد المعلمين (المسار أ) يثني على عمل المحقق والرحلة، بينما يهتم المعلم الآخر (المسار ب) فقط بما إذا كان الحكم النهائي صحيحاً. لا يتدخل أحدهما في عمل الآخر. هذا يسمح للذكاء الاصطناعي بأن يكون مبدعاً في تفكيره ولكن صارماً في نتيجته النهائية.

3. "شبكة الأمان" (التصحيح الذاتي المقيد)

أحياناً، يصبح الذكاء الاصطناعي متحمساً جداً للاستكشاف لدرجة أنه يبدأ في اختلاق أشياء (الهلوسة). ولإصلاح ذلك، أضاف المؤلفون آلية الضبط الدقيق الخاضع للإشراف ذو البوابات المزدوجة (Dual-Gated SFT).

كيف تعمل: يقوم النظام بـ "تعليم" نفسه فقط من محاولاته الناجحة. فهو ينظر إلى مسار التفكير ويسأل سؤالين:
1. هل اتبعت القواعد (التنسيق)؟
2. هل حصلت على الإجابة الصحيحة؟
البوابة: فقط إذا كانت الإجابة على كلا السؤالين هي "نعم"، يقوم النظام بحفظ ذلك المسار كمثال جيد للتعلم منه. إذا كانت الإجابة خاطئة، يتم التخلص من ذلك المسار، حتى لو كان التفكير مثيراً للاهتمام. هذا يمنع الذكاء الاصطناي من تعلم عادات سيئة.

ماذا وجدوا؟

اختبر المؤلفون هذا على مسائل رياضية صعبة (مثل MATH) وألغاز بصرية (مثل Super-CLEVR).

تعلم أسرع: تعلم الذكاء الاصطناي بشكل أسرع بكثير من الطرق القياسية لأنه حصل على تغذية راجعة مستمرة (رنات الـ GPS) بدلاً من الانتظار للدرجة النهائية.
أفضل في الأمور الصعبة: في المسائل الصعبة جداً التي استسلمت عندها نماذج الذكاء الاصطناي الأخرى أو علقت، استمرت هذه الطريقة في المضي قدماً لأن "العلامة المائية" كانت تدفعها دائماً لإيجاد الخطوة المنطقية التالية.
التعميم: لم يقم الذكاء الاصطناي بمجرد حفظ أسئلة الاختبار؛ بل تعلم كيف يفكر. عندما أعطوه أنواعاً جديدة تماماً وغير مرئية من الألغاز، كان أداؤه أفضل من المنافسين.

المقايضة (مشكلة "الإفراط في التفكير")

يعترف البحث أيضاً بصدق بوجود عيب صغير. نظرًا لأن النظام يكافئ كل خطوة جديدة من التفكير، فقد يصبح الذكاء الاصطناي دقيقاً للغاية في التفاصيل بشكل مبالغ فيه.

التشبيه: تخيل أنك تسأل شخصاً: "ما هو 2 + 2؟". الشخص الطبيعي يقول "4". أما الذكاء الاصطناي، مدفوعاً بالمكافأة على "الخطوات الجديدة"، فقد يفككها إلى 20 خطوة صغيرة: "أولاً، أرى الرقم 2. ثم أرى رقم 2 آخر. الآن أجمعهما..."
المخاطرة: كلما زادت الخطوات التي تتخذها، زادت فرصة ارتكاب خطأ حسابي صغير في الطريق. في المهام البسيطة جداً، كانت الطريقة القديمة ("فقط احصل على الإجابة") أكثر كفاءة أحياناً. ومع ذلك، بالنسبة للتفكير المعقد متعدد الخطوات، كانت الطريقة الجديدة هي الفائز الأكبر.

الملخص

تقدم هذه الورقة طريقة لتعليم الذكاء الاصطناي كيفية التفكير من خلال مكافأته على إحراز تقدم في كل خطوة، وليس فقط مقابل الحصول على الإجابة النهائية الصحيحة. ومن خلال استخدام "علامة مائية للتسلق" لضمان التقدم ونظام "المسارين" للموازنة بين الإبداع والدقة، أنشأوا ذكاءً اصطناعياً أفضل في حل ألغاز التفكير المعقدة والصعبة دون الحاجة إلى بشر لتقييم كل خطوة من خطوات واجباته المنزلية.

ملخص تقني: اكتشاف الائتمان بين العملية والنتيجة في الاستدلال متعدد الخطوات لنماذج اللغات الكبيرة (LLMs)

1. بيان المشكلة

برز التعلم المعزز (RL) كنموذج قوي لتعزيز الاستدلال في نماذج اللغات الكبيرة، لا سيما من خلال أطر عمل مثل التعلم المعزز بالمكافآت القابلة للتحقق (RLVR). ومع ذلك، تعاني الأساليب التقليدية القائمة على النتيجة فقط، مثل تحسين السياسة النسبي للمجموعات (GRPO)، من ندرة المكافآت. ففي سلاسل الاستدلال المعقدة، لا توفر التغذية الراجعة الثنائية (صحيح/خاطئ) أي إشارة للخطوات المتوسطة، مما يؤدي إلى عدم كفاءة في تخصيص الائتمان وصعوبة في التنقل عبر المهام ذات الأفق الطويل.

تواجه المحاولات الحالية لإدخال إشارات كثيفة عائقين مزدوجين:

نماذج مكافأة العمليات (PRMs) تعتمد على مبررات مشروحة بشرياً ومجهدة، مما يعيق التوسع الذاتي.
الإشارات الكثيفة البديلة (مثل القواعد المصممة يدوياً أو النماذج المساعدة) غالباً ما تكون عرضة لـ اختراق المكافأة (reward hacking) وتظهر انفصالاً دلالياً، حيث تفشل في قياس القرب الوظيفي بدقة بين الخطوات المتوسطة والهدف النهائي.

التحدي الجوهري الذي يتم معالجته هو كيفية تصميم إطار تعلم يسهل التوجيه الدلالي الكثيف خطوة بخطوة مع ضمان محاذاة صارمة للنتيجة دون اللجوء إلى عروض خبير خارجية.

2. المنهجية

الإطار المقترح، الموضح في الشكل 1 من الورقة البحثية، يدمج ثلاث آليات أساسية للمزاوجة بين الاستكشاف الذاتي وقيود النتيجة الصارمة.

2.1. التدفق المنظم والتحليل (Structured Rollout and Parsing)

لكل مطالبة (prompt)، تولد السياسة مجموعة من المسارات. وخلافاً للطرق القائمة على النتيجة فقط، يتم تحليل هذه المسارات إلى خطوات استدلال منفصلة ( $s_1, \dots, s_K$ ) باستخدام مخطط هيكلي محدد مسبقاً (مثل ### Step i). وهذا يسمح بتخصيًص ائتمان دقيق بدلاً من تخصيص قيمة عددية واحدة للرابطة بأكملها.

2.2. كسب المعلومات الهامشي للخطوة (MIG)

لتوفير مكافآت كثيفة وذاتية، قدم المؤلفون آلية كسب المعلومات الهامشي للخطوة (MIG):

الاحتمالية المشروطة بالخطوة: لكل خطوة $s_k$ ، تحسب الطريقة لوغاريتم الاحتمالية الطبيعي (log-likelihood) لطول السلسلة للنتيلة الصحيحة $y^*$ بشرط البادئة المولدة حتى الآن ( $\ell_k$ ). يعمل هذا كوكيل لثقة النموذج في النتيجة الصحيحة.
العلامة المائية التاريخية الرتيبة (HWM): لمنع اختراق المكافأة عبر تذبذبات "الضخ والتفريغ" (حيث يقلل النموذج الاحتمالية ثم يحسنها لاحقاً)، يتم فرض قيد رتيبة صارم. تتبع العلامة المائية التاريخية $h_k$ أقصى دقة دلالية تم تحقيقها حتى الخطوة $k$ : $h_k = \max(h_{k-1}, \ell_k)$ .
مكافأة الاختراق المصححة: تُعرف المكافأة الكثيفة $g_k$ بأنها الزيادة المصححة فوق هذه العلامة المائية: $g_k = \max(0, \ell_k - h_{k-1})$ . يضمن هذا أن المكافآت مستقلة عن الموقع؛ حيث تحصل فقط الخطوات التي تقدم اختراقاً دلالياً حقيقياً (زيادة الاحتمالية بما يتجاوز الحد الأقصى التاريخي) على الائتمان. أما الخطوات الفائضة فتتلقى مكافأة صفرية.

2.3. التحسين الهجين عبر الحجب المنفصل (Decoupled Masking)

يستخدم الإطار دالة خسارة متعددة الأهداف ( $L = \alpha L_{MIG} + \beta L_{Outcome} + \gamma L_{Gated-SFT}$ ) مع استراتيجية حجب منفصلة للتعامل مع الاستكشاف المتباين والتقارب التأسيسي:

$L_{MIG}$ (استكشاف العملية): تعمل على تحسين عملية الاستدلال باستخدام مكافآت MIG الكثيفة، وتُطبق تحديداً على رموز سلسلة التفكير (CoT). هذا يشجع على الاستكشاف المعرفي الواسع.
$L_{Outcome}$ (تأسيس النتيجة): تطبق خسارة بأسلوب GRPO القياسي على الإكمال الكامل، حيث تجمع بين مكافأة الصحة الثنائية ومكافأة الامتثال للتنسيق. هذا يفرض الالتزام الصارم بالإجابة الصحيحة والصلاحية الهيكلية.
$L_{Gated-SFT}$ (الاستقرار): هدف ضبط دقيق ذاتي (SFT) ثنائي البوابات. يتم تفعيل هذه الخسارة فقط عندما يتحقق شرطان: (1) يتبع المسار تنسيقاً هيكلياً صالحاً، و(2) الإجابة النهائية صحيحة. يضمن هذا استخلاص بيانات عالية الدقة، مما يمنع تراكم الهلوسات المنطقية مع استقرار التدريب.

3. المساهمات الرئيسية

تلخص الورقة أربع مساهمات رئيسية:

استكشاف العملية عبر مكافأة احتمالية للخطوة: آلية مكافأة كثيفة تعتمد على كسب المعلومات الهامشي (MIG) مقابل علامة مائية تاريخية رتيبة. هذا يحل مشكلة تخصيص الائتمان عبر مكافأة الجدة الدلالية الجوهرية بغض النظر عن الموقع التسلسلي، مما يفلتر التذبذبات الزائدة دون الحاجة لتوضيحات خارجية.
تأسيس النتيجة عبر التصحيح الذاتي ذو البوابة: استراتيجية تطبق الضبط الدقيق الخاضع للإشراف (SFT) حصرياً عندما يتقارب مسار الاستكشاف الخاص بالنموذج نحو نتيجة صحيحة موثقة. هذا يوازن بين استكشاف العملية الإبداعي والالتزام الصارم بالنتيجة.
تحسين المكافأة الهجين مع الحجب المنفصل: مخطط ثنائي الأهداف يفصل بين المكافأة الكثيفة (لتوسيع مجال بحث الاستدلال) والمكافأة الثنائية المتفرقة وSFT ذو البوابة (لتقييد التحسين ضمن نطاق الصحة).
القابلية للتوسع عبر الوسائط المتعددة: إثبات أن الإطار يمتد لما وراء النطاقات النصية فقط إلى مهام الاستدلال المعقدة متعددة الوسائط، مما يشير إلى أن الجدة الدلالية الجوهرية هي محرك محايد للوسائط نحو الذكاء العام.

4. النتائج التجريبية

أجرى المؤلفون تجارب مكثفة على ثماني مجموعات بيانات، تشمل معايير نصية (GSM8K, MATH, SCQ5K) ومتعددة الوسائط (Super-CLEVR, ChartQA, CMM-Math)، بالإضافة إلى تقييمات خارج التوزيع (OOD).

كفاءة العينات والتقارب: أظهر إطار MIG كفاءة أعلى بكثير في العينات مقارنة بنماذج GRPO المرجعية. في المهام المهيكلة مثل GSM8K وSuper-CLEVR، حقق النموذج أداءً يقترب من التشبع (حوالي 95%) خلال أول 100 خطوة، بينما عانى GRPO في الاستكشاف الأولي.
المتانة تجاه اختراق المكافأة: في معيار SCQ5K-EN، حيث كان أداء GRPO أقل من النموذج الأساسي (مما يشير إلى الإفراط في التخصيص للتنسيق)، حسن الأسلوب المقترح الأداء بنسبة 11.0%، مقدراً قيمة عملية الاستدزار نفسها.
التعميم (OOD): أظهر النموذج قدرات نقل فائقة. في معيار MMStar، عانى GRPO من انتقال سلبي (انخفاض في الأداء)، بينما حقق الأسلوب المقترح انتقالاً إيجابياً (+5.0%).
قدرة الاستدلال الصعبة: في معيار AIME 2025 الصعب، حقق النموذج الكامل طفرة بنسبة 13.3% في الدقة، بينما انهار النموذج المستبعد (بدون Gated-SFT) إلى 0.0%، مما يبرز ضرورة مكون SFT لاستقرار الاستدلال المعقد.
رؤى الاستبعاد (Ablation):
- MIG مقابل انحياز الموقع: تفوقت آلية HWM على الاستدلالات المرجحة بالموقع، مما يؤكد أن الرؤى المحورية يمكن أن تحدث في أي مرحلة، وليس فقط في نهاية السلسلة.
- دور SFT: بينما دفع RL الصافي (MIG) نحو الاستدلال العميق في أصعب المسائل (Level 5 MATH)، كان إدراج Gated-SFT حاسماً لمنع الانهيار الأساسي في المسائل الأسهل (Level 1) وضمان الاستقرار العام.

5. الأهمية والادعاءات

تدعي الورقة معالجة التحدي الأساسي المتمثل في محاذاة نماذج اللغات الكبيرة مع المكافآت الناتجة عن النتائج المتفرقة، وذلك عبر تقديم إطار تدريب فعال يستمد إشارات المكافأة المستمرة من المشهد الاحتمالي الخاص بالنموذج نفسه.

الحياد تجاه الوسائط: تشير المكاسب المتسقة عبر المجالات النصية ومتعددة الوسائط إلى أن آليات الاحتمالية للخطوة هي وكيل عالمي للتقدم المنطقي، بغض النظر عن وسيط الإدخال.
القابلية للتوسع: من خلال استخراج الإشراف مباشرة من الانتقالات الاحتمالية الداخلية للنموذج بدلاً من الاعتماد على التوضيحات البشرية المكلفة، توفر الطريقة مساراً قابلاً للتوسع للجيل القادم من محاذاة الاستدلال.
المتانة: يعزز الإطار قدرات استدلال عميقة وقابلة للنقل تصمد أمام تغيرات التوزيع، متجاوزاً قيود طرق RL القياسية التي غالباً ما تنهار عند مواجهة مهام بمستوى الأولمبياد أو مهام خارج التوزيع.

يخلص المؤلفون إلى أنه من خلال الموازنة بين الفضول الجوهري (عبر MIG) وقيود الصحة الصارمة (عبر Gated-SFT)، فإن نهجهم يسد الفجوة بين التفكير مفتوح النهايات والإجابة الدقيقة.