ملخص تقني: مكافآت العمليات القابلة للتحقق للاستدلال الوكيل (Agentic Reasoning)

بيان المشكلة

نجح التعلم المعزز من المكافآت القابلة للتحقق (RLVR) في تعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) عبر استبدال التفضيلات البشرية الذاتية بإشارات صحة موضوعية (مثل الإجابات الرياضية الدقيقة أو نتائج اختبارات الوحدة). ومع ذلك، تعتمد نهج RLVR الحالية بشكل أساساً على التغذية الراجعة المتفرقة على مستوى النتيجة، حيث لا يتم تقديم مكافأة إلا عند اكتمال المسار بأكمله.

تخلق هذه الندرة مشكلة تخصيص الائتمان (Credit Assignment Problem) في الاستدلال الوكيل طويل الأمد. ففي المهام متعددة الخطوات التي تتضمن استخدام الأدوات، أو التخطيط، أو تحديث المعتقدات، قد يفشل مسار ما رغم احتوائه على العديد من القرارات الوسيطة الصحيحة، أو قد ينجح رغم احتوائه على قرارات معيبة. إن التغذية الراجعة النهائية المتفرقة لا يمكنها تحديد أي القرارات الوسيطة يجب تعزيزها أو معاقبتها بشكل موثوق. وبينما تحاول نماذج مكافأة العمليات (PRMs) معالجة ذلك عبر توفير تغذية راجعة على مستوى الخطوة، إلا أنها غالباً ما تعتمد على نماذج مكافأة متعلمة، أو تقييمات "النموذج اللغوي كحكم" (LLM-as-a-judge)، أو عمليات محاكاة مونت كارلو (Monte Carlo rollouts). وتؤدي هذه الطرق إلى إدخال الضجيج، أو التحيز، أو التعرض للاختراق عبر المكافأة (reward hacking)، أو التباين الحسابي العالي.

يحدد البحث فجوة: هناك حاجة إلى إشراف كثيف على مستوى الدور (turn-level supervision) يظل موضوعياً ومستنداً إلى الواقع في هيكل المهمة، بدلاً من الاعتماد على التقريبات المتعلمة أو أخذ العينات المكلفة.

المنهجية: مكافآت العمليات القابلة للتحقق (VPR)

يقترح المؤلفون مكافآت العمليات القابلة للتحقق (VPR)، وهو إطار عمل يحول الأوراكل (oracles) الرمزية أو الخوارزمية إلى إشارات مكافأة كثيفة على مستوى الدور للتعلم المعزز. يعمل VPR تحت افتراض وجود مشكلات استدلال وكيل قابلة للتحقق بكثافة، حيث يمكن التحقق من الإجراءات الوسيطة موضوعياً بواسطة مُتحقق خاص بالمهمة $V: S \times A \to \{0, 1\}$.

الآلية الجوهرية

بدلاً من انتظار إشارة على مستوى المسار أو تقدير القيم عبر عمليات المحاكاة (rollouts)، يقوم VPR بفحص كل إجراء وسيط مقابل المُتحقق. إذا كان الإجراء صالحاً، أو مفيداً، أو مثالياً بموجب منطق المُتحقق، فإنه يتلقى مكافأة كثيفة وخالية من الضجيج ($r_t^{VPR} = V(s_t, a_t)$).

يتم تطبيق الإطار في ثلاث حالات تمثيلية:

1. التحقق القائم على البحث (الاستنتاج الديناميكي): مُنفذ في لعبة Tic-Tac-Toe. يستخدم المُتحقق بحث شجرة مونت كارلو (MCTS) لتقييم المثالية الاستراتيجية. يتم مكافأة الإجراء إذا طابق الحركة المثالية لـ MCTS ($Q_{MCTS}$)، مما يشجع الوكيل على تجنب الحركات الجذابة محلياً ولكنها خاسرة استراتيجياً.
2. التحقق القائم على القيود (الاستدلال المنطقي): مُنفذ في لعبة Sudoku. يتحقق المُتحقق مما إذا كان الرقم المملوء متسقاً مع شبكة الحل العالمية الفريدة ($G^*$). يتم مكافأة الإجراء إذا طابق الرقم الصحيح لخلية معينة ($G^*[i, j] = d$)، مما يوفر إشرافاً كثيفاً للامتثال للقيود.
3. التحقق القائم على الاحتمال اللاحق (الاستدلال الاحتمالي): مُنفذ في لعبة Minesweeper. يحسب المُتحقق الاحتمال اللاحق لوجود ألغام بناءً على الملاحظات المكشوفة. يتم مكافأة الإجراء إذا كشف عن خلية ذات أدنى احتمال لوجود ألغام (تقليل المخاطر) أو إذا وضع علامة على خلية ذات احتمال 1. هذا يشجع الوكيل على تحديث حالة معتقده والعمل وفقاً لعدم اليقين.

التحسين

يتم تحسين السياسة باستخدام نسخة على مستوى الدور من تحسين السياسة النسبي الجماعي (GRPO). لكل دور $t$، يتم تطبيع المكافآت عبر مجموعة من المسارات لحساب ميزة (advantage) على مستوى الدور ($A_{i,t}$). وخلافاً للتعلم المعزز على مستوى النتيجة، يسمح هذا بتعزيز الخطوات الوسيطة الصحيحة حتى لو فشل المسار في النهاية، ومعاقبة الخطوات غير الصالحة حتى لو نجح المسار بالصدفة.

التحليل النظري

يقدم البحث ثلاثة رؤى نظرية رئيسية:

1. تحديث شبيه بالتقليد: يعمل VPR كتحديث تقليد داخلي (on-policy filtered imitation update)، حيث تساهم كل خطوة بإشارة ائتمان خاصة بها مستندة إلى الأوراكل.
2. تدرج التحيز: يتناسب تحيز التدرج الناتج عن مُتحقق تقريبي خطياً مع معدل عدم الاتفاق للمُتحقق ($\bar{\epsilon}$). وهذا يتناقض مع المكافآت المتعلمة أو القائمة على المحاكاة حيث يمكن للضجيج أن ينتشر بشكل غير متوقع.
3. تراكم الإشارة: في المهام طويلة الأمد، تتراكم إشارة VPR خطياً مع الأفق ($T$)، بينما تضعف إشارة المكافأة على مستوى النتيجة (OR) أسياً ($p^T$) لأن النجاح يتطلب أن تكون كل خطوة صحيحة. وهذا يفسر لماذا يقدم VPR تخصيصاً أفضل للائتمان للمسارات الطويلة.

المساهمات الرئيسية

1. الإطار: تقديم VPR، وهو طريقة لاستخلاص مكافآت العمليات من المُتحققات الرمزية أو الخوارزمية في مشكلات الاستدلال الوكيل القابلة للتحقق بكثافة.
2. النماذج التطبيقية: إثبات VPR في ثلاث مجالات استدلال متميزة: البحث (Tic-Tac-Toe)، والقيود (Sudoku)، والاحتمالات (Minesweeper).
3. النظرية: تحليل نظري يوضح كيف يحسن التغذية الراجعة الكثيفة القابلة للتحقق من تخصيص الائتمان طويل الأمد من خلال توطين تحديثات تدرج السياسة وتوفير توسع أفقي ملائم مقارنة بالمكافآت على مستوى النتيجة.
4. التحقق التجريبي: تقييم شامل يظهر تفوق VPR على كل من التعلم المعزز على مستوى النتيجة (OR) ونماذج مكافأة العمليات القائمة على المحاكاة (MC-PR) في بيئات محكومة، مع انتقال ناجح إلى مهام الاستدلال العام والوكيل.

النتائج التجريبية

قيم المؤلفون VPR باستخدام نموذج Qwen3-4B عبر ثلاث بيئات تدريب واختبروا الانتقال إلى مهام الاستدلال العام والوكيل.

الأداء داخل النطاق (In-Domain)

• Tic-Tac-Toe: اقترب VPR من العائد الأمثل (0) وكان الطريقة الوحيدة التي أدت أداءً قوياً كلاعب أول وثانٍ. تراجعت النماذج المرجعية (OR) و (MC-PR)، خاصة بالنسبة للاعب الثاني حيث يكون تخصيص الائتمان الكثيف أمراً حاسماً.
• Sudoku: بينما كان لدى النموذج الأساسي معدل إكمال متوسط، إلا أنه لم يحل أي ألغاز تقريباً. حسن VPR بشكل كبير كلاً من معدل النجاح (SR) ومعدل الإكمال (CR). ومن الجدير بالذكر أن MC-PR كان أداؤه أقل من OR، مما يشير إلى أن تقديرات مستوى الخطوة المليئة بالضجيج يمكن أن تكون ضارة في مهام الامتثال الصارم للقيود.
• Minesweeper: أظهر VPR أكبر المكاسب في معدل الإكمال، مما يشير إلى أن الوكلاء قاموا باستنتاجات محلية أكثر صحة وصمدوا لفترة أطول في حالات عدم اليقين مقارنة بالنماذج المرجعية.

التعميم خارج النطاق (Out-of-Domain)

أظهرت النماذج المدربة بـ VPR قدرات انتقال فائقة:

• الاستدلال العام: حققت النماذج المدربة بـ VPR أعلى متوسط درجات عبر 7 معايير (GSM8K, MATH-500, AIME24/25, GPQA-D, BBH, MMLU-P). كانت التحسينات أكثر وضوحاً في المعايير الأصعب (AIME, GPQA)، مما يشير إلى أن VPR يعزز الاستدلال متعدد الخطوات بدلاً من رفع المستوى بشكل موحد لجميع المهام.
• المهام الوكيلية: تفوقت نماذج VPR على النماذج المرجعية في ALFWorld (التخطيط النصي المجسد) و WebShop (التفاعل مع الويب الموجه نحو الهدف)، وهي مجالات متباعدة هيكلياً عن ألعاب التدريب الاصطناعية. وهذا يشير إلى أن VPR يعزز مهارات الاستدلال العام القابلة للتطبيق بعيداً عن بيئة التدريب.

تحليل جودة الأوراكل (Oracle Quality Ablation)

نتيجة حاسمة تتعلق بـ جودة الأوراكل:

• المُتحققات عالية الجودة (N=10,000 محاكاة MCTS): حققت أفضل أداء في كل من الإعدادات داخل النطاق وخارج النطاق.
• المُتحققات الضعيفة (N=100): أدت فعلياً إلى إلحاق الضرر بالتدريب. النماذج المدربة بمُتحققات ضعيفة كان أداؤها أسوأ من النموذج الأساسي في بيئة التدريب وفي معايير الاستدلال العام.
• الاستنتاج: الإشراف الكثيف يكون مفيداً فقط إذا كان المُتحقق موثوقاً. الإشراف على العملية المليء بالضجيج من أوراكل غير متوافق يمكن أن يؤدي إلى تدهور قدرات الاستدلة العام أكثر من الإشراف المتفرق على النتيجة.

الأهمية والادعاءات

يدعي البحث أن الاستدلال الوكيل القابل للتحقق بكثافة يوفر مساراً مفيداً لدراسة كيفية تحسين قدرات الاستدلال العام للوكلاء اللغويين عبر التغذية الراجعة للعملية الموضوعية والكثيفة.

• الوصفة العملية: يقترح المؤلفون نهجاً عملياً: تحديد البيئات التي يمكن فيها التحقق من الصحة الوسيطة بشكل موضوعي، والإشراف على عملية الاستدلال بدلاً من مجرد الإجابة النهائية، ونقل هذه المهارات إلى إعدادات وكيلية أوسع.
• القيود والتحديات: يقر البحث بتواضع بأن VPR يعتمد على توافر وجودة المُتحققات الوسيطة. ويظل توسيع VPR ليشمل بيئات أكثر انفتاحاً وأقل هيكلية حيث لا تتوفر أوراكل رمزية أو خوارزمية بسهولة تحدياً قائماً.
• الأثر: يسلط العمل الضوء على أنه بينما يمكن للإشراف القابل للتحقق على العملية تعزيز مهارات الاستدلال العام، فإن جودة "الأوراكل" هي أمر بالغ الأهمية؛ فبدون تحقق موثوق، يمكن أن تكون التغذية الراجعة الكثيفة ذات نتائج عكسية.