🤖 AI

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

تقدم هذه الورقة "آرغوس" (Argos)، وهو مُحقِّق وكيل تكيُّفي يختار ديناميكيًا دوال تسجيل لتوفير مكافآت دقيقة ومتعددة الأبعاد للتعلم التعزيزي متعدد الوسائط، مما يمنع استغلال المكافآت (reward hacking) ويحقق أداءً رائدًا في المهام الوكيلية المعقدة حيث تقصر المكافآت القياسية القائمة على النتائج والضبط الدقيق الخاضع للإشراف.

المؤلفون الأصليون: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Poll

نُشر 2026-08-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا ليكون مساعدًا مفيدًا. أنت لا تريد منه فقط أن ينطق بالكلمات الصحيحة؛ بل تريد منه أن "يرى" حقًا ما يحدث في الغرفة، ويفهم المساحة، ويخطط لأفعاله بعناوة. هذا هو عالم التعلم التعزيزي متعدد الوسائط (Multimodal Reinforcement Learning). فكر في كلمة "متعدد الوسائط" على أنها امتلاك الروبوت لكل من العينين (الرؤية) والعقل (اللغة) يعملان معًا. أما "التعلم التعزيزي" فهو يشبه تدريب كلب؛ إذا قام بحركة صحيحة، يحصل على مكافأة (مكافأة)، وإذا أخطأ، لا يحصل على شيء. لفترة طويلة، حاول العلماء تعليم وكلاء الذكاء الاصطناعي هؤلاء ليكونوا أكثر ذكاءً، لكنهم اصطدموا بحائط مسدود. كانت الطريقة القديمة في التدريب تشبه تقييم مقال طالب عبر التحقق من الإجابة النهائية فقط. إذا خمن الطالب الإجابة الصحيحة ولكنه وصل إليها عبر اختلاق حقائق وهمية وغريبة، فسيظل يحصل على درجة "امتياز". وهذا أمر سيء للروبوتات، لأنه إذا "هلوس" الروبوت (تخيل أشياء ليست موجودة) أثناء التخطيط لالتقاط كوب، فقد يقلب مزهرية.

ولحل هذه المشكلة، أدرك الباحثون أنهم بحاجة إلى التحقق من خطوات "الاستنتاج"، وليس فقط النتيجة النهائية. كانوا بحاجة إلى طريقة لقول: "مهلًا، لقد قلت إن الكوب موجود على الطاولة، لكني لا أراه هناك في الصورة". تقدم هذه الورقة البحثية نظامًا ذكيًا جديدًا يسمى Argos لحل هذه المشكلة تحديدًا. إنه يشبه توظيف معلم فائق الصرامة ومتعدد المهارات، لا يكتفي فقط بتصحيح درجة الاختبار النهائي، بل يراجع أيضًا واجباتك المنزلية، ومنطقك، وما إذا كنت قد نظرت بالفعل إلى الصور التي كان من المفترض أن تنظر إليها.

المشكلة: "الكاذب الفصيح"

تخيل أنك تلعب لعبة "سيمون يقول" مع ذكاء اصطناعي. هذا الذكاء الاصطناعي بارع جدًا في الكلام؛ يمكنه كتابة جمل طويلة وواثقة حول رؤيته لكلب في صورة ما. ولكن في بعض الأحيان، يكون مجرد مخترع للأشياء ليبدو ذكيًا. في طرق التدريب القديمة، إذا خمن الذكاء الاصطناعي الإجابة الصحيحة في النهاية (مثل: "هناك 4 كلاب")، فإنه يحصل على مكافأة، حتى لو كان قد هلوس في خطوات استنتاجه. تجادل الورقة بأن هذا أمر خطير. إذا كان الذكاء الاصطناعي سيتحكم في ذراع روبوت أو يتنقل في منزل، فلا يمكنه تحمل أن يكون "كاذبًا فصيحًا". يجب أن يكون مرتبطًا بالواقع.

الحل: نظام Argos للتحقق التكيفي

بنى المؤلفون نظامًا يسمى Argos (التقييم الموضوعي والتكيفي للمكافأة - Adaptive Reward for Grounded & Objective Scoring). فكر في Argos كأنه سكين سويسري لتصحيح الإجابات.

في الماضي، استخدم المعلمون أداة واحدة بدائية لتصحيح كل إجابة. إذا كانت الإجابة رقمًا، تحققوا من الحساب. وإذا كانت نعم/لا، تحققوا من الكلمة. لكن Argos أكثر ذكاءً؛ فهو ينظر إلى السؤال المحدد وإجابة الذكاء الاصطناعي، ثم يختار الأداة المناسبة ديناميكيًا من صندوق الأدوات لتصحيحها.

إليك كيف يعمل Argos بلغة بسيطة:

يقرأ "عملية التفكير" الخاصة بالذكاء الاصطناعي. الذكاء الاصطناعي لا يخرج الإجابة فحسب، بل يكتب استنتاجه، وغالبًا ما يشير إلى نقاط محددة في صورة (مثل "انظر إلى الكرة الحمراء عند الإحداثيات x=50, y=100").
يختار المصحح المناسب.
- إذا أشار الذكاء الاصطناعي إلى نقطة في صورة، فإن Argos يلتقط أداة ربط بصري (مثل العدسة المكبرة) للتحقق مما إذا كانت تلك النقطة تحتوي بالفعل على الشيء الذي وصفه الذكاء الاصطناعي.
- إذا كان الذكاء الاصطناعي يتحدث عن فيديو ويقول "الشخص يقفز عند الثانية 5"، فإن Argos يشاهد ذلك المقطع المحدد ليرى ما إذا كانت القفزة قد حدثت بالفعل.
- إذا كان الذكاء الاصطناعي يقوم بعملية حسابية، فإنه يستخدم مصححًا رياضيًا.
- إذا كان الذكاء الاصطناعي يكتب قصة فحسب، فإنه يستخدم مصححًا منطقيًا.
يعطي مكافأة "كثيفة". بدلًا من مجرد قول "عمل جيد" أو "عمل سيئ" في النهاية، يعطي Argos ملاحظات على كل خطوة. إذا حدد الذكاء الاصطناعي الكرة بشكل صحيح ولكنه أخطأ في لونها، فإنه يحصل على جزء من الدرجة لأنه رأى الكرة. هذا يساعد الذكاء الاصطناعي على تعلم كيفية الرؤية، وليس فقط كيفية التخمين.

ما وجدوه

اختبر الباحثون نظام Argos الجديد هذا في مجموعة متنوعة من المهام، من اختبارات الصور البسيطة إلى حركات الروبوت المعقدة.

التغلب على الهلوسة: النتيجة الأكثر إثارة هي أن Argos يقلل من "الهلوسة" بشكل كبير. عندما يُجبر الذكاء الاصطناعي على إثبات أنه رأى ما يتحدث عنه، فإنه يتوقف عن اختلاق الأشياء. في الاختبارات التي كان على الذكاء الاصطناعي فيها رصد أشياء وهمية أو خدع بصرية مخادعة، كانت النماذج المدربة بواسطة Argos أفضل بكثير في قول "أنا لا أرى ذلك" بدلًا من التخمين.
الأفضل في التخطيط: عندما طُلب منها التخطيط لتسلسل من الأفعال (مثل "ضع الوعاء على الطاولة")، كانت نماذج Argos أكثر نجاحًا بكثير. لم تكتفِ بالتخمين، بل قامت بالفعل بالاستنتاج بناءً على التوزيع المكاني للغرفة.
نجاح الروبوتات: حتى أنهم اختبروا هذا على روبوتات محاكية. كانت الروبوتات المدربة باستخدام Argos أفضل في التعامل مع الأشياء، مثل التقاط عنصر معين أو تحريك الأشياء، مقارنة بالروبوتات المدربة بالطرق القديمة.

ما استبعدوه

تشير الورقة البحثية إلى نقطة مهمة للغاية حول كيفية تدريب وكلاء الذكاء الاصطناعي هؤلاء. فهي تجادل صراحةً بأن مجرد عرض أمثلة جيدة على الذكاء الاصطناعي (الضبط الدقيق تحت الإشراف - Supervised Fine-Tuning) ليس كافيًا. يمكنك عرض مليون مثال مثالي لكيفية الاستنتاج على الذكاء الاصطناعي، ولكن إذا لم تقم بالتحقق من عمله بنشاط خلال مرحلة التدريب (التعلم التعزيزي)، فإن الذكاء الاصطناعي سيتبنى في النهاية استراتيجيات تتجاوز التعلم المنشود. سيتعلم كتابة كلام يبدو فصيحًا ولكنه فارغ، ويصل إلى الإجابة الصحيحة بمحض الصدفة، بدلاً من الفهم الحقيقي للعالم. وتقترح الورقة أنه بدون نظام التحقق النشط والتكيفي هذا، سينهار الذكاء الاصطناعي ويعود لصناعة الحقائق الوهمية.

ما مدى ثقتهم؟

المؤلفون واثقون تمامًا من نتائجهم لأنهم اختبروا النظام في العديد من المعايير المختلفة والواقعية (مثل BLINK للاستدلال المكاني و LIBERO للروبوتات). لم يكتفوا بمحاكاة لعبة بسيطة، بل أظهروا أن نموذجهم يتفوق على النماذج الأخرى المتطورة في هذه المهام الصعبة. ومع ذلك، فقد أشاروا أيضًا إلى أن هذا نهج جديد، وبينما يعمل بشكل جيد جدًا في تجاربهم، فإن مجال الذكاء الاصطناعي دائم التطور. وهم يقترحون أنه كلما تحسنت النماذج "المعلمة" (الأدوات التي يستخدمها Argos للتحقق من الإجابات)، سيصبح Argos أفضل أيضًا.

باختصار، Argos هو حكم ذكي وتكيفي يضمن ألا يكتفي وكلاء الذكاء الاصطناعي بالحديث فحسب، بل يطبقون ما يقولونه فعليًا من خلال إبقاء أقدامهم (وأعينهم) ثابتة على أرض الواقع. إنه يحول عملية التدريب من مجرد لعبة "خمن الإجابة" إلى امتحان صارم "أظهر عملك"، مما ينتج ذكاءً اصطناعيًا أكثر موثوقية، وأقل عرضة للكذب، وأفضل في التفاعل مع العالم الحقيقي.

ملخص تقني: التعلم المعزز متعدد الوسائط مع مُحقِّق تكيفي للوكلاء الذكيّين

بيان المشكلة

أظهرت نماذج الاستدلال الوكيلية (Agentic reasoning models) المدربة باستخدام التعلم المعزز متعدد الوسائط (MMRL) قدرات متزايدة، لكنها تُحسَّن في الغالب باستخدام مكافآت نادرة تعتمد على النتائج المستمدة فقط من الإجابات النهائية. يوفر هذا النهج توجيهاً محدوداً حول جودة عملية الاستدلال الوسيطة، وغالباً ما يؤدي إلى حدوث هلاوس بصرية، حيث تولد النماذج استجابات سلسة ولكن غير مستندة إلى الواقع وتفتقر إلى الاتساق مع الأدلة البصرية.

بينما حاولت الأساليب الحالية معالجة ذلك من خلال تنسيق بيانات الضبط الدقيق الخاضع للإشراف (SFT) المستندة إلى التأسيس (Grounded)، تشير الملاحظات التجريبية إلى أن الـ SFT وحده غير كافٍ. فخلال عملية الـ MMRL، تميل النماذج إلى الانهيار نحو حلول غير مستندة إلى الواقع عندما لا يتم التحقق من إشارات التأسيس صراحةً، لا سيما في ظل أنظمة المكافآت النادرة. علاوة على ذلك، يعد حساب مكافآت أكثر ثراءً ودقة في الـ MMRL أمراً صعباً لأن العينات المختلفة قد تتطلب دوال تسجيل (Scoring functions) متميزة، كما أن النماذج المعلمة (Teacher models) غالباً ما تقدم إشارات مكافأة مشوبة بالضجيج.

المنهجية: إطار عمل Argos

قدم المؤلفون Argos (المكافأة التكيفية للتقييم المرتكز على الهدف والموضوعي)، وهو إطار تحقق مبدئي مصمم لتدريب نماذج الاستدلال متعددة الوسائط للمهام الوكيلية. يعيد Argos صياغة الـ MMRL كمسألة تحسين متعددة الأهداف، حيث يختار ديناميكياً من بين مجموعة من النماذج المعلمة ودوال التسجيل القائمة على القواعد لتقييم كل عينة تدريبية.

1. بنية المُحقِّق التكيفي (Adaptive Verifier Architecture)

يعمل Argos كوكيل نموذج لغوي كبير متعدد الوسائط (LMM agent) يقوم بتحليل استجابة النموذج (المدخل البصري $v$ ، السؤال $q$ ، مسار الاستدلال $r$ ، والإجابة المتوقعة $\hat{y}$ ) ويقوم بتكوين عملية مكافأة متعددة الأهداف بشكل تكيفي. وهو يقيم ثلاثة أبعاد رئيسية:

دقة الاستجابة النهائية: تُحسب عبر مطابقة السلاسل النصية بدقة، أو الدقة العددية النسبية (مع سماحية 5%)، أو التكافؤ الدلالي عبر نموذج لغوي.
التأسيس الزمكاني (Spatiotemporal Grounding):
- المكاني: بالنسبة للصور، يستخرج النظام النقاط ثنائية الأبعاد المذكورة في مسار الاستدلال. ويستخدم نموذج كشف أشياء مفتوح المفردات (مثل DINO) لتوليد صناديق إحاطة (Bounding boxes) كحقائق أرضية افتراضية، ونموذج تجزئة (مثل SAM-2) لتنقيح الأقنعة (Masks). تكون الدرجة ثنائية، حيث تتحقق مما إذا كانت النقطة المتوقعة تقع داخل الكائن المجزأ. بالنسبة للمحتوى الاصطناعي (مخططات، خرائط)، يُستخدم نموذج تأشير (Pointing model).
- الزماني: بالنسبة للفيديو، يستخرج النظام الملاحظات على مستوى الإطار والأحداث على مستوى القطاع. تُحسب درجات مستوى الإطار بشكل مشابه للتأسيس المكاني. أما الأحداث على مستوى القطاع، فيتم تقييمها بواسطة نموذج معلم استدلالي قوي للتحقق من الدقة البصرية-الدلالية مقابل قطاع الفيديو المقابل.
جودة الاستدلال: يقوم نموذج معلم أكبر بحساب الاحتمال الشرطي للإجابة المتوقعة بناءً على السؤال، ومسار الاستدلال، والمدخل البصري، مما يقيس الاتساق المنطقي بين الاستدلال والإجابة النهائية.

2. التجميع المبوّب (Gated Aggregation)

لمنع المكافآت الوسيطة المشوبة بالضجيج من توجيه النموذج بعيداً عن النتيجة الصحيحة، يستخدم Argos دالة تجميع مبوّبة. إذا انخفضت دقة النتيجة ( $R_{acc}$ ) عن عتبة معينة $\tau$ ، فإن المكافأة النهائية هي ببساًطة $R_{acc}$ . وإذا كانت $R_{acc} \ge \tau$ ، فإن المكافأة النهائية هي متوسط مرجح لمكافآت النتيجة، والتأسيس، وجودة الاستدلال:
$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$

3. خط أنابيب تنسيق البيانات (Data Curation Pipeline)

يقترح المؤلفون خط أنابيب لتوليد مسارات استدلال مستندة بصرياً لعملية الـ SFT الأولية (Cold-start):

توليد المقترحات: باستخدام نموذج معلم (GLM-4.1V) وكشف الأشياء (Molmo-7B)، يستخرج النظام نقاطاً ثنائية الأبعاد وقطاعات زمنية من المدخلات البصرية.
توليد المسار: يتم توجيه النموذج المعلم باستخدام صور مغطاة (تظهر الإحداثيات) وطوابع زمنية لتوليد مسارات استدلال تشير صراحةً إلى هذه النقاط والقطاعات الزمنية.
التحقق والتصفية: يقوم Argos بتسجيل درجات المخرجات المولدة. يتم استبعاد العينات ذات التوليدات منخفضة الجودة (على سبيل المثال، إجابات صحيحة ولكن بتأسيس ضعيف)، مما يضمن أن تتكون مجموعة بيانات الـ SFT من أمثلة عالية الجودة ومستندة إلى الواقع.

4. التدريب

يخضع النموذج (المبني على Qwen2.5-VL 7B) لعملية SFT على مجموعة البيانات المنسقة، تليها عملية MMRL باستخدام خوارزمية GRPO. تُحسب الميزة (Advantage) بناءً على المكافآت المجمعة من Argos.

المساهمات الرئيسية

إطار عمل Argos: أول إطار تحقق مبدئي مع اختيار أدوات تكيفي للـ MMRL، قادر على توجيه وظائف التسجيل المختلفة ديناميكياً (نماذج معلمة وقواعد) لكل عينة لتقييم الدقة، والتأسيس، وجودة الاستدلال في آن واحد.
تنسيق البيانات المستندة إلى التأسيس: خط أنابيب مبتكر لتوليد مسارات استدلال مستندة بصرياً في المكان (نقاط 2D) والزمان (قطاعات زمنية)، مقترناً بآلية تصفية لإزالة المخرات منخفضة الجودة.
التفوق التجريبي: إثبات أن الاعتماد فقط على SFT مع التوثيقات المستندة إلى التأسيس غير كافٍ؛ إذ يعد التحقق التكيفي عبر الإنترنت (Online verification) أثناء مرحلة الـ RL أمراً حاسماً لمنع التلاعب بالمكافأة (Reward hacking) والانهيار نحو الحلول غير المستندة إلى الواقع.
الأداء الرائد (SOTA): يحقق النهج نتائج رائدة عبر مختلف الاختبارات المعيارية الوكيلية، بما في ذلك الاستدلال المكاني، وتقليل الهلاوس البصرية، وتخطيط المهام المتجسدة، والتحكم الروبوتي.

النتائج التجريبية

تم تقييم النموذج في عدة اختبارات معيارية في إعدادات الصفر (Zero-shot):

الاستدلال المكاني: في اختبار BLINK، حقق Argos دقة 56.0%، متفوقاً على النموذج المرجعي Qwen2.5-VL (54.4%) وVideo-R1 الأكبر (49.0%). وفي MindCube-t وCV-Bench، أظهر أيضاً مكاسب كبيرة، لا سيما في الفهم ثلاثي الأبعاد.
الهلاوس البصرية: قلل Argos الهلاوس بشكل كبير، محققاً 85.3% في CounterCurate (مقابل 61.4% للمرجع) و49.7% في HallusionBench. والجدير بالذكر أنه تفوق على Video-R1، الذي كان أداؤه أسوأ من النموذج الأساسي في HallusionBench.
الذكاء الاصطناعي المتجسد (Embodied AI): في اختبار EB-Alfred، حسن Argos معدلات نجاح المهام بأكثر من 25% في المهام "المعقدة" مقارنة بالنموذج الأساسي. وفي EB-Habitat، تفوق على النماذج المرجعية التي استخدمت التوجيه بسلسلة الأفكار (CoT) بنحو 7% في المهام البصرية المعقدة.
الروبوتات: في اختبار LIBERO للتحكم المستمر، حقق Argos متوسط نجاح 84.2%، متفوقاً على النماذج المرجعية بما في ذلك Video-R1 (83.5%) رغم استخدامه لعينات تدريب أقل بكثير (85 ألف مقابل 270 ألف).

الأهمية والادعاءات

يزعم البحث أن Argos يوفر حلاً قوياً لمشكلتي "التلاعب بالمكافأة" و"الاستدلال غير المستند إلى الواقع" المنتشرتين في الـ MMRL الحالي. من خلال التعامل مع الـ MMRL كمسألة تحسين متعددة الأهداف واستخدام مُحقِّق تكيفي لتجميع الإشارات المشوبة بالضجيج، يوجه إطار العمل السياسة (Policy) نحو حلول $\delta$ -Pareto-optimal، مما يوازن بين الدقة النهائية وجودة الاستدلال الوسيط والتأسيس البصري.

يؤكد المؤلفون أن عملهم يبرز رؤية جوهرية: تنسيق بيانات SFT المستندة إلى التأسيس أمر ضروري ولكنه غير كافٍ. فبدون آلية تحقق عبر الإنترنت مثل Argos خلال مرحلة الـ RL، ستعود الوكلاء حتماً إلى حلول غير مستندة إلى الواقع. وقد أثبت التكوين التكيفي لدوال التسجيل فعاليته في تقليل الهلاوس وتحسين التعميم في المهام الوكيلية المعقدة طويلة الأمد، بما في ذلك الروبوتات والملاحة المتجسدة. كما تشير الطبيعة النمطية لـ Argos إلى إمكانية التوسع مع تحسن النماذج المعلمة الخاصة بالمهام لتعزيز الوكلاء متعددي الوسائط بشكل أكبر.