💻 computer science

Grounded Reinforcement Learning for Visual Reasoning

تقدم الورقة البحثية نموذج ViGoRL، وهو نموذج رؤية ولغة تم تدريبه باستخدام إطار عمل جديد للتعلم التعزيزي متعدد الجولات يربط خطوات الاستدلال بإحداثيات بصرية محددة ويسمح بالتكبير الديناميكي، مما يجعله يتفوق بشكل كبير على الأساليب الحالية في مختلف اختبارات الاستدلال البصري والتثبيت.

المؤلفون الأصليون: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، مثل البحث عن برغي صغير جداً في مرآب فوضوي أو معرفة ما إذا كانت طاولة ستتسع تحت سرير.

تعمل معظم نماذج الذكاء الاصطناعي الحالية التي تحاول حل هذه الألغاز البصرية مثل شخص يغمض عينيه، ويقدم تخميناً عشوائياً بناءً على ما "يعتقد" أن الغرفة تبدو عليه، ثم يصرخ بالإجابة. قد يقول: "أعتقد أن الطاولة ستتسع!"، لكنه لم ينظر فعلياً إلى الطاولة أو السرير. إنهم "يهلوسون" بإجابة بناءً على المعرفة العامة بدلاً من الأدلة المحددة الموجودة أمامهم.

تقدم الورقة البحثية التي شاركتها طريقة جديدة تسمى ViGoRL (التعلم المعزز القائم على التأسيس البصري). فكر في هذا كتعليم الذكاء الاصطناعي طريقة جديدة لـ "التفكير" تحاكي كيف يحل البشر المشكلات البصرية فعلياً.

إليك كيف يعمل ذلك، مقسماً إلى خطوات بسيطة:

1. المشكلة: "التخمين الأعمى"

وجد المؤلفون أنه عندما يتركون نماذج الذكاء الاصطناعي تتعلم فقط من خلال تجربة الوصول إلى الإجابة الصحيحة (وهي عملية تسمى التعلم المعزز)، فإن النماذج تصبح "كسولة". فبدلاً من النظر بتمعن في الصورة، بدأت في اختلاق أسباب مجردة.

التشبيه: الأمر يشبه طالباً في اختبار رياضيات لا يقوم بالعمليات الحسابية فعلياً، بل يكتب فقط "42" لأنه يعلم أنها إجابة شائعة في أفلام الخيال العلمي. قد يصيب بالصدفة أحياناً، لكنه لا يفهم المشكلة حقاً.

2. الحل: "الإصبع المشير"

أدرك الباحثون أنه لكي يصبح الذكاء الاصطناعي أكثر ذكاءً، يجب إجباره على الإشارة إلى الصورة أثناء تفكيره.

القاعدة الجديدة: في كل مرة يكون لدى الذكاء الاصطناعي فكرة (مثلاً: "الطاولة تبدو صغيرة")، يجب عليه أيضاً تقديم إحداثيات محددة على الصورة (مثلاً: "أنا أنظر إلى الطاولة عند البكسل 300، 400").
التشبيه: تخيل أن الذكاء الاصطناعي هو محقق. بدلاً من مجرد قول: "أعتقد أن المشتبه به في المطبخ"، يجب على المحقق أن يقول: "أنا أنظر إلى نافذة المطبخ عند الإحداثيات (X, Y)، وأرى ظلاً هناك". إذا لم يستطع الإشارة إلى الدليل، فلا يُسمح له بتقديم الادعاء.

3. التدريب: "المعلم الذكي" (MCTS)

لا يمكنك فقط إخبار ذكاء اصطناعي مرتبك بأن "يشير إلى الأشياء" وتتوقع منه أن يعرف كيف يفعل ذلك. إنه بحاجة إلى تعلم كيف ينظر.

الطريقة: استخدم الباحثون "معلماً فائق الذكاء" (نموذج ذكاء اصطناعي ضخم) للعب لعبة "البحث في شجرة مونت كارلو" (Monte Carlo Tree Search). تخيل أن المعلم يستكشف متاهة. إنه يجرب مسارات مختلفة: "ماذا لو نظرت إلى أعلى اليسار؟ ماذا لو نظرت إلى أسفل اليمين؟". إنه يحتفظ بالمسارات التي تؤدي إلى الإجابة الصحيحة ويتخلص من المسارات التي لا تؤدي إليها.
النتيجة: هذا يخلق مكتبة من أمثلة الاستدلال "المثالية" حيث يستكشف الذكاء الاصطناعي الصورة ببطء، ويفحص أماكن مختلفة، ويصحح نفسه إذا ارتكب خطأً. ثم يدرس نموذج الذكاء الاصطناعي الأصغر هذه الأمثلة المثالية ليتعلم عادة "النظر قبل التحدث".

4. ميزة "التقريب": "المجهر"

أحياناً، تكون الصورة كبيرة جداً، والتفاصيل صغيرة جداً بحيث يصعب رؤيتها (مثل نص صغير جداً على موقع إلكتروني أو أيقونة صغيرة على الشاشة).

الابتكار: يسمح النظام الجديد للذكاء الاصطناعي بأن يقول: "أعتقد أن الإجابة موجودة في هذا الركن"، ومن ثم يطلب التقريب (Zoom) على ذلك المكان تحديداً.
التشبيه: الأمر يشبه استخدام عدسة مكبرة. إذا كنت تبحث عن إبرة في كومة قش، فأنت لا تكتفي بالتحديق في كومة القش بأكملها؛ بل تقرب النظر إلى الجزء الذي تعتقد أن الإبرة موجودة فيه. يمكن للذكاء الاصطناعي الآن القيام بذلك رقمياً، عبر طلب نسخة عالية الدقة من جزء معين من الصورة للحصول على نظرة أفضل قبل اتخاذ قراره النهائي.

5. النتائج: "رؤية" أفضل

عندما اختبروا هذه الطريقة الجديدة (ViGoRL) مقابل الطرق القديمة:

دقة أفضل: أصبح الذكاء الاصطناعي أفضل بكثير في الاستدلال المكاني (مثل معرفة ما إذا كانت الأشياء تتناسب مع بعضها البعض) وفي العثور على الأشياء الصغيرة على الشاشات.
سلوك يشبه البشر: بدأ الذكاء الاصطناعي يقوم بأشياء يفعلها البشر بشكل طبيعي: استكشاف أجزاء مختلفة من الصورة، وضع أهداف صغيرة ("أولاً سأتحقق من الباب، ثم النافذة")، وحتى التراجع عندما أدرك أنه كان ينظر إلى الشيء الخطأ.
الموثوقية: عندما نظر البشر إلى استدلال الذكاء الاصطناعي، وجدوا أنه من الأسهل بكثير فهم لماذا اتخذ الذكاء الاصطناعي قراراً معيناً، لأنه كان يشير حرفياً إلى الدليل.

ملخص

باختصار، تعلم هذه الورقة البحثية الذكاء الاصطناعي كيف يتوقف عن التخمين ويبدأ في النظر. من خلال إجبار الذكاء الاصطناعي على ربط كل فكرة بمكان محدد في الصورة (والسماح له بالتقريب عند الحاجة)، يصبح النموذج أكثر دقة، وموثوقية، وقدرة على حل الألغاز البصرية المعقدة، تماماً كما يفعل البشر.

ملخص تقني: التعلم المعزز المرتكز بصرياً للاستدلال البصري (ViGoRL)

بيان المشكلة

تتفاوت مهام الاستدلال البصري بشكل كبير في بنيتها، حيث تتطلب غالباً من النماذج توجيه الانتباه البصري، وتفسير المدخلات الإدراكية، وربط الاستدلال المجرد بالأدلة المكانية. وبينما أدى التعلم المعزز (RL) عبر سلاسل الأفكرا (chains of thought) إلى تطوير النماذج اللغوية في المجالات القائمة على النصوص (الرياضيات، البرمجة)، فإن تطبيقه على نماذج الرؤية واللغة (VLMs) يواجه تحديات فريدة. يشير المؤلفون إلى أن النماذج القياسية للرؤية واللغة تعمل غالباً بطريقة "من طرف إلى طرف" (end-to-end)، حيث تتنبأ بالإجابات في تمريرة أمامية واحدة دون تكييف استراتيجيات الحوسبة مع مشهد المدخلات.

وعلى نحو حاسم، يجادل البحث بأن التطبيقات الساذجة للتعلم المعزز على نماذج الرؤية واللغة تفشل في استحثاث سلوكيات معرفية مفيدة. فبدلاً من التعلم للبحث المنهجي في المناطق، أو وضع أهداف فرعية، أو التحقق من الفرضيات، يميل التعلم المعزز القياسي على النماذج الأساسية إلى الانهيار نحو "الطرق المختصرة". هذه الطرق المختصرة تعظم مكافآت المهام الفورية عبر إنتاج استدلال مجرد غير مرتكز، يعامل الرؤية كإطار سياقي ثابت بدلاً من كونه مدخلاً يتم الرجوع إليه بنشاط. نتيجة لذلك، تفشل النماذج في تطوير آليات الانتباه المكاني الضرورية للاستدلال البصري المعقد، مثل تحديد موقع أشياء صغيرة في بيئات مزدحمة أو التنقل في واجهات الويب.

المنهجية: ViGoRL

يقترح المؤلفون إطار عمل ViGoRL (التعلم المعزز المرتكز بصرياً)، وهو مصمم لربط كل خطوة استدلال صراحةً بإحداثيات بصرية محددة. الفرضية الجوهرية هي أن النماذج "ترى بشكل أفضل" و"تفكر بشكل أفضل" عندما يقترن الاستدلال النصي بالارتكاز المكاني، مما يحاكي اتخاذ القرار البصري البشري حيث ينتقل النظر انتقائياً لجمع المعلومات ذات الصلة بالمهمة.

يتكون النهج من خط إنتاج ذي مرحلتين يتبعه امتداد متعدد الدورات:

1. البداية الدافئة عبر بحث مونت كارلو في أشجار القرار (MCTS)

للتغلب على القصور المتمثل في افتقار نماذج الرؤية واللغة الأساسية لسلوكيات الاستدلال البصري المتأصلة (مثل التراجع أو استكشاف المناطق)، يستخدم المؤلفون MCTS لتوليد مسارات استدلال عالية الجودة ومرتكزة بصرياً.

النموذج المعلم: يُستخدم نموذج معلم عالي القدرة ومجمد (Qwen2.5-VL-72B) لتوسيع العقد في شجرة البحث.
العقد المرتكزة: تُعرف كل خطوة استدلال كزوج $n_t = \langle s_t, (x_t, y_t) \rangle$ ، حيث $s_t$ هو فكرة باللغة الطبيعية و $(x_t, y_t)$ هو إحداثي يربط الفكرة بمنطقة في الصورة.
عملية البحث: تقوم خوارزمية MCTS (الاختيار، التوسيع، المحاكاة، الانتشار العكسي) باستكشاف مناطق وصور متنوعة ومسارات استدلال بشكل منهجي. وهي تشجع صراحةً على سلوكيات مثل الاستكشاف الواسع (التفرع لتغطية مناطق متنوعة) والتراجع (التخلي عن الفروع الفاشلة).
الخطيّة: يتم تحويل أشجار البحث الناتجة إلى أمثلة تدريبية خطية، بما في ذلك السلاسل الناجحة المباشرة و"السلاسل المصححة" التي تظهر التراجع (على سبيل المثال، "انتظر، يبدو هذا غير دقيق...").
الضبط الدقيق الخاضع للإشراف (SFT): يتم ضبط النموذج الأساسي بدقة باستخدام هذه المسارات المولدة عبر MCTS لتعزيز القدرة على توليد استدلال مهيكل ومرتكز.

2. التعلم المعزز باستخدام GRPO

بعد مرحلة SFT، يخضع النموذج للتعلم المعزز باستخدام تحسين السياسة النسبي للمجموعات (GRPO).

تصميم المكافأة: تحفز دالة المكافأة أمرين: (1) صحة الإجابة النهائية ( $r_{task}$ ) و(2) صحة تنسيق المخرجات، وتحديداً اشتراط أن تكون جميع مراجع الإحداثيات صالحة ( $r_{fmt}$ ). يضمن هذا تعلم النموذج الحفاظ على الارتكاز طوال عملية الاستدلال.
الهدف: تعمل عملية التعلم المعزز على صقل السلوكيات المرتكزة التي تم تعلمها خلال SFT، مما يعزز التسلسلات التي تؤدي إلى إجابات صحيحة مع الحفاظ على قيد الارتكاز المكاني.

3. التعلم المعزز متعدد الدورات مع التغذية الراجعة البصرية

للمهام التي تتطلب فحصاً بصرياً دقيقاً (مثل عناصر واجهة المستخدم الصغيرة)، يقدم المؤلفون صياغة متعددة الدورات.

المجهر التفاعلي: بعد التنبؤ بإحداثي ما، يمكن للنموذج إصدار استدعاء لأداة لطلب قص (crop) عالي الدقة لتلك المنطقة.
حلقة التغذية الراجعة: تعيد البيئة الصورة المقصوصة، والتي تصبح هي المدخل لدورة الاستدلال التالية.
التدريب: يتم تدريب النموذج على حوارات متعددة الدورات حيث يتعلم كيفية التكبير (zoom in) بشكل تكراري عند الضرورة. تتضمن المكافأة مكافأة تنوع لتشجيع استكشاف إحداثيات متميزة بدلاً من تكرار نفس المنطقة.

المساهمات الرئيسية

تحديد أوضاع فشل التعلم المعزز: يوضح البحث أن التعلم المعزز القياسي على نماذج الرؤية واللغة دون حوافز ارتكاز صريحة يؤدي إلى استدلال غير مرتكز، مما يفشل في استحثاث سلوكيات مثل وضع الأهداف البصرية الفرعية أو التراجع.
إطار عمل ViGoRL: خط إنتاج مبتكر يجمع بين البداية الدافئة عبر MCTS (لحقن أولويات الاستدلال المرتكز) وGRPO (لصقل هذه السلوكيات) الذي يربط خطوات الاستدلال صراحةً بإحداثيات الصورة.
التغذية الراجعة البصرية متعددة الدورات: آلية تسم تسمح للنماذج بالتكبير ديناميكياً في مناطق الصورة أثناء الاستدلال، مما يحسن بشكل كبير الأداء في المهام دقيقة التفاصيل.
التحليل السلوكي: أدلة تجريبية تظهر أن الاستدلال المرتكز يعزز السلوكيات المعرفية مثل استكشاف المناطق، والتحقق البصري، والتراجع، وهي سلوكيات غائبة في النماذج المرجعية القياسية.

النتائج التجريبية

تم تقييم ViGoRL عبر معايير متنوعة تشمل الاستدلال المكاني (SAT-2, BLINK, RoboSpatial)، والبحث البصري (V*Bench)، والارتكاز على الويب (ScreenSpot, VisualWebArena).

الاستدلال المكاني: في SAT-2، حقق ViGoRL-3B دقة بلغت 62.9%، بزيادة قدرها 12.9 نقطة عن Vanilla GRPO و 16.8 نقطة عن النموذج الأساسي. لوحظت مكاسب مماثلة في BLINK وRoboSpatial.
الارتكاز على الويب: في ScreenSpot-Pro (الارتكاز على واجهات المستخدم عالية الدقة)، وصل ViGoRL-3B إلى 31.1%، متفوقاً على النموذج الأساسي بـ 21.8 نقطة وعلى Vanilla GRPO بـ 2.1 نقطة.
البحث البصري: في V*Bench، حقق ViGoRL-7B متعدد الدورات دقة بلغت 86.4%، متفوقاً على النماذج المملوكة مثل GPT-4o (66.0%) والمسارات المتقدمة التي تستخدم الأدوات مثل Sketchpad-GPT-4o (80.3%).
التفاعل الحي مع الويب: في VisualWebArena (مدخلات بصرية فقط)، تفوق ViGoRL على الحالة الراهنة (ICAL) لنفس حجم النموذج، رغم عدم امتلاكه وصولاً إلى نص HTML.
دراسات الاستبعاد (Ablation Studies): أدى إزالة الارتكاز الصريح أو البداية الدافئة عبر MCTS إلى تدهور الأداء بشكل كبير، مما يؤكد أن كل من تهيئة السلوكيات المرتكزة وصقل التعلم المعزز أمران حاسمان.
التقييم البشري: وجد المقيمون البشريون أن تنبؤات النموذج المرتكز كانت دقيقة مكانياً (دقة 72.8%) ومفيدة لفهم خطوات الاستدلال، خاصة عندما كان التنبؤ صحيحاً.

الأهمية والادعاءات

يزعم المؤلفون أن التعلم المعزز المرتكز بصرياً هو نموذج قوي لإضفاء قدرات الاستدلال البصري العام على النماذج. ويجادلون بأن الارتكاز ليس مجرد أداة للتصور، بل هو مبدأ معماري وخوارزمي مركزي. من خلال تدريب النماذج على الاستدلال باستخدام الإشارة الإشارية (deictic reference) (مثل الإشارة، التكبير، والتحقق)، يربط هذا النهج سلوك النموذج بالاستراتيجيات المعرفية البشرية (الروتينات البصرية، والانتباه المكاني).

يخلص البحث إلى أن ربط خطوات الاستدلال صراحةً بالإحداثيات المكانية يجبر النماذج على الانخراط في إدراك مهيكل ومتوافق مع البشر. هذا الهيكل يسمح للنماذج بتفكيك المشكلات المعقدة إلى خطوات قابلة للإدارة ومرتكزة إدراكياً، مما يؤدي إلى تحسين التعميم في حالات خارج التوزيع وتحسين القابلية للتفسير. يشير العمل إلى أن الأنظمة المستقبلية يجب أن تعامل الارتكاز كآلية أساسية للاستدلال وليس كمجرد إشارة مساعدة.