ROVER: Routing Object-Centric Visual Evidence for Grounded Multi-Image Reasoning

تخيل أنك تحاول حل لغز معقد باستخدام مجموعة من الصور. لديك محقق بارع (الذكاء الاصطناعي) يمكنه قراءة الأدلة، ولكنه أحياناً يتشتت بسبب الضجيج في الخلفية أو ينسى ما رآه في الصورة الأولى أثناء انشغاله بالصورة العاشرة.

تقدم الورقة البحثية ROVER، وهو "مساعد" جديد لمحققين الذكاء الاصطناعي هؤلاء، صُمم لمساعدتهم على حل الألغاز متعددة الصور بدقة وكفاءة أكبر.

إليك كيف يعمل ROVER، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: فخ "الرؤية النفقية"

غالباً ما تحاول نماذج الذكاء الاصطناعي الحالية حل الألغاز البصرية عن طريق التركيز (التقريب) على أجزاء محددة من الصورة (مثل وجه شخص أو سيارة).

• العيب: هذا يشبه النظر إلى قطعة واحدة من أحجية (Puzzle) عبر عدسة مكبرة. أنت ترى التفاصيل، لكنك تفقد صورة الغرفة بأكملها. قد تغفل عن كيفية وقوف الشخص بجانب السيارة، أو قد تنسى أن السيارة كانت زرقاء في الصورة الأولى ولكنها أصبحت حمراء في الصورة الثالثة.
• التكلفة: عملية التقريب لكل تفصيل تستهلك الكثير من قدرة الحوسبة وتؤدي إلى إبطاء الذكاء الاصطناعي، خاصة عندما يكون هناك العديد من الصور التي يجب فحصها.

2. الحل: "روتين الخطوات الثلاث" الخاص بـ ROVER

يعمل ROVER كمساعد مشروع ذكي يتدخل في كل مرة يجد فيها الذكاء الاصطناعي كائناً رئيسياً (مثل "الرجل في الصورة 1"). وبدلاً من مجرد التقريب، يقوم ROVER بتنفيذ روتين سريع من ثلاث خطوات باستخدام "ثلاثية الرموز" (token triplet) (وهي عبارة عن ملاحظة رقمية صغيرة وثابتة الحجم):

• الخطوة 1: الربط (رابط السياق)
  • التشبيه: تخيل أن المحقق يكتب قصة. "الربط" هو اللحظة التي يتوقف فيها المحقق ليقول: "حسناً، حتى الآن نعلم أن القصة تدور حول سباق". يقوم هذا الجزء بتجميع الأفكار الحالية في ملخص مرتب حتى لا يفقد الذكاء الاصطناعي مساره.
• الخطوة 2: الغربلة (منقب الذهب)
  • التشبيه: هذا هو الجزء الأكثر تميزاً. عندما يرصد الذكاء الاصطناعي كائناً ما (مثل "سيارة تضغط على المكابح")، لا يكتفي ROVER بالنظر إلى السيارة فحسب، بل يستخدم مرشحاً خاصاً يسمى الانتباه التفاضلي (Differential Attention).
  • فكر في الأمر كعملية تنقيب عن الذهب. "الذهب" هو السيارة، و"التراب" هو بقية الشارع. ينظر ROVER إلى السيارة ويسأل: "ما الذي يحدث أيضاً حول هذه السيارة والذي يساعد في تفسير حالتها؟". إنه يحتفظ بالأدلة المفيدة (مثل إشارة مرور حمراء قريبة) ويتخلص من الضجيج المشتت (مثل سحابة عشوائية في السماء). وبذلك ينشئ ملخصاً نظيفاً ومركزاً للمشهد.
• الخطوة 3: النسج (نساج الذاكرة)
  • التشبيه: تخيل لوحة المحقق التي تربط الخيوط بين الأدلة. "النسج" يأخذ الملخص الجديد من خطوة "الغربلة" ويربطه بالملاحظات من الصور السابقة. يسأل: "هل هذا الدليل الجديد حول السيارة يتصل بالشخص الذي رأيناه في الصورة الأولى؟". إنه يبني "مساحة عمل بصرية مشتركة" (مساحة عمل ذهنية) حيث تعيش جميع الأدلة من جميع الصور معاً.

3. لماذا هو أفضل؟

• الكفاءة: بدلاً من إرسال قطع ضخمة وفوضوية من بيانات الصور إلى الذكاء الاصطناعي في كل مرة ينظر فيها إلى شيء ما، يرسل ROVER ملاحظة صغيرة ثابتة الحجم (ثلاثية الرموز). الأمر يشبه إرسال ملخص عبر رسالة نصية بدلاً من إرسال ألبوم صور كامل عبر البريد. هذا يجعل الذكاء الاصطناعي أسرع وأقل تكلفة في التشغيل.
• الفهم الشمولي: نظرًا لأنه ينظر إلى "المشهد" المحيط بالكائن (الغربلة) ويربطه بما سبق (النسج)، فإن احتمالية قيام الذكاء الاصطناعي بتأليف حقائق (الهلوسة) أو إغفال الصورة الكبيرة تكون أقل.
• الذاكرة: إنه يتذكر التاريخ. إذا رأى الذكاء الاصطناعي "كرة حمراء" في الصورة 1 و"كرة زرقاء" في الصورة 2، فإن ROVER يساعده على تذكر الفرق وفهم القصة، بدلاً من الارتباك.

4. النتائج

اختبر المؤلفون هذا النظام الجديد على تحديين رئيسيين:

• VideoEspresso: اختبار يتضمن سلاسل طويلة من الاستنتاج عبر صور متعددة (مثل إطارات الفيديو). أدى ROVER إلى تحسين دقة الإجابة بنسبة 8.6% مقارنة بأفضل طريقة سابقة.
• MM-GCoT: اختبار للاستنتاج في صورة واحدة يتطلب العثور على تفاصيل محددة. حسن ROVER الدقة بنسبة 4.8% والقدرة على التحديد (grounding) (إيجاد المكان الصحيح في الصورة) بنسبة 14.6%.

والأهم من ذلك، تزعم الورقة أنه على الرغم من تدريب الذكاء الاصطناعي على مجموعة بيانات واحدة محددة (VideoEspresso)، فإن "المهارات" التي تعلمها (كيفية توجيه الأدلة وتذكر السياق) عملت بشكل مفاجئ جيد على أنواع مختلفة تماماً من الاختبارات دون أي تدريب إضافي.

الملخص

ROVER هو إضافة خفيفة الوزن تعلم الذكاء الاصطناعي كيف "يفكر بالصور" بشكل أفضل. بدلاً من مجرد التقريب والضياع في التفاصيل، فإنه يعلم الذكاء الاصطناعي أن:

1. يلخص ما يفكر فيه.
2. يصفي المشهد بحثاً عن سياق مفيد حول الكائن.
3. يربط ذلك الكائن بكل ما رآه من قبل.

إنه يشبه ترقية الذكاء الاصطناعي من شخص يحدق في صورة واحدة عبر تلسكوب إلى محقق لديه ملف قضية كامل، ولوحة ملاحظات، وخطة واضحة.