SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models

تخيل أنك تحاول تعليم روبوت فهم العالم، ليس فقط من خلال النظر إلى صورة واحدة، بل عبر مشاهدة فيلم. هذا هو عالم نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). فكر في هذه النماذج كطلاب أذكياء للغاية قرأوا كل كتاب وشاهدوا كل فيديو على الإنترنت. إنهم بارعون في الإجابة على أسئلة مثل "ماذا يحدث في هذه الصورة؟" أو "كم عدد القطط الموجودة هنا؟". ولكن هناك جزء محير: غالبًا ما يجدون صعوبة في التمييز بين شيئين يبدوان متشابهين تقريبًا ولكنهما يحدثان بطريقتين متضادتين، مثل سيارة ترجع للخلف مقابل سيارة تسير للأمام.

في عالم المراقبة بالفيديو، يمثل هذا مشكلة ضخمة. فكاميرات الأمن لا تحتاج فقط لمعرفة وجود سيارة؛ بل تحتاج لمعرفة ما تفعله السيارة بالضبط. هل تقوم بتحميل الصناديق أم بتفريغها؟ هل تنعطف يسارًا أم يمينًا؟ إذا ارتبك الروبوت، فقد يغفل عن جريمة حقيقية أو يطلق إنذارًا كاذبًا. لقد حاول العلماء بناء "عيون" أفضل لهذه الروبوتات، لكن معظم الاختبارات التي يستخدمونها تشبه النظر إلى صورة ثابتة لحفلة موسيقية—فهي تتحقق مما إذا كان الروبوت يتعرف على المشهد، وليس ما إذا كان يفهم الأفعال المحددة التي تحدث في الفيديو. وتأتي هذه الورقة البحثية لتسد هذه الفجوة عبر إنشاء اختبار جديد وأكثر صعوبة مخصص لأفعال المركبات، وعرض طريقة ذكية لتعليم الروبوتات كيفية رصد الفرق.

---

تجربة القيادة الجديدة لـ "الأفعال المتضادة"

أدرك الباحثون وراء هذه الدراسة أن الاختبارات الحالية كانت سهلة للغاية بالنسبة للمهمة المعقدة للمراقبة. لذا قاموا ببناء معيار جديد يسمى SOVABench (معيار مراقبة أفعال المركبات المتضادة). تخيل اختبار قيادة حيث، بدلًا من مجرد طلب القيادة من الطالب، تطلب منه التمييز بين "فتح صندوق السيارة" و"إغلاق صندوق السيارة"، أو "تحميل السيارة" و"تفريغ السيارة". هذه الأفعال تبدو متشابهة جدًا للعين البشرية، لكنها متضادة تمامًا في الزمن.

SOVABench هو مجموعة من مقاطع كاميرات المراقبة في العالم الحقيقي المنظمة في هذه "الأزواج المتضادة". وقد وضع الباحثون مستويين من الصعوبة للروبوتات:

1. المستوى "السهل" (بين الأزواج - Inter-pair): هل يستطيع الروبوت التمييز بين سيارة تنعطف يسارًا وسيارة تتوقف؟ (هذه أفعال مختلفة بوضوح).
2. المستوى "الصعب" (داخل الزوج - Intra-pair): هل يستطيع الروبوت التمييز بين سيارة تفتح بابها وسيارة تغلق بابها؟ (هذه الأفعال تبدو متطابقة تقريبًا، فقط تتحرك بشكل عكسي).

وعندما أجروا اختباراتهم، وجدوا أن أكثر الروبوتات تقدمًا في السوق حاليًا تعاني في المستوى "الصعب". فغالبًا ما يرتبكون، ويعاملون "الفتح" و"الإغلاق" كأنهما الشيء نفسه. وقد أثبت ذلك أن امتلاك كاميرا قوية ليس كافيًا؛ بل يحتاج الروبوت إلى طريقة أفضل لفهم "قصة" الحركة.

خدعة "صِف الأمر"

إذن، كيف ساعد الباحثون الروبوتات لتصبح أكثر ذكاءً؟ بدلاً من محاولة بناء روبوت جديد ومعقد من الصفر، استخدموا خدعة ذكية ومجانية تتعلق بـ "الطلاب الأذكياء" (الـ MLLMs) المذكورين سابقًا.

عادةً، عندما ينظر الروبوت إلى فيديو، فإنه يحاول تحويل الفيديو بأك Total إلى رقم رياضي واحد ضخم (تمثيل رقمي - embedding) لمقارنته بفيديوهات أخرى. وقد وجد المؤلفون أن هذه الطريقة غالبًا ما تغفل التفاصيل الصغيرة المهمة. وبدلاً من ذلك، طلبوا من الروبوت أن يتحدث عما يراه.

إليكم وصفتهم:

1. عرض الفيديو على نموذج ذكاء اصطناعي ذكي.
2. طرح سؤال عليه: "صنف الأفعال في هذا الفيديو بإيجاز" أو "صِف الحركة".
3. الاستماع إلى الإجابة: يكتب الذكاء الاصطناعي جملة مثل: "شخص يغلق صندوق السيارة".
4. تحويل الجملة إلى رقم: يأخذون هذا الوصف المكتوب ويحولونه إلى رقم رياضي باستخدام أداة نصية قياسية.
5. مقارنة القصص: لمعرفة ما إذا كان فيديوان متشابهين، يقارنون القصص التي كتبها الذكاء الاصطناعي عنهما، بدلاً من مجرد مقارنة الصور الخام.

هذه الطريقة تشبه طلب شهادة شاهد بشري يصف مسرح الجريمة بالكلمات، بدلاً من مجرد عرض صورة ضبابية له. فإذا قال أحد الشهود "كانت السيارة ترجع للخلف"، وقال آخر "كانت السيارة تسير للأمام"، فإن الفرق يكون واضحًا في الكلمات، حتى لو كانت الصور تبدو متشابهة.

ماذا وجدوا؟

كانت النتائج جيدة بشكل مفاجئ. فباستخدام خدعة "صِف الأمر" هذه، أصبح نظامهم أفضل بكثير في رصد الفرق بين الأفعال المتضادة مقارنة بالطرق القياسية التي تستخدمها الروبوتات الأخرى.

• التفوق على الأساسيات: في الاختبارات المتعلقة بعدّ الأشياء وفهم العلاقات المكانية (مثل "هل الصندوق على اليسار أم اليمين؟")، كان أسلوبهم باستخدام نماذج الذكاء الاصطناعي "المتحدثة" أفضل بكثير من المتفوقين السابقين. فعلى سبيل المثال، في مهام العد، حسّن أفضل إعداد لديهم الدقة بنسبة تزيد عن 34% مقارنة بالمعيار القديم.
• فك الشفرة الصعبة: في المستوى "الصعب" من SOVABench (التمييز بين الأفعال المتضادة)، حقق أسلوبهم باستخدام نموذج محدد يسمى MiniCPM-V 4.5 مع "تنبيه مدرك للمهمة" (تعليمات محددة تخبر الذكاء الاصطناعي بما يجب أن يبحث عنه) أعلى الدرجات. فقد وصل إلى درجة 53.6 في اختبار "داخل الزوج"، متفوقًا على جميع النماذج الأخرى المختبرة، بما في ذلك النماذج المملوكة لشركات التقنية الكبرى والمكلفة.
• قوة التعليمات: اكتشفوا أن طريقة طرح السؤال مهمة. فإذا قلت فقط "صِف هذا"، سيكون الذكاء الاصطناعي جيدًا. ولكن إذا قلت "اسرد الأفعال"، فسيصبح الذكاء الاصطناعي أفضل بكثير في أداء المهمة. وهذا يشير إلى أن إعطاء الروبوت وصفًا وظيفيًا واضحًا يساعده على التركيز على التفاصيل الصحيحة.

ما لم يجدوه (وما استبعدوه)

من المهم ملاحظة ما لم تفعله هذه الورقة البحثية. فهم لم يجدوا أن الروبوتات أصبحت الآن مثالية؛ فلا تزال ترتكب الأخطاء، والنتائج، رغم كونها الأفضل، ليست 100%. كما استبعدوا فكرة أن مجرد امتلاك نموذج مصمم للفيديوهات (Video-MLLMs) يجعلك أفضل تلقائيًا. في الواقع، بعض النماذج العامة التي يمكنها التعامل مع الصور والنصوص معًا عملت بشكل أفضل من النماذج المتخصصة في الفيديو لهذه الأفعال القصيرة والمحددة.

كما أظهروا أنك لست بحاجة لإعادة تدريب الروبوت باستخدام آلاف الأمثلة الجديدة للحصول على هذه النتائج. فطريقتهم "خالية من التدريب"، مما يعني أنه يمكنك استخدام الذكاء الاصطناعي كما هو، وتطلب منه وصف الفيديو، والحصول على نتيجة رائعة. وهذا أمر بالغ الأهمية لأن تدريب روبوتات جديدة مكلف وبطيء.

الخلاصة

تشير هذه الورقة البحثية إلى أنه في بعض الأحيان، أفضل طريقة لمساعدة الروبوت على فهم الفيديو ليست بجعل "عيونه" أكثر حدة، بل بجعل "صوته" أكثر وضوحًا. فمن خلال إجبار الذكاء الاصطناعي على وصف ما يراه بالكلمات، يمكننا التقاط الاختلافات الدقيقة بين الأفعال مثل "التحميل" و"التفريغ" التي قد تغفل عنها الرياضيات البصرية البحتة. إنها تذكير بأنه في عالم المراقبة، معرفة القصة وراء الحركة لا تقل أهمية عن رؤية الحركة نفسها.