VidHal: Benchmarking Temporal Hallucinations in Vision LLMs
تقدم هذه الورقة البحثية VidHal، وهو معيار مرجعي مبتكر مصمم لتقييم الهلوسة الزمنية في النماذج اللغوية البصرية الكبيرة من خلال توليد تعليقات توضيحية بمستويات متفاوتة من الهلوسة واقتراح مهمة ترتيب التعليقات التوضيحية لتمكين التقييم الدقيق لمحدودية النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً ذكياً جداً يمكنه مشاهدة مقاطع الفيديو والتحدث عنها. تسأله: "ماذا يحدث في هذا الفيديو؟" فيعطيك إجابة مفصلة. عادةً، يكون رائعاً. لكن أحياناً، يبدأ الروبوت في اختلاق أشياء من خياله. قد يقول إن سيارة تسير جهة اليسار بينما هي في الواقع تسير جهة اليمين، أو يدعي أن شخصاً ما يقفز بينما هو فقط يمشي. في عالم الذكاء الاصطناائي، نسمي هذه الأكاذيب الواثقة بـ "الهلوسات" (Hallucinations).
لفترة طويلة، كان الباحثون يختبرون مدى تكرار قيام هذه الروبوتات بالكذب بشأن الصور الفوتوغرافية. لكن الفيديوهات مختلفة؛ فالصورة هي لحظة مجمدة، أما الفيديو فهو قصة متحركة تحتوي على زمن، واتجاه، وتسلسل. وحتى الآن، لم يكن لدى أحد طريقة جيدة لاختبار ما إذا كانت هذه الروبوتات تكذب بشأن قصة الفيديو، وليس فقط الصورة.
تقدم هذه الورقة البحثية VidHal، وهو "امتحان" جديد صُمم خصيصاً لكشف هذه الأكاذيب القائمة على الفيديو.
المشكلة: "أحلام اليقظة" لدى الروبوت
فكر في نموذج الرؤية اللغوي الكبير (VLLM) كأنه طالب بارع جداً في حفظ الحقائق، ولكنه يتشتت أحياناً عندما تتحرك الأشياء.
- اختبار الصورة: إذا عرضت عليه صورة قطة، قد يهلوِس الروبوت ويقول: "القطة ترتدي قبعة"، حتى لو لم تكن ترتديها. لقد عرفنا بالفعل كيف نختبر هذا في الصور.
- اختبار الفيديو: إذا عرضت عليه فيديو لقطة تركض جهة اليسار، فقد يقول الروبوت: "القطة تركض جهة اليمين"، أو "القطة توقفت ثم بدأت مجدداً". ولأن الفيديوهات تحتوي على زمن واتجاه، فإن هذه الأكاذيب يصعب اكتشافها ويصعب اختبارها.
الحل: VidHal (معيار هلوسة الفيديو)
أنشأ المؤلفون VidHal، وهو يشبه مكتبة ضخمة من مقاطع الفيديو، كل منها مقترن بثلاثة أوصاف مختلفة:
- الحقيقة: وصف مثالي لما حدث بالفعل.
- الكذبة "المحتملة": وصف صحيح تقريباً ولكن به خطأ صغير (مثلاً: "السيارة انعطفت يساراً" بينما هي في الواقع انعطفت يساراً قليلاً).
- الكذبة الكبيرة: وصف خاطئ تماماً (مثلاً: "السيارة طارت في السماء").
التشبيه الإبداعي: لعبة "كاشف الكذب"
تخيل أنك تلعب لعبة مع صديقك الروبوت. تعرض عليه فيديو لشخص يتلاعب بثلاث كرات. ثم تعطيه ثلاث بطاقات مكتوب عليها جمل:
- البطاقة (أ): "الشخص يتلاعب بثلاث كرات." (الحقيقة)
- البطاقة (ب): "الشخص يتلاعب بأربع كرات." (كذبة صغيرة)
- البطاقة (ج): "الشخص يتلاعب ببطيخة." (كذبة كبيرة)
بدلاً من مجرد سؤاله: "أي واحدة هي الصحيحة؟" (وهو أمر سهل جداً)، يطلب VidHal من الروبوت ترتيبها.
- "رتب هذه البطاقات من الأكثر دقة إلى الأكثر سخافة."
هذا اختبار أصعب بكثير. فهو يجبر الروبوت ليس فقط على رصد الكذبة الكبيرة، بل على فهم الفوارق الدقيقة بين الخطأ الصغير والخطأ الكبير. إنه يشبه طلب تصحيح ورقة امتحان من طالب، ليس فقط بكلمة "ناجح/راسب"، بل بأن يشرح بالضبط كم عدد النقاط التي فُقدت في كل سؤال.
ما الذي وجدوه؟
اختبر الباحثون 23 نموذجاً مختلفاً من الذكاء الاصطناعي (سواء كانت نماذج مفتوحة المصدر ومجانية، أو نماذج خاصة ومكلفة مثل GPT-4 وGemini) باستخدام هذا الامتحان الجديد. وإليكم ما اكتشفوه:
- الروبوتات لا تزال تعيش في أحلام اليقظة: حتى النماذج الأكثر ذكاءً تعاني مع أجزاء "القصة المتحركة". فهي بارعة في قول "هذا كلب"، لكنها سيئة جداً في قول "الكلب ركض جهة اليسار ثم جهة اليمين".
- الأكبر ليس دائماً الأفضل: من المثير للدهشة أن بعض النماذج الأصغر أدت بشكل جيد تماماً مثل النماذج الضخمة. يبدو أن مجرد إضافة المزيد من "قوة الدماغ" (المعلمات/Parameters) لا يعالج تلقائياً مشكلة الكذب بشأن الزمن والاتجاه.
- انحياز "اللقطة الثابتة": وجد الباحثون أن العديد من الروبوتات تغش في الواقع. فبدلاً من مشاهدة الفيديو بأكم، هي تنظر إلى إطار واحد فقط (لقطة ثابتة) وتخمن الباقي.
- تشبيه: الأمر يشبه محاولة تخمين حبكة فيلم من خلال النظر إلى صورة ثابتة واحدة من منتصف الفيلم. قد تعرف الشخصيات، لكنك ستخطئ في القصة. توضح الورقة أنه عندما يُجبر الروبوت على مشاهدة الفيديو كاملاً، فإنه يتحسن، لكنه لا يزال يعتمد بشكل مفرط على تلك اللقطة الثابتة الوحيدة.
لماذا هذا مهم؟
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تخبرنا أنه بينما يتحسن الذكاء الاصطناعي في "الرؤية"، فإنه لا يزال يضيع في "قصة" الزمن.
- للمطورين: عليهم بناء روبوتات تنتبه لـ تدفق الزمن، وليس فقط للصور الساكنة.
- لنا: هي تذكرنا بأن نكون حذرين عند الوثوق بالذكاء الاصطناعي في تحليل الفيديو (مثل كاميرات المراقبة أو الفيديوهات الطبية). إذا كان الذكاء الاصطناعي لا يستطيع إخبارك بالترتيب الصحيح للأحداث، فقد يفوت أمراً حرجاً.
باختختصار: VidHal هو اختبار جديد ومخادع يكشف الروبوتات الذكية عندما تؤلف قصصاً عن الفيديوهات. وهو يظهر أن حتى أكثر روبوتاتنا ذكاءً لا تزال عرضة لـ "أحلام اليقظة" بشأن الزمن والاتجاه، ونحن بحاجة لتعليمها مشاهدة الفيلم كاملاً، وليس مجرد الصور الثابتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.