Distorted or Fabricated? A Survey on Hallucination in Video LLMs
تقدم هذه الدراسة المسحية تحليلاً شاملاً للهلوسة في النماذج اللغوية الكبيرة للفيديو من خلال تقديم تصنيف منهجي يميز بين التشويه الديناميكي وتزييف المحتوى، ومراجعة استراتيجيات التقييم والتخفيف الحالية، وتحديد الاتجاهات البحثية المستقبلية لبناء أنظمة فيديو-لغة أكثر متانة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً ذكياً جداً ومطلعاً يحب مشاهدة الفيديوهات. تعرض عليه مقطعاً لقطة نائمة على سجادة حمراء، فيصفه بدقة تامة. ولكن بعد ذلك، تعرض عليه فيديو لرجل يطبخ في المطبخ، فيقول صديقك بكل ثقة: "إنه يرتدي قميصاً أزرق ويغني 'عيد ميلاد سعيد'!".
أنت تنظر إلى الفيديو: الرجل يرتدي مئزراً أبيض والمطبخ يسوده الصمت. صديقك هنا يهلوس. إنه يختلق تفاصيل تبدو منطقية ولكنها ليست موجودة ببساطة.
هذه الورقة البحثية هي بمثابة "دليل مستخدم" لفهم سبب كون نماذج اللغات الكبيرة للفيديو (Vid-LLMs) مبدعة جداً في تأليف الحقائق، وكيف يمكننا إصلاحها. إليك التفاصيل بكلمات بسيطة:
1. النوعان الكبيران من "الكذب"
أدرك المؤلفون أن نماذج الفيديو لا ترتكب مجرد أخطاء عشوائية، بل ترتكب نوعين محددين من الأخطاء. فكر في الأمر كأنك محقق يحل جريمة في مسرح الحادث:
النوع (أ): "الذاكرة المشوهة" (التشويه الديناميكي - Dynamic Distortion)
تخيل أنك شاهدت فيلماً بالأمس، لكن ذاكرتك للأحداث مختلطة. تتذكر أن البطل أنقذ الموقف قبل ظهور الشرير، أو تعتقد أن مشهد المطاردة استمر 5 دقائق بينما كان 30 ثانية فقط.
- ما هو: النموذج يرى الأشياء الصحيحة (رجل، مطبخ، قدر)، لكنه يخطئ في الجدول الزمني أو الهوية.
- الخلل:
- السفر عبر الزمن: يقول إن الرجل طبخ قبل أن يقطع البصل (علاقة سببية معكوسة).
- تلاعب بالزمن: يعتقد أن الفعل استغرق 10 ثوانٍ بينما استغرق ثانيتين فقط.
- أزمة هوية: يرى رجلاً يرتدي قميصاً أحمر في النصف الأول من الفيديو ورجلاً يرتدي قميصاً أزرق في النصف الثاني، ثم يدعي أنه نفس الشخص الذي غير ملابسه فوراً.
- لماذا يحدث: النموذج سيء في تتبع الحركة وتذكر من هو الشخص عبر فترة زمنية طويلة. الأمر يشبه مشاهدة فيلم بجهاز تحكم معطل يتخطى الإطارات.
النوع (ب): "الخيال الجامح" (تلفيق المحتوى - Content Fabrication)
الآن تخيل أنك دخلت إلى مطبخ ورأيت كعكة. يقول صديقك فوراً: "شخص ما قد خبز هذه للتو!" رغم أن المطبخ فارغ وصامت. إنه يخمن بناءً على ما يحدث "عادةً"، وليس بناءً على ما يحدث "الآن".
- ما هو: النموذج يخترع أشياء ليس لها دليل بصري. هو يعتمد على "معرفته العامة" أو يقع في فخ الصوت.
- الخلل:
- خطأ "السيناريو": يرى كلباً وكرة، فيفترض أن الكلب "يلعب بالكرة"، حتى لو كان الكلب نائماً فقط. إنه يتبع سيناريو بدلاً من مراقبة المشهد.
- "فخ الصوت": إذا كانت هناك موسيقى صاخبة في الخلفية، قد يقول النموذج: "الشخص يرقص!" حتى لو كان الشخص جالساً دون حراك. لقد طغى الصوت على العينين.
- لماذا يحدث: النموذج يثق في بيانات التدريب الخاصة به (ما يحدث عادةً) أكثر من بكسلات الفيديو الفعلية.
2. كيف نمسك بهم؟ (الاختبارات المعيارية - Benchmarks)
تستعرض الورقة مجموعة من "الاختبارات" التي بناها الباحثون للإيقاع بهؤلاء الكاذبين.
- اختبار "الترتيب": "هل وضع الرجل حذاءه قبل أم بعد ربط أربطته؟"
- اختبار "العدّ": "كم مرة رفرف الطائر بجناحيه؟"
- اختبار "الهوية": "هل الشخص الموجود في بداية الفيديو هو نفسه الموجود في نهايته؟"
- اختبار "الصوت مقابل الرؤية": "هل الشخص يبكي حقاً، أم أن تلك مجرد موسيقى حزينة تعمل في الخلفية؟"
الأخبار السيئة: النماذج الحالية بارعة في المهام البسيطة ولكنها سيئة جداً في الفيديوهات الطويلة. تصاب بالارتباك بسهولة عندما يكون الفيديو طويلاً، أو عندما يكون الصوت عالياً.
3. كيف نصلحهم؟ (العلاجات)
تقترح الورقة طريقتين رئيسيتين لإيقاف نماذج الفيديو عن الهلوسة:
- إصلاح "العيون" (محركات ترميز أفضل - Better Encoders):
حالياً، تنظر العديد من النماذج إلى الفيديو كأنه مجموعة من الصور الثابتة المتراكمة. إنها بحاجة لتعلم رؤية الحركة. تخيل تعليم نموذج مشاهدة الفيديو كما يفعل البشر—تتبع تدفق الحركة، وليس مجرد الإطارات الساكنة. نحن بحاجة إلى كاميرات "مدركة للحركة" داخل الذكاء الاصطنا artificial. - إصلاح "الدماغ" (التعلم بالواقع المضاد - Counterfactual Learning):
نحن بحاجة لتدريب النماذج على قول: "مهلاً، أنا أعلم أن الكلاب عادة تلعب بالكرات، ولكن في هذا الفيديو تحديداً، الكلب نائم". نفعل ذلك من خلال عرض فيديوهات "خدعة" حيث لا تنطبق القواعد المعتادة، مما يجبرهم على الاعتماد على الدليل البصري بدلاً من تخميناتهم.
4. المستقبل: بناء ذكاء اصطناعي جدير بالثقة
يخلص المؤلفون إلى أنه إذا أردنا أن يكون الذكاء الاصطناعي مفيداً في الحياة الواقعية (مثل مساعدة سيارة ذاتية القيادة أو ممرضة روبوت)، فلا يمكننا السمالة بتأليف الحقائق.
- الهدف: بناء ذكاء اصطناعي يعمل كـ شاهد أمين، وليس ككاتب مبدع.
- الخطة: منح الذكاء الاصطناعي ذاكرة أفضل (حتى لا ينسى من هم الشخصيات)، وحساسات حركة أفضل (ليفهم الوقت)، وقاعدة صارمة: "إذا لم تره، فلا تقله".
تشبيه الملخص
فكر في نموذج (Vid-LLM) كأنه مرشد سياحي لفيديو.
- التشويه الديناميكي (Dynamic Distortion) هو عندما يخطئ المرشد في جدول الرحلة (يقول إنك زرت المتحف قبل الحديقة، بينما كان العكس هو الصحيح).
- تلفيق المحتوى (Content Fabrication) هو عندما يبدأ المرشد في اختراع قصص حول الجولة ("انظروا، هذا تنين!") لأنه يعتقد أن هذا ما يريد السياح سماعه.
هذه الورقة هي دليل إرشادي لتعليم المرشد السياحي الالتزام بالحقائق، واحترام الجدول الزمني، والتوقف عن اختلاق الأمور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.