VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models
تقترح الورقة البحثية إطار عمل VADER، وهو إطار عمل لا يتطلب تدريباً يعمل على الحد من الهلوسة في نماذج اللغة الكبيرة للفيديو من خلال إعادة تخصيص الانتباه ديناميكياً للأدلة المرئية ومسح الرموز البصرية بشكل انتقائي لبناء فرع فك تشفير تبايني قوي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت فائق الذكاء شاهد ملايين الأفلام ويمكنه وصفها بجمل مثالية. هذا الروبوت هو "نموذج لغوي كبير للفيديو" (أو VideoLLM). إنه يشبه الحكواتي الذي لا يتعب أبداً، لكن لديه عادة غريبة: أحياناً، يصبح واثقاً جداً في صوته لدرجة أنه يخترع تفاصيل ليست موجودة في الواقع. قد يخبرك أن شخصية ما "قفزت فوق سياج" بينما لم يظهر الفيديو سوى مشيها، ببساطة لأن هذا شيء شائع يفعله الناس في الأفلام. يُطلق على هذا اسم "الهلوسة" (Hallucination).
المشكلة معقدة بشكل خاص مع الفيديوهات. فخلافاً للصورة الواحدة، الفيديو عبيد تدفق طويل من الإطارات. إذا فات الروبوت تفصيلاً في إطار واحد، يمكنه غالباً استنتاجه من خلال النظر في الإطارات التي تسبق أو تلي ذلك الإطار، والتي تبدو متشابهة جداً في العادة. الأمر يشبه إذا فاتتك كلمة في أغنية، يمكنك تخمينها لأن الكلمات التالية متشابهة. لهذا السبب، فإن الحيل القديمة المستخدمة لمنع الروبوتات من الكذب — مثل طمس جزء من الصورة — غالباً ما تفشل؛ إذ يمكن للروبوت ببساطة ملء الفجوة باستخدام الإطارات المحيطة. يريد العلماء إصلاح ذلك دون الحاجة إلى إعادة تعليم الروبوت من الصفر، وهو أمر سيستغرق وقتاً طويلاً وسيكلف ثروة. إنهم بحاجة إلى طريقة تجعل الروبوت ينتبه أكثر لما يراه بالفعل، في اللحظة التي يتحدث فيها.
هنا يأيدخل VADER، وهو طريقة جديدة تعمل كمحرر ذكي لروبوتات الفيديو هذه. بدلاً من إجبار الروبوت على تعلم قواعد جديدة، يتدخل VADER أثناء المحادثة ليوجه انتباه الروبوت بلطف. إنه يستخدم حيلتين ذكيتين لمنع الروبوت من اختلاق الأمور.
أولاً، يستخدم أداة تسمى إعادة تخصيص التركيز البصري (VFR). تخيل عقل الروبوت كمطبخ مزدحم بالعديد من الطهاة (الطبقات) الذين يعملون في وقت واحد. بعض الطهاة ينظرون إلى الفيديو، بينما يتحدث آخرون فقط عن الوصفة (النص). أحياناً، يصبح الطهاة الذين يتحدثون صاخبين جداً لدرجة أنهم يطغون على طهاة الفيديو. يعمل VFR كمنظم صوت ديناميكي. إنه يستمع إلى الفيديو والسؤال المحدد، ويحدد بالضبط أي الطهاة يتحدثون عن الفيديو، ثم يرفع مستوى صوتهم بينما يخفض ضجيج الآخرين. هو لا يستخدم إعداداً ثابتاً لكل فيديو؛ بل يشخص الحالة ويقرر: "حسناً، لهذا المشهد تحديداً، نحتاج للاستماع إلى الدليل المرئي بنسبة 20% أكثر".
ثانياً، يستخدم VADER حيلة تسمى محو الأدلة الانتقائي (SEE). وهنا يصبح الأمر أكثر مرحاً. تخيل أنك تحاول تخمين حبكة فيلم، لكن يُسمح لك فقط بالنظر إلى المناظر الخلفية، وليس الممثلين الرئيسيين. إذا خمنت الحبكة بشكل صحيح رغم ذلك، فهذا يعني أنك كنت تخمن بناءً على ما يحدث عادة في الأفلام (تحيزك المسبق). أما إذا أخطأت، فهذا يثبت أنك كنت تعتمد على الممثلين. يقوم VADER بذلك عن طريق "محو" الأدلة البصرية الأكثر أهمية (مثل الممثلين الرئيسيين) من رؤية الروبوت سراً داخل عقله الخاص، إطاراً تلو الآخر. إنه يخلق نسخة "ماذا لو" من القصة حيث يتعين على الروبوت التخمين بدون الدليل الرئيسي. إذا ظل الروبوت يعطي نفس الإجابة في هذه النسخة "الممحاة"، فإن VADER يعرف أن الروبوت مجرد يخمن بناءً على عاداته، وليس بناءً على الفيديو الفعلي.
أخيراً، يقارن VADER بين إجابة الروبوت "الحقيقية" وإجابته "الممحاة". إذا كان الروبوت واثقاً في كلتيهما، فإن VADER يعرف أن الإجابة هي على الأرجاء هلوسة ويقوم بكبحها. أما إذا تغيرت الإجابة عند إزالة الدليل، فإن VADER يعرف أن الروبوت كان ينتبه بالفعل للفيديو.
النتائج مبهرة. عندما اختبر الباحثون هذه الطريقة على روبوت شهير يسمى LLaVA-Video-7B، أصبح أفضل بكثير في رصد الأحداث الحقيقية والحفاظ على تسلسل الجدول الزمني. وفي اختبار محدد يسمى EventHallusion، قفزت دقة الروبوت إلى 72.60%. وهذا أمر كبير لأنها تفوقت على الطرق الأخرى التي تتطلب إعادة تدريب مكلفة. تُظهر الورقة البحثية أنه بمجرد تعديل كيفية انتباه الروبوت واختبار تحيزاته في اللحظة ذاتها، يمكننا جعل ذكاء الفيديو الاصطناعي أكثر أمانة، دون الحاجة لتعليمه لغة جديدة بالكامل. إنه تذكير بأن أفضل طريقة لإيقاف الكاذب هي أن تطلب منه سرد القصة وعيناه مغمضتان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.