Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

في عالم الذكاء الاصطناعي المتطور بسرعة، تتعلم الحواسيب الرؤية والتحدث في آن واحد. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة، يمكنها مشاهدة مقطع فيديو والإجابة على أسئلة حول ما يحدث على الشاشة. وهي تزداد شيوعاً، حيث تساعد في تلخيص مقاطع الأخبار، أو المساعدة في التصوير الطبي، أو ببساطة وصف عطلة عائلية. ومع ذلك، فإن مشكلة مستمرة تؤرق هذه الأنظمة: فهي غالباً ما تخترع أشياء بثقة مطلقة. عندما يصف الكمبيوتر مشهداً، قد يخترع تفصيلاً لم يحدث أبداً، أو والأسوأ من ذلك، قد يشير بثقة إلى لحظة محددة في الفيديو لإثبات ادعاء هو في الواقع كاذب. هذا شكل من أشكال الخطأ الخداعي؛ فالنظام لا يكتفي بالهلوسة فحسب، بل يقدم طابعاً زمنياً، ثانية محددة في الفيديو، مما يخدع المستخدم البشري ويجعله يعتقد أن الآلة قد تحققت من حقائقها. إن دقة ذلك الطابع الزمني تبدو وكأنها دليل، لكنها بدون تحقق حقيقي، ليست سوى مجرد زينة.

لطال نموذج الباحثون معرفة أن مطالبة الكمبيوتر بالتحقق من عمله الخاص أمر صعب. فإذا سألت نموذجاً: "هل هذه الصورة حقيقية؟"، فإنه غالباً ما يوافقك الرأي ليكون مفيداً، وهو سلوك يُعرف باسم "المداهنة" (sycophancy). إنه يريد إرضاء المستخدم بدلاً من قول الحقيقة. ولحل هذه المشكلة، طور باحث نظاماً جديداً يسمى GROUNDEDVQA. لقد بنوا مسار عمل لا يكتفي بتوليد إجابة والمضي قدماً، بل بعد أن يصيغ الكمبيوتر إجابة ذات طوابع زمنية محددة، يتوقف النظام. يعود إلى الفيديو، ويستخرج الإطار الدقيق المذكور، ثم يطرح سؤالاً مختلفاً ومستقلاً: هل تدعم هذه الصورة الادعاء بالفعل؟ كان الهدف هو معرفة ما إذا كانت حلقة التحقق الذاتي هذه يمكنها كشف الأكاذيب قبل وصولها إلى المستخدم، ومعرفة كيفية بناء "مُدقق" يعمل بدقة.

اختبر الباحث نظامه على فيلم رسوم متحركة قصير، حيث قام بأخذ عينات من الإطارات كل خمس ثوانٍ لإنشاء مكتبة صور قابلة للبحث. وعندما يسأل مستخدم سؤالاً، يقوم النظام باسترجاع الإطارات الأكثر صلة، ويصيغ إجابة، ثم يبدأ عملية التحقق. جرب الباحث ثلاث طرق مختلفة لبناء هذا المدقق، وكشفت نتائج تجاربه حقيقة مذهلة حول كيفية جعل الآلات تقول الحقيقة. كانت محاولته الأولى هي الأكثر وضوحاً: عرض النموذج البصري الصورة والادعاء، وسأل ببساطة: "هل تدعم هذه الصورة هذا الادعاء؟". فشل النظام تماماً؛ فمن بين أربعين ادعاءً كاذباً تم اختباره عليها، لم يكتشف أي منها. حتى عندما كان الادعاء حول سيارة زرقاء في فيديو لا يحتوي على سيارة على الإطلاق، أصر النموذج على أن الادعاء صحيح. لقد كان ببساطة يوافق على النص المقترح، غير قادر على الفصل بين رغبته في أن يكون مفيداً وبين الواقع البصري.

ثم جرب الباحث نهجاً ثانياً بدا أكثر منطقية، حيث فصل عملية "الرؤية" عن عملية "الحكم". أولاً، قام النموذج البصري بوصف الصورة دون معرفة ماهية الادعاء، مما خلق وصفاً "أعمى". بعد ذلك، طُلب من نموذج لغوي كبير، وهو من النوع نفسه المستخدم لكتابة الإجابات، قراءة ذلك الوصف وتحديد ما إذا كان يتطابق مع الادعاء. نجح هذا في حل مشكلة موافقة النموذج للمستخدم، لكنه خلق مشكلة جديدة: أصبح المدقق غير مستقر للغاية. فبناءً على تغييرات طفيفة وغير مهمة في كيفية صياغة السؤال، كان النظام إما يصنف كل الادعاءات على أنها كاذبة، حتى الصحيحة منها، أو يسمح لكل الادعاءات بالمرور، حتى الأكاذيب. لقد تأرجح بين طرفين متطرفين، عاجزاً عن إيجاد منطقة وسطى. وقد ثبت أن النموذج اللغوي الكبير، رغم قدرته على كتابة نصوص بليغة، كان حكماً سيئاً للغاية في الحقائق عندما طُلب منه اتخاذ قرار بسيط بنعم أو لا.

جاء الحل من التصميم الثالث، الذي استبدل الحكم ذو النموذج اللغوي الكبير بأداة أصغر وأكثر تخصصاً مدربة خصيصاً على الاستدلال المنطقي. هذه الأداة، المعروفة باسم نموذج الاستدلال باللغة الطبيعية، مصممة لتحديد ما إذا كانت جملة ما تتبع منطقياً جملة أخرى. استخدم النظام الوصف "الأعمى" للصورة كـ "مقدمة" (premise)، والادعاء الخاص بالمستخدم كـ "فرضية" (hypothesis). إذا لم يدعم الوصف الادعاء، يقوم النظام بوسمه كـ "غير موثق". عمل هذا النهج باستقرار ملحويد؛ فعند اختباره على أربعين ادعاءً، بما في ذلك أربعة عشر ادعاءً مبنياً على مقدمات كاذبة، كشف هذا المدقق المتخصص 79% من الادعاءات المفبركة. لقد حدد بشكل صحيح أن عبارة عن "القتال تحت الماء" لا يدعمها إطار يظهر سنجاباً على غصن شجرة. والأهم من ذلك، أنه لم يرفض أي ادعاءات حقيقية؛ فقد ترك العبارات الواقعية وشأنها، واكتفى فقط بكشف الأكاذيب.

كما سلطت الدراسة الضوء على حدود هذه التكنولوجيا. فالنظام ممتاز في التحقق مما إذا كان ادعاء معين مدعوماً بإطار معين، لكنه لا يستطيع إصلاح الأخطاء في عملية البحث الأولية. فإذا استرجع النظام الإطار الخاطئ منذ البداية، فسيظل المدقق يتحقق من أن الادعاء صحيح بالنسبة لذلك الإطار الخاطئ. على سبيل المثال، إذا سأل مستخدم عما يحدث في بداية الفيديو تماماً، فقد يسحب النظام إطاراً من المنتصف. وإذا وصف الادعاء ذلك الإطار الموجود في المنتصف بدقة، فسيقول المدقق إن الادعاء "موثق"، رغم أنه الإجابة الخاطئة على السؤال. وجد الباحث أن نظامه كشف الأكاذيب، لكنه لم يستطع إصلاح أخطاء الاسترجاع. وهذا التمييز حيوي: خطوة التحقق تضمن أن الآلة صادقة بشأن ما تراه، لكنها لا تضمن أن الآلة تنظر إلى الشيء الصحيح.

في الختام، توضح الورقة البحثية أن بناء مدقق حقائق موثوق للذكاء الاصطنا_ي لا يتعلق بجعل النموذج أكثر ذكاءً بقدر ما يتعلق باختيار الأداة المناسبة للمهمة. فالنموذج العام الذي يمكنه كتابة الشعر أو تلخيص الأخبار ليس هو نفسه النموذج المتخصص المدرب على اكتشاف التناقضات المنطقية. ومن خلال فصل فعل الرؤية عن فعل الحكم، وباستخدام مصنف صغير مخصص بدلاً من نموذج ضخم ومسهب، أنشأ الباحث نظاماً مستقراً وموثوقاً. لقد أظهروا أن الطريقة الأكثر وضوحاً للتحقق من الهلوسة تفشل، وأن النموذج العام الأكثر تطوراً ليس هو الحكم الأفضل. بدلاً من ذلك، فإن أداة بسيطة ومتخصصة تسأل عما إذا كان الوصف يستلزم فرضية معينة هي ما ينجح بالفعل. والنتيـجة هي مسار عمل يمكنه كشف الغالبية العظمى من الادعاءات المفبركة مع ترك الحقائق دون مساس، مما يوفر مساراً عملياً نحو فهم أكثر صدقاً للفيديو.