INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs
تقدم الورقة البحثية \textsc{INFACT}، وهو معيار تشخيصي شامل يضم 9,800 حالة سؤال وجواب وتصنيفات دقيقة، يقيم نماذج الفيديو اللغوية الكبيرة (Video-LLMs) من حيث الأمانة والواقعية تحت أوضاع تدهور مستحثة مختلفة، كاشفاً أن الدقة الأساسية العالية لا تضمن المتانة ضد الهلوسة وأن العديد من النماذج تعاني بشكل كبير من الحساسية الزمنية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقًا آليًا ذكيًا جدًا وواثقًا من نفسه، يحب مشاهدة الفيديوهات. تسأله: "ماذا حدث في هذا الفيديو؟" فيجيبك بقصة. أحيانًا، تكون القصة مثالية، ولكن في كثير من الأحيان، يبدأ الروبوت بتأليف أشياء من خياله. قد يقول إن الشخصية كانت ترتدي قبعة حمراء بينما كانت في الواقع ترتدي قبعة زرقاء (إنه يكذب بشأن ما رآه)، أو قد يدعي أن سيارة يمكنها الطيران لأنه "يعرف" أن السيارات رائعة، رغم أن الفيديو يظهر بوضوح اصطدام السيارة بحائط (إنه يكذب بشأن كيفية عمل العالم).
تقدم هذه الورقة البحثية أداة جديدة تسمى INFACT لاختبار مدى جودة (أو سوء) هذه الروبوتات التي تشاهد الفيديو في قول الحقيقة.
إليك تفصيل الورقة باستخدام بعض التشبيهات من الحياة اليومية:
١. نوعا "الكذب"
أدرك الباحثون أن الروبوتات ترتكب نوعين مختلفين من الأخطاء، ويجب اختبار كل منهما بشكل مختلف:
الأمانة (اختبار "هل شاهدت الفيديو؟"):
- التشبيه: تخيل أنك تعرض على روبوت فيديو لقطة تطارد فأرًا. إذا قال الروبوت: "القطة كانت نائمة"، فقد فشل في اختبار الأمانة (Faithfulness). لم ينتبه للأدلة الفعلية الموجودة أمام عينيه.
- الهدف: هل يلتزم الروبوت بالحقائق المعروضة في الفيديو؟
الواقعية (اختبار "هل تعرف كيف يعمل العالم؟"):
- التشبيه: تخيل أن الفيديو يظهر شخصًا يحاول المشي على الماء. إذا قال الروبوت: "نعم، هذه طريقة عادية للتنقل"، فقد فشل في اختبار الواقعية (Factuality). حتى لو بدا في الفيديو أن شخصًا يمشي على الماء (ربما بسبب مؤثرات خاصة)، يجب أن يعرف الروبوت أن البشر لا يمكنهم المشي على الماء بناءً على فيزياء العالم الحقيقي.
- الهدف: هل يعرف الروبوت قواعد الواقع، حتى عندما يحاول الفيديو خداعه؟
٢. "صالة الألعاب الرياضية" للاختبار القاسي
كانت الاختبارات السابقة تشبه نزهة هادئة في الحديقة؛ حيث يشاهد الروبوتات فيديو واضح وعالي الجودة ثم يجيبون على الأسئلة. لكن الفيديوهات في العالم الحقيقي فوضوية! قد تكون مشوشة، أو تحتوي على ترجمة سيئة، أو يتم تعديلها.
INFACT تشبه صالة ألعاب رياضية للاختبار القاسي (Stress-test gym) لهذه الروبوتات. فهي تضعهم عبر أربعة تدريبات محددة:
- التمرين ١: الغرفة النظيفة (الوضع الأساسي): يشاهد الروبوت فيديو مثاليًا. هذا فقط لمعرفة مدى ذكائه الطبيعي.
- التمرين ٢: النافذة الضبابية (تدهور الجودة البصرية): يضيف الباحثون تشويشًا، أو ضبابية، أو يجعلون الفيديو يبدو وكأنه تم تسجيله بهاتف رخيص.
- الاختبار: هل لا يزال بإمكان الروبوت رؤية القطة وهي تطارد الفأر، أم أنه يرتبك بسبب "الضباب" ويبدأ في التخمين؟
- التمرين ٣: التلاعب بالعقول (فساد الأدلة): هذا هو الجزء الماكر. يضيف الباحثون ترجمة مزيفة أو نصوصًا مضللة فوق الفيديو.
- الاختبار: يظهر الفيديو بابًا يُفتح، لكن الترجمة المزيفة تقول "الباب يغلق". هل يثق الروبوت في عينيه، أم يتم خداعه بالنص؟ (تنبيه: الكثير من الروبوتات تُخدع بسهولة).
- التمرين ٤: المسافر عبر الزمن (التدخل الزمني): يأخذ الباحثون فيديو لشخص يصنع شطيرة (خبز، ثم زبدة فول سوداني، ثم مربى) ويقومون بخلط الإطارات بحيث يبدو الأمر وكأنه وضع المربى أولاً، ثم زبدة الفول السوداني، ثم الخبز.
- الاختبار: هل يدرك الروبوت أن الترتيب خاطئ؟ أم يقول فقط: "نعم، يبدو هذا كشطيرة"، متجاهلاً الفوضى؟
٣. النتائج: "الذكاء" لا يعني "الموثوقية"
اختبر الباحثون ١٤ روبوت فيديو مختلفًا (بما في ذلك أسماء كبيرة مثل GPT-5 وGemini). إليكم ما وجدوه:
- مشكلة "الثقة المفرطة": العديد من الروبوتات بارعة في اختبار "الغرفة النظيفة" وتحصل على درجات عالية. لكن بمجرد إضافة الضباب أو النصوص المزيفة، ينهار أداؤهم. الأمر يشبه طالبًا حفظ إجابات اختبار تجريبي، لكنه رسب في الامتحان الحقيقي عندما تغيرت الأسئلة قليًا.
- مشكلة "العمى الزمني": عندما قام الباحثون بخلط إطارات الفيديو، لم يلاحظ العديد من الروبوتات ذلك حتى! استمروا في تقديم نفس الإجابة كما لو لم يتغير شيء. يسمى هذا القصور الذاتي الزمني (Temporal Inertia). إنه يشبه مشاهدة فيلم يُعرض بالعكس والقول: "هذه قصة طبيعية تمامًا"، لأن الروبوت لا يتتبع في الواقع تسلسل الأحداث، بل يكتفي برصد "الانطباع العام".
- فجوة "الحقائق": كان الروبوتات أسوأ بكثير في اختبار "الواقعية" (معرفة قواعد العالم الحقيقي) مقارنة باختبار "الأمانة" (مشاهدة الفيديو). غالبًا ما يتخيلون فيزياء غريبة أو حقائق تاريخية خاطئة بكل ثقة تامة.
٤. لماذا يهم هذا؟
فكر في هذه النماذج اللغوية الكبيرة للفيديو (Video-LLMs) كأنها مستقبل التشخيص الطبي، أو مراقبة الأمن، أو الأدوات التعليمية.
- إذا شاهد روبوت طبي فيديو لجراحة وتخيل استخدام أداة معينة بينما لم تُستخدم، فهذا أمر خطير.
- إذا شاهد روبوت أمني فيديو لشخص يمشي على الماء (مؤثر خاص) وأبلغ عن وقوع حدث حقيقي، فهذا إنذار كاذب.
INFT هو "جهاز كشف الكذب" الجديد الذي لا يسأل فقط "هل أنت ذكي؟"، بل يسأل "هل أنت موثوق عندما تصبح الأمور فوضوية؟"
الخلاصة
تخلص الورقة إلى أنه لا يكفي أن يحصل الروبوت على درجة "امتياز" في اختبار نظيف لكي نثق به في العالم الحقيقي. نحن بحاجة إلى بناء روبوتات لا تكتفي بحفظ الأنماط فح، بل تفهم حقًا ما تراه وتعرف كيف يعمل العالم، حتى عندما يكون الفيديو ضبابيًا، أو مربكًا، أو يحاول خداعها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.