DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models
يُعد DO-Bench معياراً تشخيصياً صُمم لتفكيك الهلوسات المتعلقة بالأجسام في نماذج الرؤية واللغة عبر عزل ما إذا كانت الأخطاء ناتجة عن تأثير الأولويات النصية أو عن قصور في الإدراك البصري من خلال تدخلات متعددة الوسائط مهيكلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تقوم بتصحيح امتحان طالب. إذا حصل الطالب على 70%، فأنت تعلم أنه عانى، لكنك لا تعرف لماذا. هل أخطأ في قراءة السؤال؟ هل كان ببساطة لا يعرف الحقائق؟ أم أنه وقع في فخ "سؤال مخادع" بدا منطقياً ولكنه كان خاطئاً في الواقع؟
حالياً، عندما نختبر نماذج الذكاء الاصطنا-ئي (النماذج اللغوية البصرية) لنرى ما إذا كانت تستطيع "رؤية" الأشياء في صورة ما، فإننا نعطيها درجة واحدة فقط: "كم عدد الأشياء التي أصبت فيها؟"
يرى الباحثون وراء DO-Bench أن هذه طريقة سيئة للتقييم. ويقولون إن "الهلوسة" (عندما يرى الذكاء الاصطناعي شيئاً ليس موجوداً، أو يغفل عن شيء موجود) ليست مجرد خطأ واحد بسيط. بل هي في الواقع نوعان مختلفان تماماً من الأخطاء.
لتوضيح ذلك، دعونا نستخدم تشبيه "المحقق ومسرح الجريمة".
نوعا عمل "المحقق السيئ"
اكتشف الباحثون أنه عندما يفشل الذكاء الاصطناعي، يكون ذلك عادةً لواحد من سببين:
1. مشكلة "الرؤية الضبابية" (محدودية الإدراك)
تخيل محققاً ينظر إلى مسرح جريمة ضخم وفوضوي. إنه يبحث عن قرط صغير جداً على الأرض. ولأن الغرفة فوضوية للغاية والقرط صغير جداً، فإنه ببساطة يخطئه. هو لا يكذب؛ هو فقط لم يره بوضوح.
- بمصطلحات الذكاء الاصطناعي: الشيء موجود، لكنه صغير جداً أو مخفي في صورة مزدحمة. الذكاء الاصطناعي "يهلوس" بأنه مفقود لأن "عينيه" ليست حادة بما يكفي.
2. مشكلة "الشاهد القابل للإيحاء" (تجاوز المعلومات المسبقة)
الآن تخيل محققاً آخر. القرط واضح تماماً على الأرض. ولكن قبل دخول المحقق، همس محامٍ في أذنه: "أنا شبه متأكد من عدم وجود أي مجوهرات في هذا المشهد". يدخل المحقق، ويرى القرط، ولكن لأنه تأثر بشدة بما قاله المحامي، يقول: "لا، لا يوجد قرط هنا".
- بمصطلحات الذكاء الاصطناعي: الذكاء الاصطناعي يرى الشيء، لكن النص (السياق) قوي جداً لدرجة أنه "يتجاوز" الصورة. الذكاء الاصطناعي يتم "خداعه" بالكلمات.
ما هو DO-Bench؟ (اختبار الضغط)
بدلاً من مجرد عرض صورة على الذكاء الاصطناعي وسؤاله: "هل هناك قطة؟"، يعمل DO-Bench كـ اختبار ضغط علمي. فهو يأخذ مشهداً واحداً ويتلاعب به بطريقتين محددتين ليرى أي "خطأ محقق" سيرتكبه الذكاء الاصطناعي:
- اختبار التكبير (اختبار الرؤية): يأخذون الصورة ويكبرون (Zoom in) على الشيء تدريجياً (من لقطة واسعة إلى لقطة قريبة). إذا "وجد" الذكاء الاصطنا_ئي الشيء فجأة بمجرد التكبير، فنحن نعلم أن المشكلة كانت رؤية ضبابية.
- اختبار الهمس (اختبار القابلية للإيحاء): يبقون الصورة كما هي تماماً ولكن يغيرون النص. يبدأون بسؤال محايد ("هل هناك قطة؟") ثم ينتقلون ببطء إلى عبارة قوية جداً ("أنا متأكد تماماً من عدم وجود قطة هنا. هل هناك؟"). إذا غير الذكاء الاصطناعي إجابته إلى "لا"، فنحن نعلم أن المشكلة هي القابلية للإيحاء.
لماذا يهم هذا؟
قبل هذه الورقة البحثية، إذا قالت شركة ذكاء اصطناعي: "نموذجنا الجديد أكثر دقة بنسبة 10%!"، لم نكن نعرف ما إذا كانوا قد جعلوا "عيون" الذكاء الاصطناعي أفضل حقاً، أم أنهم فقط جعلوا الذكاء الاصطناعي "عنيداً" لكي لا يستمع للأسئلة المخادعة.
يقدم لنا DO-Bench "تقرير تشخيصي". فهو يخبرنا بـ:
- قدرة الإدراك (PerceptionAbility): مدى جودة رؤية الذكاء الاصطنا_ئي للأشياء عندما نشير إليها؟
- متانة المعلومات المسبقة (PriorRobust): ما مدى سهولة خداع الذكاء الاصطناعي بالكلمات؟
الاكتشاف الكبير: وجد الباحثون أن مجرد جعل الذكاء الاصطناعي "أكبر" (أكثر قوة) لا يحل كلا المشكلتين في وقت واحد. فقد يصبح الذكاء الاصطناعي أفضل بكثير في رؤية الأشياء الصغيرة (عيون أفضل)، لكنه قد يظل بنفس السهولة في الخداع بالكلمات (نفس القابلية للإيحاء).
من خلال الفصل بين هذين النوعين، يساعد DO-Bench المهندسين على التوقف عن التخمين والبدء في إصلاح السبب المحدد وراء هلوسة الذكائهم الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.