FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs
تقدم هذه الورقة البحثية FREAK، وهو معيار تقييم شامل للهلوسة دقيق التفاصيل يستخدم صوراً واقعية عالية الجودة مع تعديلات تخالف المنطق السليم للكشف عن مشكلات الهلوسة الشديدة في النماذج اللغوية الكبيرة متعددة الوسائط الحديثة وتوفير رؤى أعمق لعمليات الاستدلال الخاصة بها من خلال مجموعات فرعية محكومة وتحليل سلسلة الأفك (Chain-of-Thought).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً ذكياً جداً يمكنه النظر إلى الصور ووصف ما يراه. قد تفكر: "رائع! إنه يرى كلباً، لذا سيقول 'كلب'". ولكن ماذا لو كان الآلي في الواقع ينظر إلى صورة لقطة ترتي قطة تنكرية على هيئة كلب، ومع ذلك يقول بكل ثقة: "هذا كلب"؟
هذا هو بالضبط ما يحدث مع النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). فهي ذكية للغاية، لكنها غالباً ما تعاني من "الهلوسة". فهي تعتمد بشكل كبير على ما "تعرفه" من تدريبها (مثل أن الكلاب عادة لها أربعة أرجل) لدرجة أنها تتجاهل ما هو موجود بالفعل في الصورة (مثل كلب له خمس أرجل).
تقدم هذه الورقة البحثية أداة جديدة تسمى FREAK للإمساك بهذه الروبوتات متلبسة.
ما هي FREAK؟
فكر في FREAK كأنها لعبة "أوجد الفروق" مصممة لخداع الروبوتات.
لقد أنشأ الباحثون مجموعة خاصة من الصور التي تبدو طبيعية تماماً للوهلة الأولى، مثل صورة لإشارة مرور أو جيتار. لكنهم قاموا سراً بتعديل تفاصيل دقيقة ومحددة لكسر قوانين الواقع:
- إشارة مرور حيث يكون الضوء الأحمر في الأسفل والأخضر في الأعلى.
- جيتار بـ خمسة أوتار بدلاً من ستة.
- ساعة بـ أربع عقارب بدلاً من ثلاث.
تُسمى هذه التعديلات "التناقض مع المنطق السليم" (Counter-Commonsense - CCS). وهي دقيقة بما يكفي بحيث يلاحظها البشر فوراً، لكنها مصممة لإرباك "المنطق السليم" لدى الروبوت.
كيف صنعوا الاختبار (تشبيه "الخبز")
لم يكن إنشاء هذه الصور المخادعة أمراً سهلاً. لم يقم الباحثون برسمها يدوياً (لأن ذلك بطيء جداً!)، بل بنوا خط تجميع آلي:
- طباخ الأفكار (النموذج اللغوي الكبير - LLM): يأتي ذكاء اصطناعي نصي بفكرة مجنونة، مثل "إشارة مرور مع تبديل الأضواء".
- الخباز (مولد الصور): يقوم ذكاء اصطناعي آخر بـ "خبز" صورة واقعية ومثالية لإشارة مرور عادية.
- شيف الحلويات (محرر الصور): يأخذ ذكاء اصطناعي ثالث تلك الصورة العادية ويقوم باستبدال الأضواء الحمراء والخضراء جراحياً، مما يجعلها تبدو حقيقية ولكن خاطئة.
- المتذوق (البشر): يقوم بشر حقيقيون بفحص الصور للتأكد من أن الخدعة واضحة وأن الصورة تبدو حقيقية.
النتائج: فشلت الروبوتات فشلاً ذريعاً
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي في العالم (مثل GPT-4 وGemini وغيرها) في اختبار FREAK.
- البشر: أصابوا بنسبة 87%. كان الأمر سهلاً بالنسبة لنا لأننا نظرنا فعلياً إلى الصورة.
- نماذج الذكاء الاصطناي: أصابت بنسبة 45% فقط.
التشبيه: تخيل أنك تعرض دائرة مربعة على إنسان وروبوت. الإنسان يقول: "هذه دائرة مربعة!". أما الروبوت، وبسبب تذكره بأن الدوائر مستديرة والمربعات مربعة، يقول: "لا، هذه دائرة"، أو "هذه مربعة"، متجاهلاً تماماً الشكل الغريب الذي أمامه. الذكاء الاصطناعي واثق جداً في "معرفته" لدرجة أنه يرفض تصديق "عينيه".
فخ "التفكير" (سلسلة الأفكار - Chain-of-Thought)
حاول الباحثون حيلة شائعة تسمى "سلسلة الأفكور" (CoT)، حيث يطلبون من الروبوتات "التفكير خطوة بخطوة" قبل الإجابة، آملين أن يساعدهم ذلك على التمهل والنظر بدقة أكبر.
النتيجة: جعلت الأمور أسوأ.
- التشبيه: الأمر يشبه طلبك من شخص سيء في الرياضيات أن "يشرح خطواته" أثناء حل مسألة. فبدلاً من المساعدة، يبدأ في التحدث ليحشر نفسه في زاوية، مقنعاً نفسه بأن الإجابة الخاطئة هي الصحيحة لأنها تبدو منطقية في رأسه.
- بدأت نماذج الذكاء الاصطناعي في "الاستنتاج" للوصول إلى هلوسة. فقد ينظرون إلى الضوء الأحمر في الأسفل، ويفكرون: "إشارات المرور عادة ما يكون الأحمر في الأعلى"، ثم يتحدثون لتقنع أنفسهم بتجاهل الضوء الأحمر الموجود في الأسفل.
لماذا هذا مهم؟
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تظهر أن حتى أكثر نماذج الذكاء الاصطناي تقدماً لا تزال عمياء عن التفاصيل عندما يتعارض علمها الداخلي مع الواقع. إنهم مثل شخص حفظ خريطة مدينة عن ظهر قلب، لكنه يرفض النظر من النافذة عندما تتغير المباني.
تمنحنا FREAK طريقة جديدة لقياس مدى "العمى" لهذه النماذج، مما يساعد المطورين على بناء ذكاء اصطناعي أفضل وأكثر صدقاً، يرى حقاً ما هو موجود، بدلاً من مجرد التخمين بناءً على ما "يجب" أن يكون موجوداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.