🤖 AI

FINER: MLLMs Hallucinate under Fine-grained Negative Queries

تقدم هذه الورقة FINER، وهو إطار عمل ومعايير مصممة لكشف وتحليل الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط الناتجة عن الاستعلامات السلبية دقيقة التفاصيل، وتقترح FINER-Tuning للتخفيف بشكل كبير من هذه الأخطاء مع تعزيز الأداء العام للنموذج.

المؤلفون الأصليون: Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً، كثير السفر، يحب النظر إلى الصور ووصفها. هذا الصديق هو نموذج لغوي كبير متعدد الوسائط (MLLM). إنه بارع في قول: "أنا أرى كلباً!" أو "هذه سيارة حمراء!".

ولكن، هناك مشكلة؛ فأحياناً يصبح هذا الصديق واثقاً من نفسه أكثر من اللازم ويبدأ في اختلاق الأمور. وهذا ما يسمى الهلوسة (Hallucination). قد يقول: "أرى كلباً يرتدي قبعة"، رغم أن الكلب لا يرتدي أي شيء على رأسه.

المشكلة: فخ "التفاصيل الدقيقة"

الاختبارات الحالية لهذه الأصدقاء الآليين تشبه لعبة "أوجد الفروق" التي تعتمد على تغييرات كبيرة وواضحة.

الاختبار القديم: "هل يوجد كلب في هذه الصورة؟" (إذا كان هناك قط، سيقول الذكاء الاصطناعي "لا". هذا سهل!).
الواقع الحقيقي: يطرح الناس أسئلة دقيقة ومعقدة مثل: "هل هذا كلب بني اللون ذو آذان متدلية يجلس تحت الطاولة؟"

تجادل الورقة البحثية بأن النماذج الحالية للذكال الاصطناعي سيئة جداً في هذا الأمر. إذا سألت: "هل يوجد كلب بنفسجي؟" وكان هناك كلب بني، فغالباً ما يرتبك الذكاء الاصطناعي. فهو يرى كلباً، لذا يتجاهل اللون ويقول: "نعم!". لقد فشل في ملاحظة التفصيل المحدد الذي يجعل العبارة خاطئة.

الحل: FINER (المحقق الخاص بالاستعلامات السلبية دقيقة التفاصيل)

ابتكر الباحثون مجموعة جديدة من الاختبارات تسمى FINER. فكر في هذا كاختبار "أسئلة مخادعة" مصمم خصيصاً للإيقاع بالذكاء الاصطناعي وهو يكذب بشأن التفاصيل الصغيرة.

لقد بنوا بنكين ضخمين من الأسئلة:

FINER-CompreCap: يعتمد على صور تم فحصها يدوياً بعناية.
FINER-DOCCI: يعتمد على آلاف الصور ذات الأوصاف الطويلة والمفصلة.

كيف يعمل الاختبار (التمثيل التشبيهي):
تخيل أنك تعرض صورة لـ تفاحة حمراء على الذكاء الاصطناعي.

السؤال المخادع: "هل يمكنك رؤية التفاحة الخضراء؟"
عادة الذكاء الاصطناعي القديمة: "نعم! أنا أرى تفاحة!" (لقد أغفل اللون).
هدف FINER: يجب أن يقول الذكاء الاصطناعي: "لا، أنا أرى تفاحة حمراء، وليست خضراء".

لقد اختبروا أربعة أنواع من الفخاخ:

متعدد العناصر: "هل ترى قطة ومحمصة خبز؟" (يوجد قطة ومصباح).
متعدد السمات: "هل ترى قطة بـ فراء أزرق؟" (القطة لها فراء برتقالي).
متعدد العلاقات: "هل ترى قطة تجلس على الأريكة؟" (القطة تحت الأريكة).
سؤال الـ "ماذا": "على ماذا تجلس القطة الزرقاء؟" (لا توجد قطة زرقاء).

الاكتشاف:
وجد الباحثون أنه كلما أصبحت الأسئلة أكثر تفصيلاً (أكثر دقة)، انهار أداء الذكاء الاصطناعي. كلما أضفت تفاصيل أكثر إلى "الكذبة"، زاد احتمال تصديق الذكاء الاصطناعي لها. الأمر يشبه ساحراً يمكنه اكتشاف ورقة مفقودة، لكنه يُخدع إذا استبدلت نوع الورقة ورقمها.

الإصلاح: FINER-Tuning (مصل الحقيقة)

لإصلاح ذلك، لم يكتفوا بإخبار الذكاء الاصطناعي "توقف عن الكذب"، بل علموه كيفية اكتشاف الأكاذيب في الأسئلة نفسها.

استخدموا تقنية تسمى DPO (تحسين التفضيل المباشر). تخيل تدريب كلب:

الطريقة القديمة: تري الكلب كرة وتقول له "كلب جيد" إذا نبح.
طريقة FINER-Tuning: تري الكلب صورة كرة وتسأله: "هل هذا حذاء؟"
- إذا قال "نعم"، تقول له: "لا، هذا خطأ. انظر بدقة أكبر".
- إذا قال: "لا، هذه كرة"، تقول له: "ممتاز! لقد كشفت الخدعة!"

لقد غدّوا الذكاء الاصطناعي بآلاف من هذه "الأسئلة المخادعة" حيث كانت الإجابة الصحيحة دائماً هي "لا، ولكنني أرى [الشيء الحقيقي]". هذا علم الذكاء الاصطناعي أن يكون قارئاً ناقداً بدلاً من مجرد واصفٍ سلبي.

النتائج: ذكاء اصطناعي أكثر ذكاءً وأمانة

بعد هذا التدريب (FINER-Tuning):

توقف الذكاء الاصطناعي عن الهلوسة: أصبح أفضل بكثير في قول "لا" عندما يكون هناك تفصيل خاطئ.
لم يصبح "كسولاً": أحياناً، عندما تدرب ذكاءً اصطناعياً ليكون أكثر حذراً، يصبح خائفاً من الإجابة على أي شيء. لكن هذه الطريقة جعلت الذكاء الاصطناعي أكثر ذكاءً دون جعله يخشى التحدث. لقد أصبح في الواقع أفضل في المهام العامة أيضاً!
تفوق على العمالقة: حتى أكبر نماذج الذكاء الاصطناعي وأكثرها قوة (مثل InternVL و Qwen) تحسنت بشكل ملحوظ، وأحياناً بنسبة تزيد عن 20%.

الصورة الكبيرة

هذه الورقة البحثية تشبه تعليم طفل كيفية قراءة قائمة الطعام بعنازة. في السابق، كان الطفل سيرى كلمة "بيتزا" ويطلبها فوراً، حتى لو كانت القائمة تقول "بيتزا نباتية" وهو يريد لحماً. الآن، مع FINER، يتعلم الذكاء الاصطناي قراءة كل كلمة، وفحص كل مكون، والاعتراف عندما لا يتطابق الوصف مع الصورة.

إنها خطوة حاسمة نحو جعل الذكاء الاصطناعي جديراً بالثقة، خاصة في مجالات مثل الطب أو القانون، حيث يهم التفصيل الصغير (مثل "حميد" مقابل "خبيث") أكثر من الصورة الكبيرة.

إليك ملخص تقني مفصل لورقة البحث "FINER: MLLMs Hallucinate under Fine-grained Negative Queries" (نماذج اللغات الكبيرة متعددة الوسائط تعاني من الهلوسة تحت الاستعلامات السلبية دقيقة التفاصيل).

1. بيان المشكلة

حققت نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) خطوات كبيرة في الإدراك البصري، لكنها تعاني من الهلوسة (Hallucinations) — أي توليد محتوى غير مدعوم بالصورة. وبينما تنجح المعايير الحالية (مثل POPE وDASH وAMBER) في اكتشاف الهلوسة الخشنة (مثل وجود أو غياب جسم واحد)، إلا أنها تفشل في رصد الأخطاء دقيقة التفاصيل (Fine-grained errors).

غالبًا ما تتضمن الاستعلامات في العالم الحقيقي تركيبات معقدة من أجسام متعددة، وسمات، وعلاقات مكانية. وتواجه النماذج الحالية صعوبة عندما يحتوي الاستعلام على تناقض طفيف (على سبيل المثال: "قطة ذات فراء بني تجلس تحت الكرسي" بينما القطة في الواقع على الكرسي). تحدد الورقة أن هذه النماذج تظهر "هشاشة" تجاه الاستعلامات السلبية دقيقة التفاصيل، حيث يفشل النموذج في رفض استعلام يحتوي على تفصيل واحد خاطئ وسط معلومات صحيحة أخرى، مما يؤدي إلى معدلات عالية من الإيجابيات الكاذبة.

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتكون من معايير جديدة، ومسار لبناء البيانات، واستراتيجية تدريب مبتكرة.

أ. معايير FINER

قدم المؤلفون FINER (الاستعلامات السلبية دقيقة التفاصيل)، والتي تضم معيارين:

FINER-CompreCap: يعتمد على الرسوم البيانية للمشاهد (Scene Graphs) التي تم تصنيفها بشريًا من مجموعة بيانات CompreCap (صور COCO).
FINER-DOCCI: يعتمد على الأوصاف النصية الكثيفة والمصنفة بشريًا من مجموعة بيانات DOCCI، مما يسمح بتقييم واسع النطاق يتجاوز فئات كائنات COCO.

مسار البناء:

استخراج الرسم البياني للمشهد: بالنسبة لـ DOCCI، يقوم مسار متعدد المراحل باستخدام Gemini-2.0-Flash وQwen2.5-VL-72B باستخراج الأجسام، والسمات، والعلاقات من الأوصاف الطويلة، مع التحقق منها عبر عينات بشرية لضمان الدقة.
توليد السلبيات: لكل عنصر إيجابي (جسم، سمة، علاقة)، يقوم النظام بتوليد أربعة نظائر سلبية منطقية دلاليًا ولكنها خاطئة (على سبيل المثال: استبدال "إطار الباب" بـ "عمود").
بناء الاستعلام: تنشئ المعايوهات أربعة إعدادات متميزة لاختبار أنواع محددة من الهلوسة:
- متعدد الأجسام (Multi-obj): أجسام متعددة، أحدها غير صحيح.
- متعدد السمات (Multi-attr): سمات متعددة لجسم واحد، إحداها غير صحيحة.
- متعدد العلاقات (Multi-rel): علاقات متعددة، إحداها غير صحيحة.
- أسئلة الأدوات (Wh-questions): أسئلة تبدأ بـ "ماذا/من" (What/Who) حيث تحتوي المقدمة على سمة خاطئة (مثل: "ماذا يفعل الكلب الأحمر؟" بينما الكلب أسود).
مقياس التقييم: لمنع النماذج من مجرد حفظ أنماط كلمة "لا"، تستخدم المعايير أسئلة الاختيار من متعدد (MCQs). المقياس الأساسي هو الدقة المزدوجة ( $Acc_{paired}$ )، والتي تتطلب من النموذج الإجابة على كل من الاستعلام الإيجابي (نعم) والاستعلام السلبي المقابل (لا) بشكل صحيح.

ب. ضبط FINER (FINER-Tuning)

لمعالجة هذه الثغرات، يقترح المؤلفون FINlu-Tuning، وهي استراتيجية تدريب تعتمد على تحسين التفضيل المباشر (DPO).

توليد البيانات: باستخدام مسار قابل للتوسع مع نموذج Phi-4-14B مفتوح المصدر، قاموا بتوليد بيانات تدريب من أوصاف طويلة (Pixmo-caption).
- العبارات الإيجابية ( $\Psi^+$ ): مستخرجة من الأوصاف (أجسام، سمات، علاقات، سياقات Wh).
- العبارات السلبية ( $\Psi^-$ ): يتم توليدها عن طريق تعديل $\Psi^+$ لإدخال تناقضات دقيقة التفاصيل.
أزواج التفضيل: تتكون بيانات التدريب من أزواج $(x, q, a^+, a^-)$ $(x, q, a^{+}, a^{-})$ حيث:
- $q^+$ (الاستعلام الإيجابي) يقترن بإجابة مقبولة $a^+$ (تؤكد الصورة) وإجابة مرفوضة $a^-$ (تنفي الصورة).
- $q^-$ (الاستعلام السلبي) يقترن بإجابة مقبولة $a^+$ (تنفي الصورة) وإجابة مرفوضة $a^-$ (تؤكد الصورة).
هدف التدريب: يتم تحسين النموذج لترتيب الاستجابة الصحيحة ( $a^+$ ) لتكون أعلى من الاستجابة المهلوسة ( $a^-$ ) لكل من المدخلات الإيجابية والسلبية، مما يجبر النموذج على تعلم اكتشاف عدم التطابق الدقيق.

3. المساهمات الرئيسية

معايير FINER: أول معايير مصممة خصيصًا لتقييم نماذج MLLM على الاستعلامات السلبية دقيقة التفاصيل التي تتضمن أجسامًا وسمات وعلاقات متعددة في آن واحد.
ضبط FINER (FINER-Tuning): وصفة تدريب تعتمد على DPO وغير مرتبطة بنموذج معين، تقلل من الهلوسة بشكل كبير دون الحاجة إلى نماذج مغلقة المصدر مكلفة لتصنيف البيانات (باستخدام Phi-4-14B بدلاً منها).
التحليل المنهجي: دراسة شاملة تكشف أن أداء MLLM ينخفض خطيًا مع زيادة دقة الاستعلام، وأن طرق الضبط الدقيق الحالية "المدركة للهلوسة" (مثل RLAIF-V) لا تعمل بشكل جيد مع الأخطاء دقيقة التفاصيل.

4. النتائج التجريبية

قيم المؤلفون النماذج الرائدة (LLaVA-1.6, Qwen2.5-VL, InternVL-3.5) على FINER والمعايير الأخرى.

الأداء على FINER:
- تظهر النماذج الأساسية انخفاضًا حادًا في الدقة مع زيادة دقة الاستعلام (على سبيل المثال، ينخفض InternVL-3.5-14B من ~75% في استعلامات الجسم الواحد إلى ~20% في استعلامات العلاقات المتعددة المعقدة).
- يحقق ضبط FINER تحسينات هائلة. بالنسبة لـ InternVL-3.5-14B، حقق زيادة تصل إلى 24.2% في إعداد "متعدد العلاقات"، متفوقًا على نسخته ذات الـ 38 مليار معلمة.
- في FINER-DOCCI، طابق أو اقترب نموذج InternVL-3.5-14B المعدل بـ FINER من أداء Gemini-2.5-Flash في 3 من أصل 4 إعدادات.
التعميم على المعايير الأخرى:
- حسن ضبط FINER باستمرار الأداء في معايير الهلوسة الحالية (DASH, POPE, AMBER, HallusionBench, MMHal-Bench).
- والجدير بالذكر أنه قلل معدلات الهلوسة في المعايير التوليدية (على سبيل المثال، خفض معدل الهلوسة في MMHal-Bench إلى 10% لـ InternVL-3.5-14B).
- على عكس بعض الطرق السابقة التي تعاني من "ضريبة المحاذاة" (تحسين السلامة على حساب القدرة)، فإن ضبط FINER حسن القدرات العامة (MMStar, TextVQA, ChartQA) جنبًا إلى جنب مع تقليل الهلوسة.
دراسات الاستبعاد (Ablation Studies):
- التدريب على كل من الاستعلامات الإيجابية والسلبية أمر بالغ الأهمية؛ حيث أدى التدريب على الاستعلامات السلبية فقط أو استخدام الضبط الدقيق الخاضع للإشراف (SFT) إلى نتائج أدنى أو نسيان كارثي.
- أدى التدريب على جميع المجموعات الفرعية الأربع (الجسم، السمة، العلاقة، Wh) إلى تحقيق أكثر النتائج توازنًا ومتانة.

5. الأهمية والخاتمة

توضح الورقة أن نماذج MLLM الحالية معرضة بشدة للهلوسة دقيقة التفاصيل، خاصة عندما تتضمن الاستعلامات تركيبات دلالية معقدة. يوفر تقديم FINER معيارًا صارمًا لتقييم هذه الإخفاقات الدقيقة، والتي تم التغاضي عنها سابقًا من قبل المعايير الخشنة.

تثبت طريقة FINER-Tuning أن محاذاة النماذج لرفض المدخلات السلبية دقيقة التفاصيل عبر DPO هي استراتيجية فعالة للغاية. فهي لا تعالج أنواعًا محددة من الهلوسة فحسب، بل تعزز أيضًا الفهم البصري العام وقدرات الاستدلال للنموذج. تشير هذه العمل إلى أن تطوير MLLM في المستقبل يجب أن يعطي الأولوية للوعي بالنفي دقيق التفاصيل لتحقيق موثوقية حقيقية في التطبيقات الواقعية مثل التصوير الطبي أو القيادة الذاتية، حيث يمكن لخطأ واحد في سمة ما أن يكون حاسمًا.

الموارد: الكود، المعايير، والنماذج متاحة علنًا على الموقع الإلكتروني للمشروع.