🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

تقدم هذه الورقة "درجة عدسة التعليمات" (InsLen)، وهي أداة جاهزة للاستخدام للكشف عن هلوسة الكائنات في النماذج اللغوية الكبيرة متعددة الوسائط، والتي تستفيد من تضمينات رموز التعليمات لتتفوق على الأساليب الحالية دون الحاجة إلى نماذج مساعدة أو تدريب إضافي.

المؤلفون الأصليون: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

نُشر 2026-05-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً (نموذج لغوي كبير متعدد الوسائط) يمكنه النظر إلى الصور ووصفها بالتفصيل. تسأله: "ماذا ترى؟" فيبدأ بالحديث. ولكن في بعض الأحيان، يصبح هذا الروبوت خيالياً أكثر من اللازم؛ فقد ينظر إلى صورة لجبل مغطى بالثلوج مع متزلجين ويقول بثقة: "أرى حقيبة حمراء على المتزلج"، رغم عدم وجود حقيبة في الصورة. يُسمى هذا "هلوسة الأشياء" (Object Hallucination).

تقدم الورقة البحثية أداة جديدة تسمى "درجة عدسة التعليمات" (Instruction Lens Score - InsLen) للإمساك بهذه الأكاذيب. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة: "الكاميرا المشوشة" مقابل "المرشد الذكي"

فكر في نظام الرؤية الخاص بالروبوت ككاميرا قد ترتبك أحياناً بسبب الإضاءة السيئة أو الانعكاسات. قد ترى ظلاً يشبه الحقيبة وتخبر عقل الروبوت: "هيه، هناك حقيبة!".

عادةً، تحاول الطرق الأخرى التحقق من إجابة الروبوت عبر النظر إلى البيانات الخام للكاميرا (التمثيلات البصرية - visual embeddings). ولكن إذا كانت الكاميرا مرتبكة، فإن عملية التحقق هذه ستفشل.

لقد اكتشف المؤلفون شيئاً مفاجئاً: تعليماتك (النص الذي تكتبه، مثل "يرجى وصف الصورة") تعمل مثل "مرشد ذكي". فبالرغم من أن الكاميرا مشوشة، إلا أن المرشد الذكي لديه طريقة لتصفية هذا التشويش. فعندما يقرأ الروبوت تعليماتك، فإنه "يعرف" ضمنياً ما هو موجود بالفعل في الصورة ويمكنه تجاهل إشارة "الحقيبة" المزيفة القادمة من الكاميرا المرتبكة.

الحل: "عدسة التعليمات"

بنى الباحثون كاشفاً يسمى InsLen يعمل مثل عدسة مكبرة تركز خصيصاً على أفكار "المرشد الذكي"، بدلاً من التركونة على الكاميرا.

وهي تقسم هذا إلى فحصين رئيسيين:

1. "فحص الواقع" (درجة المعايرة المحلية - Calibrated Local Score)

التشبيه: تخيل أن محققاً (الكاميرا) وجد دليلاً يبدو كأنه حقيبة. لكن قاضياً حكيماً (التعليمات) ينظر إلى نفس الدليل ويقول: "لا أعتقد أن هذه حقيبة؛ إنها مجرد ظل".
كيف يعمل: تأخذ الطريقة "ثقة" الروبوت في رؤية الحقيبة. إذا كانت الكاميرا متحمسة بشأن الحقيبة، ولكن "المرشد الذكي" (التعليمات) متشكك جداً ويعطي احتمالية منخفضة لها، فإن النظام يعرف أنه يجب معايرة (خفض) هذه الثقة. إنه يقول فعلياً: "الكاميرا تكذب؛ المرشد يعرف الحقيقة".

2. "فحص السياق" (درجة اتساق السياق - Context Consistency Score)

التشبيه: تخيل أنك تحاول تحديد هوية شخص في حشد.
- الفحص المحلي: تنظر إلى بقعة ضبابية من البكسلات تبدو وكأنها وجه.
- فحص السياق: تسأل "المرشد الذكي": "هل يتناسب هذا الشخص مع قصة المشهد بأكمله؟". إذا كان المشهد منحدر تزلج، فإن المرشد يعرف أنه يجب أن يكون هناك متزلجون وثلوج، ولكن رب الله "حقيبة" تطفو في الهواء.
كيف يعمل: تنظر الطريقة إلى فهم "المرشد الذكي" للمشهد بأكمله. فهي تتحقق مما إذا كان الشيء الذي يدعي الروبوت رؤيته (مثل "حقيبة") يتناسب مع القصة الشاملة التي يرويها المرشد. إذا كانت قصة المرشد لا تدعم وجود حقيبة، فإن النظام يصنف ذلك كـ "هلوسة".

لماذا هذا أفضل؟

حاولت معظم الطرق السابقة إصلاح الروبوت عن طريق إضافة المزيد من الآلات الثقيلة (مثل سؤال ذكاء اصطناعي ثانٍ فائق التكلفة للتحقق من العمل) أو تدريب الروبوت ليكون مثالياً (وهو أمر يستغرق وقتاً طويلاً جداً).

إن InsLen مختلف لأنه:

"جاهز للاستخدام مباشرة" (Plug-and-Play): لا تحتاج إلى إعادة تدريب الروبوت أو إضافة أدوات جديدة باهظة الثمن. أنت فقط تستخدم أفكار "المرشد الذكي" الداخلية الخاصة بالروبوت للتحقق من عمله.
سريع: لا يضيف أي وقت إضافي تقريباً إلى عملية تفكير الروبوت.
دقيق: في اختباراتهم، أمسكت هذه الطريقة بأكاذيب أكثر من أي طريقة أخرى جربوها، حتى عندما كان الروبوت ينظر إلى صور مخادعة حيث تبدو الأشياء الحقيقية والمزيفة متشابهة جداً (مثل الملعقة والسكين).

الملخص

تزعم الورقة البحثية أنه من خلال الاستماع إلى تعليمات الروبوت (المرشد الذكي) بدلاً من مجرد الاستماع إلى عينيه (الكاميرا)، يمكننا تصفية الأشياء المزيفة بفعالية. تجمع "درجة عدسة التعليمات" (InsLen) بين "فحص الواقع" (معايرة ثقة الكاميرا) و"فحص السياق" (التأكد من ملاءمة الشيء للقصة) لإنشاء كاشف أكاذب موثوق للغاية لوصف الصور بالذكاء الاصطناعي.

ملخص تقني: درجة عدسة التعليمات (Instruction Lens Score) للكشف عن هلوسة الأشياء

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات كبيرة في الفهم والاستدلال البصري. ومع ذلك، يظل هلوسة الأشياء (Object Hallucination - OH) عائقاً حرجاً أمام نشرها الموثوق؛ حيث تولد النماذج أوصافاً لأشياء غير موجودة في الصور المدخلة. تواجه طرق الكشف الحالية عائقين رئيسيين:

الاعتماد على نماذج مساعدة: تعاني الطرق التي تعتمد على نماذج خارجية (مثل GPT-4) أو كواشف هلوسة مخصصة من عبء حسابي كبير وتتطلب تدريباً إضافياً.
الضعف أمام الإشارات البصرية المضللة: غالباً ما تعاني درجات الكشف القائمة على الرؤية (مثل أوزان الانتباه، أو التشابه المحلي) من ثقة عالية زائفة عندما تُدخل المشفرات البصرية معلومات مضللة، أو عندما تشبه الأنماط البصرية المحلية للأشياء المهلوسة الأشياء الحقيقية (مثل الأنسجة المتشابهة للملاعق والسكاكين).

المنهجية: درجة عدسة التعليمات (InsLen)

يقترح البحث درجة عدسة التعليمات (Instruction Lens Score - InsLen)، وهو كاشف يعمل بنظام "التوصيل والتشغيل" (plug-and-play) ولا يتطلب تدريباً، حيث يستفيد من التضمينات الداخلية لرموز التعليمات (instruction tokens) لتصفية المعلومات البصرية المضللة. تكمن الفكرة الجوهرية في أن تضمينات التعليمات تشفر ضمناً معلومات بصرية مرتبطة بالصورة مع كبح الإشارات الخاطئة الناتجة عن التضمينات البصرية بفعالية.

تستخدم الطريقة تقنية عدسة اللوجيت (Logit Lens) لإسقاط تضمينات الطبقات المتوسطة إلى فضاء المفردات لتحليل توزيعات الثقة. تتكون InsLen من مكونين متكاملين:

1. الدرجة المحلية المعايرة ( $S_{cls}$ )

يعالج هذا المكون مشكلة الثقة المفرطة الزائفة في الدرجات القائمة على الرؤية.

الآلية: تقدم ثقة المعايرة ( $S_{cafe}$ ) من خلال قياس أقصى ثقة مُنحت لرمز الشيء عبر جميع تضمينات التعليمات.
المنطق: بما أن تضمينات التعليمات تقوم بتصفية الإشارات البصرية المضللة، فإن الأشياء المهلوسة تتلقى ثقة أقل في هذا الإسقاط.
الدمج: يتم دمج $S_{cafe}$ ضربياً مع الدرجات القائمة على الرؤية (مثل درجة التشابه المحلي، أو الثقة الداخلية) لمعايرة الأدلة البصرية المحلية:
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. درجة اتساق السياق ( $S_{ccs}$ )

يعالج هذا المكون قصور التضمينات البصرية على مستوى الرقعة (patch-level)، والتي قد تفشل في التمييز بين الأشياء ذات الأنسجة المحلية المتشابهة.

الآلية: تقوم بتجميع تضمينات التعليمات التي تمنح احتمالية عالية لرمز الشيء لتشكيل تمثيل سياقي عالمي ( $\bar{z}$ ).
المنطق: تلتقط تضمينات التعليمات سياق الشيء العالمي. ويتم قياس الاتساق بين تضمين رمز الشيء المُولد ( $h_o$ ) والسياق التعليمي المجمع ( $\bar{z}$ ) باستخدام مسافة $\ell_2$ المعيرة.
الوزن: يتم وزن درجة الاتساق بمتوسط الثقة لتضمينات التعليمات المختارة لضمان الموثوقية:
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

التسجيل النهائي

الدرجة النهائية لـ InsLen هي مزيج مرجح من درجة المعايرة المحلية ودرجة اتساق السياق:
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
حيث أن $\omega$ هو معامل فائق (hyperparameter).

المساهمات الرئيسية

تحليل تضمينات التعليمات: يكشف المؤلفون أن تضمينات التعليمات في النماذج اللغوية الكبيرة متعددة الوسائط تشفر ضمناً دلالات بصرية موثوقة ويمكنها تصفية المعلومات المضللة الناتجة عن التضمينات البصرية بفعالية، وهي قدرة تم التغافل عنها سابقاً في كشف الهلوسة.
الكاشف المقترح (InsLen): كاشف مبتكر لا يتطلب تدريباً، يدمج الأدلة البصرية المعايرة مع اتساق السياق القائم على التعليمات دون الحاجة إلى نماذج مساعدة أو تدريب إضافي.
تقييم شامل: تُظهر التجارب المكثفة عبر العديد من الاختبارات المرجعية (MSCOCO, Objects365, POPE, CLEVR) وبنيات نماذج MLLM متنوعة (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) فعالية الطريقة.

النتائج التجريبية

الأداء: تتفوق InsLen باستمرار على الطرق الرائدة الحالية (مثل GLSIM, SVAR, Internal Confidence) عبر جميع الاختبارات المرجعية وبنيات النماذج المختبرة.
- في اختبار MSCOCO مع نموذج Qwen3-VL، حسنت InsLen من قيمة AUROC بنسبة 7.70% مقارنة بأقوى خط أساس (GLSIM).
- في اختبار POPE، حققت زيادة تصل إلى 13.81% في AUROC مقارنة بخطوط الأساس لنموذج LLaVA-1.5.
- في اختبار CLEVR (لاختبار هلوسة السمات والعلاقات)، أظهرت InsLen أداءً فائقاً، لا سيما في النماذج الأقوى مثل Qwen3-VL (77.72% AUROC مقابل 73.01% لـ SVAR).
المتانة: تظل الطريقة فعالة في النماذج التي خضعت للضبط اللاحق (مثل LLaVA-RLHF, LLaVA-RLAIF-V) وتُظهر استقراراً عبر أطوال تعليمات المدخلات المختلفة وإعدادات المعاملات الفائقة ( $\omega$ , $m$ , $\tau$ ).
الكفاءة: رغم إدخال عبء حسابي أعلى قليلاً من بعض خطوط الأساس (حوالي 104 مللي ثانية مقابل 95 مللي ثانية لـ LLaVA-1.5)، إلا أن التكلفة ضئيلة مقارنة بتوليد الإجابات وأقل بكثير من الطرق التي تتطلب نماذج مساعدة أو عمليات تصفير (مثل EAZY).

الأهمية والادعاءات

يزعم البحث أن درجة عدسة التعليمات (Instruction Lens Score) توفر إشارة قيمة وغير مستغلة لتحسين موثوقية توليد النماذج اللغوية الكبيرة متعددة الوسائط. ومن خلال إثبات أن تضمينات التعليمات يمكنها تصفية المعلومات البصرية المضللة بفعالية، يقدم هذا العمل منظوراً جديداً لكشف الهلوسة لا يعتمد على موارد خارجية أو إعادة تدريب. يضع المؤلفون InsLen كحل قوي وجاهز للعمل (plug-and-play) يعزز موثوقية النماذج اللغوية الكبيرة متعددة الوسائط في التطبيقات الواقعية حيث تشكل هلوسة الأشياء مخاطر كبيرة.