ملخص تقني: VAUQ – التكميم الواعي بالرؤية لعدم اليقين في التقييم الذاتي للنماذج اللغوية البصرية الكبيرة (LVLM)

1. بيان المشكلة

أظهرت النماذج اللغوية البصرية الكبيرة (LVLMs) قدرات كبيرة في المهام متعددة الوسائط، لكنها تظل عرضة للهلوسة، لا سيالما عندما تعتمد بشكل كبير على الأولويات اللغوية بدلاً من الأدلة البصرية. تفشل طرق التقييم الذاتي الحالية، المستمدة إلى حد كبير من النماذج اللغوية الكبيرة (LLMs)، في سياقات الرؤية واللغة. تعتمد هذه الطرق عادةً على إشارات داخلية مثل احتمالات الرموز (tokens)، أو الثقة اللفظية، أو الاتساق الدلالي. ومع ذلك، وكما أظهرت الدراسة التجريبية للورقة البحثية، فإن هذه المقاييس مدفوعة بشدة بالأولويات اللغوية. وبناءً على ذلك، قد يُظهر النموذج اللغوي البصري الكبير (LVLM) عدم يقين منخفضًا (ثقة عالية) لاستجابة مهلوسة إذا كانت تلك الاستجابة تتوافق مع التوقعات اللغوية الشائعة، حتى لو كانت تتعارض مع المدخلات البصرية. هذا "السيادة للأولوية اللغوية" تجعل أدوات التقييم الذاتي القياسية غير موثوقة للكشف عن الهلوسة على مستوى الاستجابة حيث يكون الربط البصري (visual grounding) جوهريًا.

التحدي الأساسي هو تطوير إطار عمل للتقييم الذاتي لا يتطلب تدريبًا، يقوم صراحةً بقياس مدى اعتماد النموذج اللغوي البصري الكبير على الأدلة البصرية، والتمييز بين الثقة المستمدة من الربط البصي والثقة المستمدة من الانتظامات اللغوية الإحصائية.

2. المنهجية: إطار عمل VAUQ

يقترح المؤلفون VAUQ (التكميم الواعي بالرؤية لعدم اليقين)، وهو إطار عمل لا يتطلب تدريبًا مصمم لقياس ما إذا كانت ثقة النموذج مبررة بالربط البصري. تعمل الطريقة من خلال مقارنة عدم اليقين التنبئي للنموذج مع وجود المدخلات البصرية المحددة ومن دونها.

2.1 درجة معلومات الصورة (IS)

الرؤية الجوهرية هي أن الأدلة البصرية المعلوماتية والمستخدمة بشكل صحيح يجب أن تقلل من عدم اليقين التنبئي. يُعرف VAUQ درجة معلومات الصورة (IS) لقياس هذا الانخفاض.

• لتكن $H(y | v, t)$ هي الإنتروبيا الشرطية المعيرة بالطول لتوزيع مخرجات النموذج بناءً على السمات البصرية $v$ والنص $t$.
• لتكن $H(y | \emptyset, t)$ هي الإنتروبيا عند إزالة الرموز البصرية (صورة فارغة).
• تُعرف درجة IS الأساسية كالتالي: $IS_{blank} = H(y | \emptyset, t) - H(y | v, t)$.
  تشير الدرجة الأعلى إلى أن الصورة قللت من عدم اليقين بشكل كبير، مما يشير إلى ربط بصري قوي.

2.2 حجب المنطقة المركزية غير الخاضع للإشراف

إن أحد عيوب حجب الصورة بأكملها هو أنها قد تتضمن ارتباطات خلفية زائفة أو ضوضاء. لمعالجة ذلك، يقدم VAUQ استراتيجية حجب المنطقة المركزية غير الخاضعة للإشراف:

• الاختيار القائم على الانتباه: تقوم الطريقة بتجميع أوزان الانتباه البصري من طبقات المحولات (transformer) المتوسطة (التي تم تحديدها تجريبيًا بأنها الأكثر إخبارًا للمحاذاة البصرية-الدلالية).
• الحجب: تحدد الطريقة أعلى $K\%$ من رقع الصور (patches) ذات أعلى درجات الانتباه ($v_{top}$) وتقوم بحجبها، مما ينشئ مدخلًا "محجوب المركز" $v_{masked}$.
• درجة IS المركزية ($IS_{core}$): يتم إعادة حساب الدرجة باستخدام المدخل المحجوب: $IS_{core} = H(y | v_{masked}, t) - H(y | v, t)$.
  من خلال إزالة المناطق التي ينتبه إليها النموذج أكثر، تقوم الطريقة بمعاقبة التنبؤات التي تظل واثقة حتى في غياب الأدلة البصرية المركزية.

2.3 دالة التسجيل النهائية

درجة $s_{VAUQ}$ النهائية هي مزيج خطي من الإنتروبيا التنبئية ودرجة $IS_{core}$ المحجوبة مركزًا:
$$s_{VAUQ}(x, y) = H(y | v, t) - \alpha \cdot IS_{core}$$
$$s_{VAUQ}(x, y) = (1 + \alpha)H(y | v, t) - \alpha H(y | v_{masked}, t)$$
حيث أن $\alpha$ هو معلمة فائقة (hyperparameter).

• التفسير: إذا كان النموذج يعتمد على الأدلة البصرية، فإن حجب المناطق المركزية سيؤدي إلى زيادة كبيرة في الإنتروبيا، مما ينتج عنه $s_{VAUQ}$ منخفض (مما يشير إلى تنبؤ موثوق ومربوط بصريًا). وعلى العكس من ذلك، إذا كان النموذج يعتمد على الأولويات اللغوية، فإن حجب الصورة سيكون له تأثير ضئيل على الإنتروبيا، مما يؤدي إلى $s_{VAUQ}$ مرتفع (مما يشير إلى احتمال وجود هلوسة).

3. المساهمات الرئيسية

1. إطار عمل VAUQ: إطار عمل للتقييم الذاتي جديد لا يتطلب تدريبًا، يقيس صراحةً مدى اعتماد النموذج اللغوي البصري الكبير على الأدلة البصرية دون الحاجة إلى نماذج خارجية أو إشراف مساعد.
2. درجة المعلومات والتحجيم: تقديم درجة معلومات الصورة مقترنة باستراتيجية حجب المنطقة المركزية غير الخاضعة للإشراف. يسمح هذا بالتقاط الاستخدام البصري بطريقة لا تتطلب تسميات (label-free)، مما يميز بفعالية بين الثقة المدفوعة بالأولوية اللغوية والثقة المربوطة بصريًا.
3. تقييم شامل: تجارب واسعة النطاق عبر العديد من النماذج اللغوية البصرية الكبيرة (LVLMs) المتطورة (مثل LLaVA, Qwen2.5-VL, InternVL3.5) ومعايض متنوعة (ViLP, MMVet, VisualCoT, CVBench)، مما يظهر تفوقًا ثابتًا على الطرق الموجودة.

4. النتائج التجريبية

قيم المؤلفون VAUQ مقابل ثمانية نماذج أساسية، بما في ذلك الطرق القائمة على النماذج اللغوية الكبيرة (مثل Perplexity, Semantic Entropy, EigenScore) والطرق الخاصة بالنماذج اللغوية البصرية الكبيرة (مثل SVAR, VL-Uncertainty).

• الأداء: حقق VAUQ باستمرار نتائج متطورة (state-of-the-art) من حيث المساحة تحت منحنى خصائص التشغيل المستقبلي (AUROC) عبر جميع النماذج ومجموعات البيانات المختبرة.
  • في مجموعة بيانات ViLP (المصممة خصيصًا لاختبار الأولويات اللغوية باستخدام صور مضادة للواقع)، حسن VAUQ أفضل طريقة موجودة قائمة على النماذج اللغوية (Semantic Entropy) بنسبة +13.4% على LLaVA-1.5-7B.
  • مقارنة بالطريقة السابقة الأكثر تطورًا للنماذج اللغوية البصرية الكبيرة (VL-Uncertainty)، أظهر VAUQ تحسنًا بنسبة +21.4% على ViLP و +12.6% على VisualCoT.
• السيناريوهات المضادة للواقع: في السيناريوهات الصعبة المضادة للواقع حيث يكون الربط البصري بالغ الأهمية، حقق VAUQ تحسنًا كبيرًا بنسبة +13.3% في AUROC على الطرق المتطورة، مما يسلط الض الضوء على قدرته على اكتشاف الهلوسات التي تغفل عنها الطرق القائمة على الأولوية اللغوية.
• الكفاءة: على عكس طرق تعدد العينات (مثل Semantic Entropy, VL-Uncertainty) التي تتطلب توليد استجابات متعددة ($O(A \cdot M)$)، يتطلب VAUQ عددًا ثابتًا من عمليات التمرير الأمامي الإضافية لتقدير عدم اليقين، مما يحافظ على التعقيد الخطي $O(M)$. لقد حقق انخفاضًا بنسبة 94.6% في وقت الاستنتاج لكل عينة مقارنة بـ VL-Uncertainty مع تقديم دقة أعلى.
• دراسات الاستئصال (Ablation Studies):
  • استراتيجية الحجب: أدى حجب المناطق المركزية ($IS_{core}$) إلى أداء مماثل لاستراتيجية حجب الأرضية الحقيقية (oracle ground-truth masking) وتفوق بشكل كبير على الحجب العشوائي أو حجب الصورة الفارغة.
  • طبقات الانتباه: أكدت التجارب أن الطبقات المتوسطة (مثل الطبقات 10-25 في LLaVA-1.5-7B) توفر أكثر إشارات الانتباه موثوقية لتحديد مناطق الأدلة المركزية.
  • تحليل المكونات: أدى الجمع بين الإنتروبيا التنبئية و $IS_{core}$ إلى تحقيق أداء متوازن عبر كل من التقسيمات الواقعية والمضادة للواقع، بينما فشلت الإنتروبيا وحدها في التعامل مع البيانات المضادة للواقع.

5. الأهمية والادعاءات

تدعي الورقة أن VAUQ يعالج عدم تطابق جوهري في التقييم الذاتي الحالي: فشل المقاييس المتمحورة حول اللغة في مراعاة الربط البصري. من خلال قياس مدى مساهمة المعلومات البصرية في التنبؤ صراحةً، يوفر VAUQ إشارة أكثر موثوقية للكشف عن الهلوسة في عمليات النشر الواقعية.

يضع المؤلفون VAUQ كأداة خفيفة الوزن ولا تتطلب تدريبًا، تتيح تقييم الاستجابة بشكل قابل للتوسع والتعميم. ويؤكدون أنه بينما لا يعد VAUQ آلية سلامة شاملة، فإنه يعمل كأداة مكملة للتنبؤ الانتقائي والمراجعة البشرية، لا سيما في المجالات عالية المخاطر حيث يكون التمييز بين اللغة الفصيحة والاستدلال البصري المربوط أمرًا بالغ الأهمية. يهدف العمل إلى تشجيع الأبحاث المستقبلية في آليات التقييم الذاتي الموثوقة والواعية بالرؤية للنماذج متعددة الوسائط.