ملخص تقني: CAST – التخفيف من هلاوس الكائنات في النماذج اللغوية البصرية الكبيرة عبر توجيه الانتباه البصري الموجه بالوصف

1. بيان المشكلة

حققت النماذج اللغوية البصرية الكبيرة (LVLMs) أداءً ملحوظًا في المهام النهائية، لكنها تعاني بشكل متكرر من هلاوس الكائنات (Object Hallucination)، حيث تولد المحتويات التي تحيد عن المدخلات البصرية أو تتعارض معها. تندرج استراتيجيات التخفيف الحالية عمومًا تحت فئتين، كلتاهما تعاني من قيود كبيرة:

• الطرق القائمة على التدريب: تعتمد هذه الطرق على مجموعات بيانات منسقة بعناية وتوسيم يدوي مكلف أو تعلم تعزيزي (RLHF)، مما يترتب عليه تكاليف حوسبة وبيانات عالية.
• استراتيجيات فك التشفير الخالية من التدريب: غالبًا ما تؤدي طرق مثل فك التشفير التبايني (مثل VCD و OPERA) إلى زيادة زمن الاستجابة أثناء الاستدلال بشكل كبير، مما يجعلها أقل عملية للتطبيقات في الوقت الفعلي.

علاوة على ذلك، تشير دراسات التفسير إلى أن عدم كفاية الانتباه للمعلومات البصرية هو السبب الجذري للهلاوس. ومع ذلك، فإن القليل من الطرق تعالج هذا الأمر صراحةً عن طريق تعزيز الإدراك البصري دون تعديل معاملات النموذج أو إدخال عبء استدلال ثقيل.

2. المنهجية: توجيه الانتباه البصري الموجه بالوصف (CAST)

يقترح المؤلفون CAST، وهو طريقة خالية من التدريب، جاهزة للاستخدام (plug-and-play)، تعمل على التخفيف من هلاوس الكائنات عن طريق توجيه آليات الانتباه للنموذج أثناء الاستدلال. الرؤية الجوهرية التي تقود CAST هي ملاحظة أن استعلامات الوصف (مثل "يرجى وصف هذه الصورة بالتفصيل") تحفز انتباهًا بصريًا معززًا بشكل كبير في رؤوس انتباه محددة مقارنة باستعلامات غير الوصف (مثل "هل يوجد خوذة في الصورة؟").

تعمل CAST في ثلاث مراحل متميزة:

أ. سبر رؤوس الانتباه الموجهة بالوصف

تحدد الطريقة أولاً "رؤوس الانتباه الموجهة بالوصف" — وهي رؤوس انتباه محددة داخل طبقات Transformer تظهر حساسية قوية لاستعلامات الوصف.

• الآلية: باستخدام مجموعة بيانات من أزواج (صورة-استعلام)، يقوم المؤلفون بحجب الانتباه للرموز النصية لعزل أنماط الانتباه البصري.
• التصنيف: يتم تدريب مصنف ثنائي (مثل SVM) على مخرجات الانتباه لآخر رمز مدخل للتمييز بين استعلامات الوصف والاستعلامات غير الوصفية.
• الاختيار: يتم اختيار أفضل $K$ من رؤوس الانتباه ذات أعلى دقة تصنيف لتكون أهدافًا للتوجيه. وقد وُجد أن هذه الرؤوس تتركز أساسًا في الطبقات الوسطى من النموذج.

ب. تقدير ناقلات الإدراك المنقحة

بمجرد تحديد الرؤوس المستهدفة، تقوم الطريقة بحساب ناقلات الإزاحة (shift vectors) التي تمثل الفرق في مخرجات الانتباه بين استعلامات الوصف والاستعلامات غير الوصفية.

• الحساب: لكل رأس مختار، يتم حساب ناقل الإزاحة $S^{(l,h)}$ كمتوسط الفرق بين مخرج الانتباه عند تغذيته باستعلام وصف ($O^{(l,h)}$) واستعلام غير وصفي ($O'^{(l,h)}$):
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• الغرض: تقيس هذه الناقلات "اتجاه الإدراك الدقيق"، حيث تلتقط بفعالية حالة الانتباه البصري الكافي المستحث بواسطة استعلامات الوصف.

ج. التوجيه أثناء الاستدلال

أثناء استدلال استعلام غير وصفي (السيناريو الشائع حيث تحدث الهلاوس)، يتم تطبيق ناقلات الإزاحة المحسوبة مسبقًا على رؤوس الانتباه المختارة.

• قاعدة التحديث: يتم تحديث الحالة المخفية عن طريق إضافة نسخة مُدرجة (scaled) من ناقل الإزاحة إلى مخرج الانتباه لرؤوس الانتباه الموجهة بالوصف:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  حيث $I^{(l,h)}$ هي دالة بوابة (1 للرؤوس المختارة، و0 لغيرها)، و $\alpha$ يتحكم في شدة التوجيه.
• الأثر: يعمل هذا على توجيه انتباه النموذج من حالة "غير كافية" (عرضة للهلاوس) إلى حالة "كافية" (إدراك بصري معزز)، مما يخفف فعليًا من هلاوس الكائنات دون إعادة تدريب النموذج.

3. المساهمات الرئيسية

1. رؤية جديدة: يعد هذا العمل الأول الذي يكشف ويقيس صراحةً تأثير استعلامات الوصف مقابل الاستعلامات غير الوصفية على أنماط تنشيط الانتباه في النماذج اللغوية البصرية الكبيرة، مع تحديد رؤوس انتباه محددة مسؤولة عن الإدراك البصري الدقيق.
2. طريقة CAST: نهج خالٍ من التدريب، جاهز للاستخدام، يعمل على تنقية مخرجات رؤوس الانتباه الموجهة بالوصف أثناء الاستدلال. لا يتطلب أي تحديث لمعاملات النموذج ويضيف تكلفة استدلال ضئيلة.
3. تقييم شامل: تُظهر التجارب المكثفة أن CAST يخفف من الهلاوس بفعالية مع الحفاظ على القدرات الأساسية للنموذج (مثل الاستنتاج و OCR) ويتعمم عبر بنيات نماذج مختلفة (LLaVA, Qwen-VL, LLaVA-NeXT).

4. النتائج التجريبية

قيم المؤلفون CAST عبر خمسة معايير مستخدمة على نطاق واسع (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) وخمسة نماذج لغوية بصرية كبيرة مختلفة.

• التخفيف من الهلاوس:
  • POPE: حسنت CAST الدقة بمتوسط 5.64% ودرجة F1 بمقدار 5.50% عبر النماذج.
  • CHAIR: قللت متوسط مقاييس الهلاوس (CS و CI) بمقدار 6.43 نقطة.
  • MMHal--Bench: قللت معدل الهلاوس (VH.%) بمقدار 2.95% وحسنت درجة المعلوماتية.
  • الأداء العام: في المتوسط، قللت CAST من هلاوس الكائنات بنسبة 6.03% عبر خمسة نماذج لخمسة معايير.
• الكفاءة: على عكس طرق فك التشفير التبايني التي تزيد من وقت الاستدلال بشكل كبير (على سبيل المثال، تزيد VCD من TPOT بمقدار 2.7 ضعفًا)، تضيف CAST تأخيرًا ضئيلاً (مقارن بالنموذج الأساسي، ~1.0x).
• الحفاظ على القدرات: حسنت CAST الأداء في معيار MME عبر جميع مهام الإدراك والإدراك المعرفي، مما يثبت أنها لا تضعف القدرات الأساسية الأخرى للنموذج.
• التعميم: أثبتت الطريقة فعاليتها على النماذج المتقدمة (Qwen2-VL, InternVL2) والمهام المتخصصة في المجال (Medical VQA-RAD, OCR)، مما يؤكد متانتها.

5. الأهمية والادعاءات

يزعم البحث أن CAST تقدم حلاً من فئة الحالة الراهنة (SOTA) للتخفيف من هلاوس الكائنات في النماذج اللغوية البصرية الكبيرة من خلال الاستفادة من أنماط الانتباه المتأصلة المستحثة باستعلامات الوصف. تكمن أهميتها في:

• فعالية التكلفة: تلغي الحاجة إلى التوسيم اليدوي المكلف أو إعادة التدريب.
• الكفاءة: تتجنب زمن الاستجناء العالي المرتبط باستراتيجيات فك التشفير التبايني.
• الرؤية الآلية: توفر آلية واضحة وقابلة للتفسير للتخفيف من الهلاوس من خلال استهداف رؤوس الانتباه المسؤولة مباشرة عن الإدراك البصري.

يخلص المؤلفون إلى أن CAST تعزز فعليًا قدرة الإدراك البصري الدقيق للنماذج اللغوية البصرية الكبيرة، مما يوفر مسارًا عمليًا وفعالًا لتقليل الهلاوس دون المساس بجدوى النموذج.