ملخص تقني: VIHD - الكشف عن الهلوسة القائم على التدخل البصري

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط الطبية (MLLMs) إمكانات كبيرة في المساعدة في التشخيص السريري من خلال الإجابة على الأسئلة البصرية (VQA) وتوليد التقارير الآلية. ومع ذلك، لا يزال هناك قصور حرج يتمثل في: قيام هذه النماذج بشكل متكرر بتوليد استجابات هلوسة — وهي مخرجات متماسكة لغوياً ولكنها تتعارض مع الأدلة البصرية المقدمة. تشكل هذه الأخطاء مخاطر جسيمة على اتخاذ القرارات السريرية.

تندرج طرق الكشف عن الهلوسة الحالية عموماً تحت ثلاث فئات:

1. الكشف الخاضع للإشراف: يتطلب مجموعات بيانات مشروحة كثيفة الجهد ويواجه صعوبة في التعميم على مجالات أو بنيات جديدة.
2. التحقق الخارجي: يعتمد على نماذج مساعدة أو قواعد معرفية، مما يؤدي إلى زيادة كبيرة في التكاليف الحسابية والاعتماد على أدوات خارجية.
3. الكشف الاستبطاني: طرق ذاتية الاحتواء تُقدر عدم اليقين أو الاتساق المنطقي دون تدريب إضافي. ورغم كفاءتها، إلا أن النهج الاستبطانية الحالية تعتمد غالباً على اضطرابات خارجية استدلالية وغير مرتبطة بالسياق. فهي تعامل النماذج (MLLMs) كصناديق سوداء، وتفشل في سبر التبعيات السببية الداخلية بين الرموز (tokens) المولدة والأدلة البصرية المحددة أثناء عملية فك التشفير.

المنهجية: إطار عمل VIHD

يقترح المؤلفون VIHD (الكشف عن الهلوسة القائم على التدخل البصري)، وهو إطار عمل خالٍ من التدريب مصمم لسبر مدى دقة الاستداد عبر تدخلات بصرية دقيقة ومستهدفة. تعمل الطريقة عبر ثلاث مراحل متميزة:

1. سبر التبعية البصرية (VDP)

لتحديد الأماكن التي يعتمد فيها النموذج بشكل أكبر على الأدلة البصرية، يقوم VIHD بتحليل آليات الانتباه داخل فك تشفير النموذج اللغوي الكبير (LLM decoder).

• الآلية: يقوم بحساب أوزان الانتباه بين الرموز المولدة والرموز البصرية المدخلة عبر جميع طبقات فك التشفير ورؤوس الانتباه.
• التحديد الموضعي: يقوم بتجميع هذه الأوزان لقياس التبعية البصرية على مستوى الطبقة ($s^{(l)}$). بعد ذلك، تحدد الطريقة نافذة متصلة من $w$ من الطبقات $[l^*, l^*+w-1]$ تظهر أقوى تبعية بصرية تراكمية. يضمن ذلك تطبيق التدخلات حيث يكون الانتباه عبر الوسائط أكثر بروزاً.

2. فك التشفير بالتدخل البصري (VID)

بمجرد تحديد الطبقات المهيمنة بصرياً، يقوم VIHD بإجراء تدخل مستهدف لمراقبة كيفية تغير مخرجات النموذج عند كبح الأدلة البصرية المحددة.

• الآلية: أثناء عملية فك التشفير ضمن النافذة المحددة، تقوم الخوارزمية بحجب (masking) أعلى نسبة $\rho$ من الرموز البصرية التي تمتلك أعلى أوزان انتباه بالنسبة للرمز المولد الحالي.
• النتيجة: ينتج عن ذلك "استجابة متدخلة" ($r'$) مشروطة بتمثيل بصري مضطرب. ومن خلال مقارنة الاستجابة الأصلية ($r$) مع الاستجابة المتدخلة ($r'$), تكشف الطريقة عن اعتماد النموذج على رموز بصرية محددة.

3. الإنتروبيا الدلالية المعايرة (CSE)

لقياس شدة الهلوسة، يحسب VIHD مقياساً يعتمد على التوزيع الدلالي للاستجابات.

• أخذ العينات: يقوم النموذج بإجراء $M$ من عمليات أخذ العينات المستقلة لتوليد مجموعتين من الاستجابات: الاستجابات العادية $\{r^{(i)}\}$ والاستجابات المتدخلة بصرياً $\{r'^{(i)}\}$.
• التجميع: يتم تجميع هذه الاستجابات في فئات مكافئة دلالياً باستخدام نموذج مدرب مسبقاً (DeBERTa-Large-MNLI)، مما ينتج توزيعاً دلالياً عادياً $P(s)$ وتوزيعاً متدخلاً $P(s')$.
• الدمج التكيفي: إدراكاً بأن تأثير التدخل يختلف باختلاف دقة الاستعلام، يستخدم VIHD استراتيجية دمج تكيفية:
  • إذا كانت التوزيعات متوافقة وثيقة الصلة (تشابه جيب التمام $\ge \tau$)، فإنه يستخدم الدمج التكاملي لتعزيز الدلالات المشتركة.
  • إذا كانت التوزيعات متباعدة، فإنه يستخدم الدمج التبايني لكبح الهلوسة الناتجة عن الحجب.
• المقياس: يتم حساب الإنتروبيا الدلالية المعايرة (CSE) النهائية من هذا التوزيع المدمج. تشير قيمة CSE العالية إلى تشتت دلالي كبير بين المخرجات الأصلية والمتدخلة، مما يعد إشارة قوية على الهلوسة.

المساهمات الرئيسية

1. إطار عمل VIHD: تقديم طريقة خالية من التدريب تستخدم التدخلات البصرية الدقيقة لسبر التبعيات السببية الداخلية، متجاوزةً بذلك الاضطرابات الخارجية الاستدلالية التي تعامل النماذج كصناديك سوداء.
2. خط معالجة تكيفي: تصميم خط معالجة ثلاثي المراحل يتكون من سبر التبعية البصرية (لتحديد الطبقات الحرجة)، وفك التشفير بالتدخل البصري (لحجب الرموز عالية الانتباه)، والإنتروبيا الدلالية المعايرة (لقياس الشدة عبر الدمج التكيفي للتوزيعات).
3. التفوق التجريبي: التحقق الواسع النطاق الذي يثبت أن VIHD يتفوق باستمرار على الطرق الاستبطانية المنافسة عبر مختلف معايير VQA الطبية وبنيات النماذج.

النتائج التجريبية

قيم المؤلفون VIHD على ثلاثة معايير لـ VQA الطبية (VQA-RAD، SLAKE، و VQA-Med-2019) باستخدام اثنين من النماذج الطبية متعددة الوسائط (Hulu-4B و Lingshu-7B). تم توليد تسميات الهلوسة باستخدام نموذج GREEN، وتم قياس الأداء عبر AUC (المساحة تحت منحنى ROC) و AUG (المساحة تحت منحنى GREEN).

• مكاسب الأداء: تفوق VIHD باستمرار على سبع طرق منافسة (بما في ذلك عدم اليقين للرموز، والطرق القائمة على الاتساق، وأسس عدم اليقين الدلالي).
  • في نموذج Hulu-4B، حقق VIHD تحسناً في متوسط AUC بنسبة 8.57% عبر جميع الأسئلة، وحقق زيادة كبيرة قدرها 12% في AUC على مجموعة بيانات VQA-RAD.
  • في نموذج Lingshu-7B، حافظ على ميزته بتحسن متوسط في AUC قدره 3.22% إجمالاً.
• الكفاءة: كان وقت الاستدلال لـ VIHD حوالي 11.59 ثانية لكل عينة، وهو ما يماثل خط الأساس الرائد VASE (11.55 ثانية/عينة)، مما يشير إلى أن مكاسب الأداء قد تحققت دون تكلفة حسابية إضافية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة أي مكون (VDP، أو VID، أو CSE) إلى تدهور الأداء، مما يؤكد ضرورة خط المعالجة الكامل.
  • وُجد أن حجب الانتباه العالي يتفوق على الحجب العشوائي أو منخفض الانتباه، مما يؤكد أن استهداف الرموز البصرية البارزة أمر بالغ الأهمية للمعايرة الفعالة.
  • تم تحديد عرض نافذة منزلقة $w = L/2$ ونسبة حجب $\rho = 10\%$ كأفضل المعلمات الفائقة (hyperparameters).

الأهمية والادعاءات

يزعم البحث أن VIHD يؤكد أهمية التبعية البصرية الدقيقة للكشف عن الهلوسة. ومن خلال الانتقال من الاضطرابات الخارجية الاستدلالية إلى التدخلات المستهدفة الداخلية بناءً على آليات الانتباه الخاصة بالنموذج، يوفر VIHD إشارة أكثر موثوقية للكشف عن متى يهلوس النموذج.

يضع المؤلفون VIHD كـ حل صديق للنشر وخالٍ من التدريب لا يتطلب مجموعات بيانات مهلوسة مشروحة أو أدوات تحقق خارجية. إن التحسينات المستمرة عبر مختلف قدرات النماذج وخصائص مجموعات البيانات تشير إلى أن الطريقة تعالج بفعالية المشكلة الجوهرية المتمثلة في توليد النماذج (MLLMs) لادعاءات طبية تبدو مقنعة لغوياً ولكنها غير مدعومة بصرياً. وقد تم توفير الكود لتسهيل المزيد من الأبحاث في هذا المجال.