Beyond Accuracy: Evaluating Visual Grounding In Multimodal Medical Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء الدقة: تقييم التأسيس البصري في الاستدلال متعدد الوسائط الطبي".

١. بيان المشكلة

أظهرت التطورات الأخيرة في النماذج اللغوية البصرية الكبيرة (LVLMs) للتطبيقات الطبية، لا سيما تلك التي تستخدم التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR)، تحسينات ملحوظة في دقة المعايير المرجعية. ومع ذلك، توجد فجوة حرجة: من غير المعروف ما إذا كانت مكاسب الدقة هذه ناتجة عن تحليل بصري حقيقي أم عن استغلال الاختصارات القائمة على النصوص (الارتباطات الزائفة).

يفترض المؤلفون أن النماذج المدربة باستخدام RLVR قد تتعلم تعظيم المكافأة من خلال الاعتماد على الأولويات النصية (الارتباط بين السؤال والجواب) بدلاً من الأدلة البصرية السببية. وهذا أمر خطير بشكل خاص في الإعدادات السريرية، حيث يمكن للنموذج أن يولد استدلالاً طبياً منطقياً وإجابات صحيحة بناءً على الأنماط النصية فقط، متجاهلاً أو مسيئاً لتفسير الصورة الطبية الفعلية. تفشل بروتوكولات التقييم الحالية، التي تعتمد أساساً على الدقة، في اكتشاف هذا "الانهيار في الاستدلال الخاص بالوسائط".

٢. المنهجية

يقترح المؤلفون إطار تقييم مضاد للواقع لعزل الدور السببي للمعلومات البصرية. قاموا بتقييم ثلاثة متغيرات لنموذج Qwen2.5-VL-7B عبر أربعة معايير مرجعية للأسئلة والأجوبة البصرية الطبية (PathVQA، وPMC-VQA، وSLAKE، وVQA-RAD):
١. النموذج الأساسي (Baseline): مدرب مسبقاً دون ضبط دقيق طبي.
٢. RL(text): مدرب عبر RLVR على بيانات الأسئلة والأجوبة الطبية النصية فقط.
٣. RL(image): مدرب عبر RLVR على بيانات الأسئلة والأجوبة الطبية (صورة-نص).

٢.١ الظروف البصرية المضادة للواقع

لاختبار الاعتماد البصري، تم تقييم كل مثال اختبار تحت ثلاثة ظروف:

• الحقيقي (Real): الصورة الأصلية مقترنة بالسؤال.
• الفارغ (Blank): السؤال مقترن بصورة رمادية موحدة (لا تحتوي على محتوى بصري).
• المُبعثر (Shuffled): السؤال مقترن بصورة عشوائية من نفس المعيار المرجعي (محتوى/وسيط غير متطابق).

٢.٢ المقاييس المقترحة

قدمت الورقة عدة مقاييس للانتقال إلى ما وراء الدقة البسيطة:

• درجة الاعتماد البصري (VRS): $Acc_{real} - Acc_{shuffle}$. تقيس الاعتماد على الاقتران الصحيح بين الصورة والسؤال. القيم السالبة تشير إلى أن النموذج يؤدي بشكل أفضل مع الصور غير المتطابقة.
• هبوط الفراغ (Blank Drop - BD): $Acc_{real} - Acc_{blank}$. تقيس الاعتماد على المدخلات البصرية مقابل النص وحده.
• الحساسية الصورية (Image Sensitivity - IS): احتمال تغيير النموذج لإجابته عند بعثرة الصورة ($P[a_{real} \neq a_{shuffle}]$). تشير قيم IS المنخفضة إلى أن الإجابة ثابتة بغض النظر عن محتوى الصورة.
• معدل الاستدلال البصري الهلوسي (HVRR): مقياس جديد يكتشف الحالات التي يولد فيها النموذج ادعاءات بصرية مستحدثة (NVCs) (وصف سمات بصرية) في مسار استدلاله، ولكنه ينتج إجابة ثابتة تجاه الصورة (إجابة متطابقة بغض النظر عن الصورة).
  • الصيغة: $HVRR = P[NVC=1 \land a_{real} = a_{shuffle}]$.

٣. المساهمات الرئيسية

١. مقاييس حساسة للتأسيس: تقديم مقاييس VRS وBlank Drop وImage Sensitivity لقياس كيفية استغلال النماذج للاختصارات النصية في VQA الطبي.
٢. معدل الاستدلال البصري الهلوسي (HVRR): مقياس وطريقة كشف جديدة لتحديد "الاستدلال البصري الزائف" — الحالات التي تحاكي فيها النماذج اللغة البصرية الطبية دون وجود تأسيس بصري فعلي.
٣. الدليل التجريبي على التدهور: إثبات أن RLVR يحسن دقة المعايير المرجعية بينما يؤدي في الوقت نفسه إلى تدهور قدرات التأسيس البصري.
٤. تباعد المقاييس: اكتشاف أن المقاييس القائمة على الدقة (مثل VRS) يمكن أن تتحسن بينما يتدهور الاعتماد البصري الحقيقي (المقاس بـ IS)، مما يثبت أن الدقة وحدها ليست مؤشراً جيداً للتأسيس.

٤. النتائج الرئيسية

تكشف الدراسة عن مفارقة حيث ترتبط الدقة العالية بانخفاض التأسيس البصري:

• انهيار التأسيد البصري:

  • حقق نموذج RL(image) أعلى دقة (٥٨.٨٪) ولكنه أظهر أدنى حساسية صورية (IS) (٣٩.٨٪)، مما يعني أن ما يقرب من ٦٠٪ من توقعاته كانت ثابتة بغض النظر عن بعثرة الصورة.
  • في المقابل، كان لنموذج الأساسي (Baseline) دقة أقل (٥٦.٥٪) ولكن اعتماد بصري أعلى (٤٨.٢٪ IS).
  • سجل نموذج RL(text) (المدرب بدون صور) أداءً أفضل مع الصور غير المتطابقة مقارلة بالصور الصحيحة في PathVQA، محققاً VRS سالباً (-٠.٠٩).

• نتائج خاصة بالمعايير المرجعية:

  • PathVQA: حقق RL(text) قيمة VRS سالبة، مما يشير إلى أنه تعلم اختصارات نصية تعطلت بوجود الصورة الصحيحة.
  • VQA-RAD: حقق كلا نوعي RL دقة ٦٣٪ (مقابل ٥٤٪ للأساسي) ولكن بآليات مختلفة. احتفظ RL(text) بـ ٨١٪ من أدائه على الصور الفارغة (حل يعتمد على النص فقط). أظهر RL(image) انخفاضاً حاداً في IS (من ٤٣٪ إلى ٢٩٪)، مما يعني أن ٧١٪ من إجاباته تجاهلت محتوى الصورة تماماً.
  • تباين المقاييس: في VQA-RAD، تحسن VRS (٠.٠٩ $\leftarrow$ ٠.١٧) بينما تدهور IS (٤٣٪ $\leftarrow$ ٢٩٪)، مما يثبت أن المقاييس القائمة على الدقة يمكن أن تخفي فقدان التأسيس البصري.

• الاستدلال الهلوسي:

  • ولدت النماذج ادعاءات بصرية في ٦٨-٧٤٪ من الاستجابات.
  • ومع ذلك، كانت ٣٨-٤٣٪ من هذه الاستجابات غير مؤسسة (HVRR)، مما يعني أن الادعاءات البصرية لم تؤثر على الإجابة النهائية.
  • أظهر RL(image) أعلى احتمال هلوسة مشروط (٦٠.٩٪)، مما يشير إلى أنه عندما يدعي رؤية سمات بصرية، فإنه غالباً ما يتجاهل الصورة الفعلية.

٥. الأهمية والآثار المترتبة

• السلامة في النشر السريري: تشير النتائج إلى أن معايير VQA الطبية الحالية تحتوي على اختصارات نصية قابلة للاستغلال. النماذج التي يتم تحسينها لتعظيم الدقة فقط قد تبدو كفؤة ولكنها تفشل في إجراء التحليل البصري الضروري، مما يشكل خطراً شديداً في البيئات السريرية حيث تكون الأدلة البصرية حاسمة.
• محدودية RLVR الحالي: توضح الدراسة أن أهداف RLVR القياسية تشجع على "تعلم الاختصارات"، حيث تتعلم النماذج توليد لغة بصرية طبية مقنعة (هلوسات) لإرضاء دالة المكافأة دون معالجة الصورة فعلياً.
• الاتجاهات المستقبلية: يجادل المؤلفون بضرورة حدوث تحول في التقييم والتدريب:
  ١. التقييم: يجب أن يتضمن مقاييس واعية بالتأسيس (VRS، IS، HVRR) جنباً إلى جنب مع الدقة.
  ٢. تنقية المعايير المرجعية: يجب التحقق من المعايوهات المرجعية لضمان عدم إمكانية الإجابة على الأسئلة عبر الاختصارات النصية.
  ٣. أهداف التدريب: هناك حاجة إلى طرق تدريب جديدة تفرض صراحة الاعتماد البصري، لضمان أن مسارات الاستدلال مرتبطة سببياً بالصورة المدخلة.

في الختام، تثبت هذه الورقة أن الدقة ليست بديلاً كافياً لقدرة الاستدلال البصري في الذكاء الاصطناي الطبي. فبدون قيود صريحة على التأسيس، قد تصبح نماذج RLVR أكثر دقة في المعايير المرجعية بينما تصبح أقل موثوقية في مهام التحليل البصري في العالم الحقيقي.