Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تدقيق نماذج الرؤية واللغة الواعدة من أجل استجابة طبية موثوقة للأسئلة البصرية: فشل التوطين، انهيار التنسيق، والتكيف مع المجال."

1. بيان المشكلة

يتطلب نشر نماذج الرؤية واللغة (VLMs) في البيئات السريرية ما هو أكثر من مجرد قدرات الاستنتاج عالية المستوى؛ فهو يتطلب توطيناً بصرياً دقيقاً (القدرة على تحديد المواقع الهيكلية التشريحية والاعتلالات داخل الصورة). وبينما تتفوق نماذج VLMs الواعدة في الاستنتاج، فإن أداءها في المدخلات الطبية المتخصصة لا يزال غير مشخص جيداً فيما يتعلق بـ:

• الإدراك: هل يمكن للنموذج تحديد مواقع مناطق محددة بدقة (مثل ورم أو عضو) في صورة طبية معقدة؟
• تكامل خط الأنابيب (Pipeline Integration): هل يؤدي نظام "التوطين الذاتي" (حيث يقوم النموذج أولاً بتحديد منطقة ثم يجيب على السؤال بناءً على ذلك الاقتطاع) إلى تدهور الأداء بسبب أخطاء التوطين أو فشل الامتثال للتنسيق؟
• الموثوقية: تعتمد الاختبارات المرجعية الحالية غالباً على درجات إجمالية، مما يفشل في كشف أنماط الفشل المحددة مثل "ارتباك الجانب" (الخلط بين اليمين واليسار)، والذي يمكن أن يؤدي إلى أخطاء طبية خطيرة.

2. المنهجية

أجرى المؤلفون تدقيقاً شاملاً لخمسة نماذج VLMs واعدة (Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V, Qwen 2.5 VL) عبر ثلاث مجموعات بيانات قياسية للأسئلة البصرية الطبية (Medical VQA): VQA-RAD، وSLAKE، وPathVQA.

الإعداد التجريبي

تبع التقييم خط أنابيب مكون من خطوتين (الشكل 1 في الورقة) لاختبار ثلاث تكوينات متميزة:

1. VQA المباشر: يجيب النموذج على السؤال باستخدام الصورة الكاملة في خطوة واحدة.
2. VQA التوطين الذاتي (Self-Grounding): يُطلب من النموذج أولاً إخراج مربع إحاطة (bounding box) للمنطقة ذات الصلة، ثم يستخدم ذلك الجزء المقتطع للإجابة على السؤال.
3. VQA التوطين بالحقائق الأرضية (Oracle GT-Grounding): يتم تزويد النموذج بمربعات إحاطة من الحقائق الأرضية (من تعليقات SLAKE) لاقتطاع الصورة قبل الإجابة. يعمل هذا كحد أقصى لتحديد ما إذا كان مفهوم خط الأنابيب ناجحاً في حال كان الإدراك مثالياً.

مقاييس التقييم

• أداء VQA: الدقة مغلقة النهايات (closed-ended accuracy) والاستدعاء مفتوح النهايات (open-ended recall) (باستخدام المطابقة القائمة على القواعد مع توسيع المرادفات وفحوصات الجانب).
• أداء التوطين (Grounding): متوسط التقاطع فوق الاتحاد (Mean IoU)، ومعامل دايس (Dice coefficient)، ودقة @0.5 (نسبة التنبؤات ذات IoU $\ge$ 0.5).
• الامتثال للتنسيق: تحليل فشل التحليل (عدم القدرة على استخراج إحداثيات مربع الإحاطة من مخرجات النموذج).

متابعة الضبط الدقيق (Fine-Tuning)

لاختبار ما إذا كان التكيف مع المجال يمكنه سد الفجوة، قام المؤلفون بإجراء ضبط دقيق تحت الإشراف (SFT) على نموذج Qwen 2.5 VL (7B) باستخدام بيانات تدريب مجمعة من VQA-RAD وSLAKE وPathVQA.

3. المساهمات الرئيسية

1. تدقيق الإدراك: بناء اختبار مرجعي مخصص للتوطين البصري مشتق من SLAKE، مما كشف أن أفضل النماذج الواعدة تظهر توطيناً ضعيفاً في التصوير الطبي.
2. تدقيق تكامل خط الأنابيب: إثبات أن "التوطين الذاتي" (تحديد الموقع ثم الإجابة) يؤدي باستمرار إلى تدهور دقة VQA عبر جميع النماذج، مدفوعاً بكل من عدم دقة التوطين وفشل الامتثال الشديد للتنسيق.
3. تشخيص التوطين بالحقائق الأرضية (Oracle-Grounding): إثبات أن استبدال المربعات المتوقعة بتعليقات الحقائق الأرضية يستعيد ويحسن أداء VQA، مما يعزل الفشل في وحدة الإدراك بدلاً من استراتيجية التفكيك نفسها.
4. العلاج المستقبلي: إثبات أن الضبط الدقيق المستهدف (SFT) على نموذج قوي مفتوح المصدر (Qwen 2.5 VL) يقلص بشكل كبير فجوة VQA، محققاً أعلى مستويات الاستدعاء في SLAKE، رغم أن عنق زجاجة الإدراك يظل غير معالج بواسطة SFT وحده.

4. النتائج الرئيسية

أ. فجوة الإدراك (التوطين)

• توطين ضعيف: أدت جميع النماذج أداءً ضعيفاً في مهمة التوطين. حقق أفضل نموذج، Qwen 2.5 VL، فقط 0.23 mean IoU و 19.1% Acc@0.5.
• فشل منهجي:
  • ارتباك الجانب: خلطت النماذج بشكل متكرر بين اليمين واليسار في صور الأشعة السينية للصدر.
  • عدم تطابق المقياس: عادت النماذج إلى مربعات إحاطة كبيرة للآفات الصغيرة (مثل سرطان الرئة)، حيث غطت غالباً العضو بأكمله أو ربع الصورة.
  • فشل التعميم: حتى النماذج التي تعلن عن وجود ميزات توطين مدمجة (GLM-4.5V) كان أداؤها أقل من نماذج الاستنتاج العامة، مما يشير إلى أن ميزات التوطين لا تنتقل جيداً إلى المهام الطبية دقيقة التفاصيل.

ب. تدهور خط الأنابيب (التوطين الذاتي)

• الانهيار الكارثي: أدى التوطين الذاتي إلى تدهور الأداء لكل نموذج.
  • Gemini 2.5 Pro: انخفضت الدقة من 39.9% إلى 0.0% (مغلقة النهايات). كان ذلك مدفوعاً بمعدل فشل في التحليل بلغ 98.9% في المطالبة ذات الخطوتين.
  • GPT-5: انخفضت الدقة من 67.6% إلى 19.3%، مع معدل فشل في التحليل بنسبة 70.3%.
• الارتباط: ارتبط شدة التدهور بجودة التوطين (IoU)، وإن كان الامتثال للتنسيق عاملاً مهيمناً لبعض النماذج.

ج. استعادة الأداء عبر الحقائق الأرضية (Oracle Recovery)

• عند تزويد النماذج بمربعات إحاطة من الحقائق الأرضية (GT)، تحسن أداء VQA لجميع النماذج مقارنة بكل من خطوط الأساس المباشرة والتوطين الذاتي.
• استعاد Gemini 2.5 Pro أداءه من الصفر تقريباً إلى 44.3% دقة، متجاوزاً خط الأساس الخاص به في VQA المباشر. هذا يؤكد أن قدرة الاستنتاج سليمة، ولكن الإدراك (التوطين) هو عنق الزجاجة.

د. تأثير الضبط الدقيق (Fine-Tuning)

• حقق Qwen 2.5 VL (SFT) أعلى استدعاء مفتوح النهايات لـ SLAKE (85.5%) تم تسجيله بين الطرق المماثلة، متفوقاً على LLaVA-Med وغيره من النماذج المرجعية.
• يثبت هذا أن فجوة VQA يمكن علاجها عبر التكيف مع المجال. ومع ذلك، بما أن التقييم لـ SFT تم فقط على مقايات VQA، فمن غير الواضح ما إذا كان هذا التكيف قد أصلح عائق الإدراك/التوطين الأساسي.

5. الأهمية والخاتمة

• التوطين كعنق زجاجة: تحدد الدراسة جودة التوطين البصري كعائق رئيسي لموثوقية VQA الطبية في إعداد مربعات إحاطة SLAKE. تفتقر نماذج VLIs الحالية إلى الدقة المكانية المطلوبة لاستخدام التوطين كخطوة وسيطة موثوقة.
• مخاطر خط الأنابيب: إن الاعتماد على خطوط أنابيب "التوطين الذاتي" مع نماذج VLIs الحالية أمر خطير، حيث يزيد من خطر انهيار التنسيق وأخطاء التوطين التي تضعف الأداء العام.
• الاتجاهات المستقبلية: يقترح المؤلفون:
  1. البنى الهجينة: فصل الإدراك عن الاستنتاج باستخدام وحدات توطين متخصصة ومتكيفة مع المجال (مثل Fine-tuned Grounding DINO أو SAM) لتغذية النماذج بمدخلات مكانية موثوقة.
  2. التحليل الحبيبي: تصنيف تحليل الفشل حسب نوع العضو، حجم الآفة، والجانب.
  3. التكيف أثناء الاستنتاج: استكشاف التعلم المعزز في وقت الاختبار لتحسين الإدراك دون الحاجة لبيانات تدريب إضافية.

باخت تختصار، بينما تمتلك نماذج VLIs الواعدة قدرات استنتاج قوية، فإن عدم قدرتها على تحديد المواقع الطبية بدقة يجعل خطوط أنابيب "التوطين الذاتي" غير موثوقة. تتطلب الأنظمة الطبية الموثوقة إما وحدات إدراك متخصصة أو تحسينات كبيرة في قدرات الاستنتاج المكاني لنماذج VLIs نفسها.