SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

ملخص تقني: SurgCheck

بيان المشكلة
على الرغم من الأداء الواعد لنماذج الرؤية واللغة (VLMs) في مهام الإجابة على الأسئلة البصرية الجراحية (Surgical VQA)، إلا أن هناك حالة حرجة من عدم اليقين بشأن ما إذا كانت هذه النماذج تمتلك قدرات استدلال بصري حقيقية أم أنها مجرد تستغل "الاختصارات اللغوية". غالبًا ما تحتوي مجموعات بيانات الـ VQA الجراحية الحالية على أسئلة تكون فيها الصياغة مقيدة ضمنيًا لمساحة الإجابة (على سبيل المثال، تسمية أداة مثل "bipolar" صراحةً في السؤال). في مثل هذه الحالات، قد تستنتج النماذج الإجابات بناءً على الارتباطات الإحصائية بين نص السؤال والإجابات بدلاً من تحليل الأدلة البصرية. وفي البيئات الجراحية ذات الأهمية القصوى للسلامة، ليس من الواضح ما إذا كانت دقة المعايير المرجعية المسجلة تعكس فهمًا بصريًا حقيقيًا أم اعتمادًا على هذه الانحيازات النصية.

المنهجية
لمعالجة فجوة التقييم هذه، قدم المؤلفون SurgCheck، وهو معيار تشخيصي مصمم لقياس مدى الاعتماد على الاختصارات اللغوية من خلال تصميم "الأسئلة المزدوجة" المتحكم في الانحياز.

• بناء مجموعة البيانات: تم بناء SurgCheck بناءً على مجموعة بيانات Endoscapes-SG201، باستخدام رسوم المشاهد (scene-graph) على مستوى الإطار (الأدوات، الهياكل التشريحية، والعلاقات). وتتكون من 1,933 إطارًا و29,635 زوجًا من الأسئلة والأجوبة عبر ثماني فئات مهام: عدد الأدوات (Instrument Count)، التشريح (Anatomy)، الأداة (Instrument)، الإجراء (Action)، الهدف (Target)، الثلاثي (Triplet)، القفزة التشريحية (Anatomy-hop)، والرؤية الحرجة للسلامة (CVS).
• تصميم الأسئلة المزدوجة: لكل إطار جراحي، يتم إنشاء سؤالين متكافئين دلاليًا:
  1. السؤال الأصلي: يتبع الصياغة الجراحية التقليدية مع أسماء كيانات صريحة (على سبيل المثال، "ما هو الإجراء الذي يقوم به الـ bipolar؟").
  2. السؤال الأقل انحيازًا: يزيل أسماء الكيانات الصريحة مع الحفاظ على المحتوى البصري المتطابق والإجابة الصحيحة.
• إشارات التوجيه (Grounding Cues): لضمان بقاء الأسئلة الأقل انحيازًا محددة جيدًا دون أسماء الكيانات، تم دمج أربع إشارات توجيه للإشارة إلى الكائن المستهدف:
  1. صندوق الإحاطة (Bounding Box): تحديد الموقع البصري عبر صندوق أحمر.
  2. السهم (Arrow): تحديد الموقع البصري عبر سهم أحمر.
  3. الموقع المكاني (Spatial Position): وصف نصي للموقع (مثل "أسفل يمين الصورة").
  4. الوصف السياقي (Periphrasis): وصف سياقي (مثل "الأداة التي يستخدمها المشغل بيده اليمنى").
• بروتوكول التقييم: تدرس الدراسة خمسة نماذج من الـ VLMs (ثلاثة عامة: Qwen2.5-VL، LLaVA-OneVision، PaliGemma2؛ واثنان متخصصان جراحيًا: PitVQA-Net، EndoChat) تحت كل من إعدادات التعلم الصفري (zero-shot) والضبط الدقيق (fine-tuned).
  • بالنسبة للاستجابات مفتوحة النهاية في وضع التعلم الصفري، يتم استخدام بروتوكول "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) (باستخدام GPT-5-mini) لتقييم الإجابات دلاليًا مقابل معايير محددة، مع تخصيص درجات من 1 إلى 5.
  • بالنسبة للنماذج التي تم ضبطها بدقة وتنتج مخرجات فئوية، تُستخدم مقاييس الدقة المطابقة تمامًا (exact-match accuracy) ودرجات F1-scores القياسية.
• دراسة الاستئصال (Ablation Study): تم إجراء استئصال للنص فقط حيث تمت إزالة المدخلات البصرية أثناء الاستنتاج لعزل مساهمة الإشارات اللغوية مقابل الأدلة البصرية.

المساهمات الرئيسية

1. معيار الأسئلة المزدوجة المتحكم في الانحياز: يقدم SurgCheck إطارًا جديدًا حيث تتشارك الأسئلة الأصلية والأقل انحيازًا في نفس المدخلات البصرية والإجابات، وتختلف فقط في وجود الاختصارات اللغوية. وهذا يسم يسمح بإشارة تشخيصية مباشرة للاعتماد على الاختصارات.
2. التحليل الكمي لفجوات الأداء: يقدم المؤلفون تقييمًا منهجيًا لخمسة نماذج VLMs، حيث يقيسون تدهور الأداء بين الأسئلة الأصلية والأسئلة الأقل انحيازًا لتحديد مدى الاعتماد على الاختصارات.
3. تشخيص الاختصار اللغوي عبر استئصال النص فقط: من خلال إزالة المدخلات البصرية، توضح الدراسة أن الأداء العالي في الأسئلة الأصلية لمهام معينة مدفوع بشكل أساسي بالنص وليس بالاستدلال البصري.

النتائج

• أداء التعلم الصفري (Zero-Shot): أظهرت جميع النماذج تدهورًا في الأداء في الأسئلة الأقل انحيازًا مقارنة بالأسئلة الأصلية، مما يشير إلى الاعتماد على الاختصارات اللغوية حتى قبل الضبط الدقيق المتخصص في المجال. على سبيل المثال، شهد نموذج Qwen2.5-VL-7B انخفاضًا في الدقة من 28.06% إلى 24.62%.
• أداء الضبط الدقيق (Fine-Tuned): بينما أدى الضبط الدقيق إلى تحسين الدقة الإجمالية، إلا أن فجوة الأداء استمرت. فقد أدت النماذج باستمرار إلى أداء أسوأ في الأسئلة الأقل انحيازًا رغم تطابق المدخلات البصرية. وأظهر نموذج LLaVA-OV-1.5-8B انخفاضًا كبيرًا من 71.19% إلى 63.19% في الدقة.
• الحساسية الخاصة بالمهام:
  • مهام الإجراء (Action) والهدف (Target): أظهرت هذه الفئات أكبر انخفاضات في درجات F1-score عند إزالة الإشارات اللغوية. وكشف استئصال النص وحده أن الأداء في هذه المهام ظل مرتفعًا حتى بدون صور، مما يؤكد أن التنبؤات كانت مدفوعة بالاختصارات اللغوية.
  • مهام القفزة التشريحية (Anatomy-hop) والثلاثي (Triplet): أظهرت هذه المهام، التي تتطلب استدلالًا مكانيًا، أدنى قدر من التدهور في الأسئلة الأقل انحيازًا، وأدت أداءً أفضل بكثير مع الصور مقارنة بالنصوص وحدها، مما يشير إلى الاعتماد على أدلة بصرية حقيقية.
• تحليل إشارات التوجيه: لم تنجح إشارات التوجيه البصرية الصريحة (صناديق الإحاطة، الأسهم) تمامًا في التخفيف من حدة انخفاض الأداء؛ حيث لا تزال النماذج تواجه صعوبة في ربط الأدلة البصرية الموضعية بالإجراءات/الأهداف دون أسماء الكيانات. وأظهرت إشارات الوصف السياقي (Periphrasis) أقل قدر من التدهور، مما يشير إلى أن الأوصاف السياقية تشجع على دمج بصري أفضل من مجرد الإحداثيات المكانية.

الأهمية
تخلص الورقة البحثية إلى أن الأداء القوي في معايير الـ VQA الجراحية لا يعني بالضرورة فهمًا بصريًا أمينًا. يوفر SurgCheck إطارًا تشخيصيًا متحكمًا يكشف عن أوضاع الفشل التي تحجبها الانحيازات اللغوية في المعايير الحالية. وتؤكد النتائج على ضرية التقييم الواعي بالانحياز في الـ VQA الجراحي لضمان اعتماد النماذج على الأدلة البصرية بدلاً من استغلال أولويات الأسئلة، وهو أمر بالغ الأهمية لسلامة وموثوقية أنظمة دعم القرار أثناء العمليات الجراحية.