SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

Technische Samenvatting: SurgCheck

Probleemstelling
Ondanks de veelbelovende prestaties van Vision-Language Models (VLM's) in Surgical Visual Question Answering (VQA), bestaat er een kritieke onzekerheid over de vraag of deze modellen beschikken over echte visuele redeneervermogens of dat ze simpelweg "taalkundige shortcuts" benutten. Bestaande datasets voor chirurgische VQA bevatten vaak vragen waarbij de formulering de antwoordruimte impliciet beperkt (bijvoorbeeld door expliciet een instrument zoals "bipolaire" te noemen in de vraag). In dergelijke gevallen kunnen modellen antwoorden afleiden op basis van statistische correlaties tussen de vraagtekst en de antwoorden, in plaats van het visuele bewijs te analyseren. In veiligheidskritieke chirurgische omgevingen is het onduidelijk of de gerapporteerde benchmarknauwkeurigheid echte visuele begrip weerspiegelt of een afhankelijkheid van deze tekstuele biases.

Methodologie
Om deze evaluatiekloof aan te pakken, introduceren de auteurs SurgCheck, een diagnostische benchmark ontworpen om de afhankelijkheid van taalkundige shortcuts te kwantificeren via een bias-gestuurde, gepaarde-vraagdesign.

• Datasetconstructie: SurgCheck is gebaseerd op de Endoscapes-SG201-dataset, waarbij gebruik wordt gemaakt van frame-level scene-graph annotaties (instrumenten, anatomische structuren en relaties). Het omvat 1.933 frames en 29.635 QA-paren verdeeld over acht taakcategorieën: Instrument Count, Anatomy, Instrument, Action, Target, Triplet, Anatomy-hop en Critical View of Safety (CVS).
• Gepaarde-vraagdesign: Voor elk chirurgisch frame worden twee semantisch equivalente vragen gegenereerd:
  1. Originele Vraag: Volgt conventionele chirurgische formulering met expliciete entiteitsnamen (bijvoorbeeld: "Welke actie voert de bipolaire uit?").
  2. Minder-bias Vraag: Verwijdert expliciete entiteitsnamen terwijl het identieke visuele inhoud en het grondwaarheid-antwoord behouden blijven.
• Grounding Cues: Om ervoor te zorgen dat de minder-bias vragen goed gedefinieerd blijven zonder entiteitsnamen, worden vier grounding cues opgenomen om te verwijzen naar het doelobject:
  1. Bounding Box: Visuele lokalisatie via een rode doos.
  2. Pijl: Visuele lokalisatie via een rode pijl.
  3. Ruimtelijke Positie: Tekstuele beschrijving van de locatie (bijvoorbeeld: "rechtsonder in de afbeelding").
  4. Perifrasis: Contextuele beschrijving (bijvoorbeeld: "gereedschap gebruikt door de rechterhand van de operator").
• Evaluatieprotocol: De studie evalueert vijf VLM's (drie algemeen doel: Qwen2.5-VL, LLaVA-OneVision, PaliGemma2; twee specifiek voor chirurgie: PitVQA-Net, EndoChat) onder zowel zero-shot als fijn afgestelde settings.
  • Voor open-ended zero-shot antwoorden wordt een LLM-as-a-Judge-protocol (met GPT-5-mini) ingezet om antwoorden semantisch te beoordelen tegen een rubric, met scores van 1 tot 5.
  • Voor fijn afgestelde modellen die categorische output produceren, worden standaard exact-match nauwkeurigheid en F1-scores gebruikt.
• Ablatiestudie: Een tekst-only ablatie wordt uitgevoerd waarbij visuele input tijdens inferentie wordt verwijderd om de bijdrage van taalkundige cues versus visueel bewijs te isoleren.

Belangrijkste Bijdragen

1. Bias-gestuurde Gepaarde-vraag Benchmark: SurgCheck introduceert een nieuw kader waarbij originele en minder-bias vragen identieke visuele inputs en antwoorden delen, en alleen verschillen in de aanwezigheid van taalkundige shortcuts. Dit zorgt voor een direct diagnostisch signaal van afhankelijkheid van shortcuts.
2. Kwantitatieve Analyse van Prestatiekloven: De auteurs bieden een systematische evaluatie van vijf VLM's, waarbij de prestatiedaling tussen originele en minder-bias vragen wordt gemeten om de omvang van de afhankelijkheid van shortcuts te kwantificeren.
3. Diagnose van Taalkundige Shortcuts via Tekst-only Ablatie: Door visuele input te verwijderen, toont de studie aan dat hoge prestaties op originele vragen voor bepaalde taken voornamelijk worden gedreven door tekst en niet door visueel redeneren.

Resultaten

• Zero-Shot Prestaties: Alle modellen vertoonden prestatiedaling op minder-bias vragen vergeleken met originele vragen, wat wijst op afhankelijkheid van taalkundige shortcuts zelfs vóór domeinspecifieke fijnafstelling. Bijvoorbeeld, Qwen2.5-VL-7B zag een daling van de nauwkeurigheid van 28,06% naar 24,62%.
• Fijn afgestelde Prestaties: Hoewel fijnafstelling de algehele nauwkeurigheid verbeterde, bleef de prestatiekloof bestaan. Modellen presteerden consequent slechter op minder-bias vragen ondanks identieke visuele inputs. LLaVA-OV-1.5-8B toonde een significante daling van 71,19% naar 63,19% nauwkeurigheid.
• Takenspecifieke Gevoeligheid:
  • Actie en Target Taken: Deze categorieën vertoonden de grootste daling in F1-score wanneer taalkundige cues werden verwijderd. Tekst-only ablatie onthulde dat de prestaties op deze taken hoog bleven zelfs zonder afbeeldingen, wat bevestigt dat de voorspellingen werden gedreven door taalkundige shortcuts.
  • Anatomy-hop en Triplet Taken: Deze taken, die ruimtelijk redeneren vereisen, vertoonden minimale degradatie op minder-bias vragen en presteerden aanzienlijk beter met afbeeldingen dan met alleen tekst, wat wijst op een afhankelijkheid van echt visueel bewijs.
• Grounding Cue Analyse: Expliciete visuele cues (bounding boxes, pijlen) mitigeerden de prestatiedaling niet volledig; modellen hadden nog steeds moeite om gelokaliseerd visueel bewijs te associëren met acties/doelen zonder entiteitsnamen. Perifrasis-cues vertoonden de kleinste degradatie, wat suggereert dat contextuele beschrijvingen betere visuele integratie bevorderen dan eenvoudige ruimtelijke coördinaten.

Betekenis
Het artikel concludeert dat sterke benchmarkprestaties in chirurgische VQA niet noodzakelijkerwijs trouw visueel begrip impliceren. SurgCheck biedt een gecontroleerd diagnostisch kader dat faalmodi blootlegt die worden gemaskeerd door taalkundige bias in bestaande benchmarks. De bevindingen onderstrepen de noodzaak van bias-bewuste evaluatie in chirurgische VQA om ervoor te zorgen dat modellen vertrouwen op visueel bewijs in plaats van vraag-priors te exploiteren, wat cruciaal is voor de veiligheid en betrouwbaarheid van systemen voor besluitvorming tijdens operaties.