SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

Riepilogo Tecnico: SurgCheck

Enunciato del Problema
Nonostante le prestazioni promettenti dei Modelli Linguistici-Visivi (VLM) nella Risposta a Domande Visive in Chirurgia (VQA), esiste un'incertezza critica riguardo al fatto che questi modelli possiedano capacità di ragionamento visivo genuine o sfruttino semplicemente "scorciatoie linguistiche". I dataset esistenti per la VQA chirurgica contengono spesso domande in cui la formulazione vincola implicitamente lo spazio delle risposte (ad esempio, nominando esplicitamente uno strumento come "bipolare" nella domanda). In tali casi, i modelli possono inferire le risposte basandosi su correlazioni statistiche tra il testo della domanda e le risposte, piuttosto che analizzare le evidenze visive. In ambienti chirurgici critici per la sicurezza, non è chiaro se l'accuratezza riportata nei benchmark rifletta una vera comprensione visiva o un affidamento su questi bias testuali.

Metodologia
Per colmare questa lacuna valutativa, gli autori introducono SurgCheck, un benchmark diagnostico progettato per quantificare l'affidamento alle scorciatoie linguistiche attraverso un design di domande accoppiate controllato per il bias.

• Costruzione del Dataset: SurgCheck è basato sul dataset Endoscapes-SG201, sfruttando le sue annotazioni a livello di frame di scene-graf (strumenti, strutture anatomiche e relazioni). Comprende 1.933 frame e 29.635 coppie di domande-risposte distribuite su otto categorie di compiti: Conteggio degli Strumenti, Anatomia, Strumento, Azione, Target, Tripletta, Salto Anatomico (Anatomy-hop) e Visione Critica della Sicurezza (CVS).
• Design delle Domande Accoppiate: Per ogni frame chirurgico, vengono generate due domande semanticamente equivalenti:
  1. Domanda Originale: Segue la formulazione chirurgica convenzionale con nomi espliciti delle entità (ad esempio, "Quale azione sta compiendo il bipolare?").
  2. Domanda Meno Biasata: Rimuove i nomi espliciti delle entità preservando il contenuto visivo identico e la risposta fondamentale (ground-truth).
• Indizi di Ancoraggio: Per garantire che le domande meno biasate rimangano ben definite senza nomi di entità, vengono incorporati quattro indizi di ancoraggio per riferirsi all'oggetto target:
  1. Riquadro di Delimitazione (Bounding Box): Localizzazione visiva tramite un riquadro rosso.
  2. Frecce: Localizzazione visiva tramite una freccia rossa.
  3. Posizione Spaziale: Descrizione testuale della posizione (ad esempio, "in basso a destra dell'immagine").
  4. Perifrasi: Descrizione contestuale (ad esempio, "strumento utilizzato dalla mano destra dell'operatore").
• Protocollo di Valutazione: Lo studio valuta cinque VLM (tre generici: Qwen2.5-VL, LLaVA-OneVision, PaliGemma2; due specifici per la chirurgia: PitVQA-Net, EndoChat) in condizioni sia zero-shot che fine-tuned.
  • Per le risposte open-ended zero-shot, viene adottato un protocollo LLM-as-a-Judge (utilizzando GPT-5-mini) per valutare semanticamente le risposte rispetto a una rubrica, assegnando punteggi da 1 a 5.
  • Per i modelli fine-tuned che producono output categorici, vengono utilizzate l'accuratezza esatta standard (exact-match) e i punteggi F1.
• Studio di Ablazione: Viene condotta un'ablatione solo testuale in cui l'input visivo viene rimosso durante l'inferenza per isolare il contributo degli indizi linguistici rispetto alle evidenze visive.

Contributi Chiave

1. Benchmark di Domande Accoppiate Controllato per il Bias: SurgCheck introduce un framework innovativo in cui le domande originali e quelle meno biasate condividono input visivi e risposte identici, differendo solo per la presenza di scorciatoie linguistiche. Ciò consente un segnale diagnostico diretto dell'affidamento alle scorciatoie.
2. Analisi Quantitativa dei Divari di Prestazione: Gli autori forniscono una valutazione sistematica di cinque VLM, misurando il degrado delle prestazioni tra domande originali e meno biasate per quantificare l'estensione dell'affidamento alle scorciatoie.
3. Diagnosi delle Scorciatoie Linguistiche tramite Ablazione Solo Testuale: Rimuovendo l'input visivo, lo studio dimostra che le alte prestazioni sulle domande originali per certi compiti sono guidate principalmente dal testo piuttosto che dal ragionamento visivo.

Risultati

• Prestazioni Zero-Shot: Tutti i modelli hanno mostrato un degrado delle prestazioni sulle domande meno biasate rispetto alle domande originali, indicando un affidamento alle scorciatoie linguistiche anche prima del fine-tuning specifico per il dominio. Ad esempio, Qwen2.5-VL-7B ha registrato un calo di accuratezza dal 28,06% al 24,62%.
• Prestazioni Fine-Tuned: Sebbene il fine-tuning abbia migliorato l'accuratezza complessiva, il divario di prestazioni è persistito. I modelli hanno costantemente performato peggio sulle domande meno biasate nonostante input visivi identici. LLaVA-OV-1.5-8B ha mostrato un calo significativo dall'accuratezza del 71,19% al 63,19%.
• Sensibilità Specifica per Compito:
  • Compiti Azione e Target: Queste categorie hanno mostrato i maggiori cali nel punteggio F1 quando gli indizi linguistici sono stati rimossi. L'ablatione solo testuale ha rivelato che le prestazioni su questi compiti sono rimaste elevate anche senza immagini, confermando che le previsioni erano guidate da scorciatoie linguistiche.
  • Compiti Salto Anatomico e Tripletta: Questi compiti, che richiedono ragionamento spaziale, hanno mostrato un degrado minimo sulle domande meno biasate e hanno performato significativamente meglio con le immagini rispetto al solo testo, indicando un affidamento su evidenze visive genuine.
• Analisi degli Indizi di Ancoraggio: Gli indizi visivi espliciti (riquadri di delimitazione, frecce) non hanno mitigato completamente il calo delle prestazioni; i modelli hanno ancora faticato ad associare evidenze visive localizzate ad azioni/target senza nomi di entità. Gli indizi di perifrasi hanno mostrato il degrado più basso, suggerendo che le descrizioni contestuali favoriscono una migliore integrazione visiva rispetto alle semplici coordinate spaziali.

Significato
Il documento conclude che le elevate prestazioni nei benchmark per la VQA chirurgica non implicano necessariamente una comprensione visiva fedele. SurgCheck fornisce un framework diagnostico controllato che espone le modalità di fallimento mascherate dal bias linguistico nei benchmark esistenti. I risultati sottolineano la necessità di una valutazione consapevole del bias nella VQA chirurgica per garantire che i modelli si affidino a evidenze visive piuttosto che sfruttare i prior delle domande, aspetto critico per la sicurezza e l'affidabilità dei sistemi di supporto decisionale intraoperatorio.