Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

1. Enunciato del Problema

L'implementazione di Modelli Vision-Language (VLM) in contesti clinici richiede più di semplici capacità di ragionamento di alto livello; esige una precisa ancoraggio visivo (la capacità di localizzare strutture anatomiche e patologie all'interno di un'immagine). Sebbene i VLM all'avanguardia eccellano nel ragionamento, le loro prestazioni su input medici specializzati sono scarsamente caratterizzate per quanto riguarda:

• Percezione: Il modello può localizzare con precisione regioni specifiche (ad esempio, un tumore o un organo) in un'immagine medica complessa?
• Integrazione della Pipeline: Una pipeline di "auto-ancoraggio" (dove il modello localizza prima una regione e poi risponde a una domanda basandosi su quel ritaglio) degrada le prestazioni a causa di errori di localizzazione o fallimenti nella conformità del formato?
• Affidabilità: I benchmark attuali si basano spesso su punteggi aggregati, non riuscendo a esporre modalità di fallimento specifiche come la "confusione di lateralità" (confondere destra/sinistra) che possono portare a errori clinicamente pericolosi.

2. Metodologia

Gli autori hanno condotto un audit completo di cinque VLM all'avanguardia (Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V e Qwen 2.5 VL) su tre dataset standard di Medical VQA: VQA-RAD, SLAKE e PathVQA.

Configurazione Sperimentale

La valutazione ha seguito una pipeline in due passaggi (Figura 1 nel paper) per testare tre configurazioni distinte:

1. VQA Diretta: Il modello risponde alla domanda utilizzando l'immagine completa in un singolo passaggio.
2. VQA con Auto-Ancoraggio: Il modello viene istruito a produrre prima un riquadro di delimitazione (bounding box) per la regione rilevante, quindi utilizza quella regione ritagliata per rispondere alla domanda.
3. VQA con Ancoraggio Oracle GT: Al modello vengono forniti riquadri di delimitazione ground-truth (dalle annotazioni di SLAKE) per ritagliare l'immagine prima di rispondere. Questo funge da limite superiore per determinare se il concetto della pipeline funziona se la percezione fosse perfetta.

Metriche di Valutazione

• Prestazioni VQA: Accuratezza per domande chiuse e richiamo per domande aperte (utilizzando corrispondenza basata su regole con espansione dei sinonimi e controlli di lateralità).
• Prestazioni di Ancoraggio: Media dell'Intersezione sull'Unione (IoU), coefficiente Dice e Accuratezza@0.5 (percentuale di previsioni con IoU $\ge$ 0.5).
• Conformità al Formato: Analisi dei fallimenti di parsing (incapacità di estrarre le coordinate del riquadro di delimitazione dall'output del modello).

Follow-up sul Fine-Tuning

Per verificare se l'adattamento di dominio possa colmare il divario, gli autori hanno eseguito un Fine-Tuning Supervisionato (SFT) su Qwen 2.5 VL (7B) utilizzando dati di training combinati da VQA-RAD, SLAKE e PathVQA.

3. Contributi Chiave

1. Audit della Percezione: Costruzione di un benchmark dedicato di ancoraggio visivo derivato da SLAKE, che rivela che anche i migliori modelli all'avanguardia mostrano una scarsa localizzazione nella diagnostica per immagini medica.
2. Audit dell'Integrazione della Pipeline: Dimostrazione che l'"auto-ancoraggio" (localizzare quindi rispondere) degrada costantemente l'accuratezza VQA su tutti i modelli, guidato sia da localizzazioni inaccurate sia da gravi fallimenti nella conformità del formato.
3. Diagnostica con Ancoraggio Oracle: Prova che sostituire i riquadri previsti con annotazioni ground-truth recupera e migliora le prestazioni VQA, isolando il fallimento al modulo di percezione piuttosto che alla strategia di decomposizione stessa.
4. Rimedio Prospettico: Dimostrazione che un SFT mirato su un modello open-source robusto (Qwen 2.5 VL) riduce significativamente il divario a livello VQA, ottenendo un richiamo all'avanguardia su SLAKE, sebbene il collo di bottiglia della percezione rimanga irrisolto dal solo SFT.

4. Risultati Chiave

A. Divario di Percezione (Ancoraggio)

• Scarsa Localizzazione: Tutti i modelli hanno ottenuto risultati scarsi nel compito di ancoraggio. Il miglior modello, Qwen 2.5 VL, ha raggiunto solo un IoU medio di 0.23 e un 19.1% di Acc@0.5.
• Fallimenti Sistematici:
  • Confusione di Lateralità: I modelli confondono frequentemente destra e sinistra nelle radiografie toraciche.
  • Disallineamento di Scala: I modelli tendono a riquadri di delimitazione grandi per lesioni piccole (ad esempio, cancro al polmone), coprendo spesso l'intero organo o il quadrante dell'immagine.
  • Fallimento di Generalizzazione: Anche i modelli che pubblicizzano un ancoraggio integrato (GLM-4.5V) hanno ottenuto prestazioni inferiori rispetto ai modelli di ragionamento generale, indicando che le funzionalità di ancoraggio non si trasferiscono bene a compiti medici dettagliati.

B. Degradazione della Pipeline (Auto-Ancoraggio)

• Collasso Catastrofico: L'auto-ancoraggio ha degradato le prestazioni per ogni modello.
  • Gemini 2.5 Pro: L'accuratezza è scesa dal 39.9% allo 0.0% (domande chiuse). Ciò è stato guidato da un tasso di fallimento di parsing del 98.9% sul prompt in due passaggi.
  • GPT-5: L'accuratezza è scesa dal 67.6% al 19.3%, con un tasso di fallimento di parsing del 70.3%.
• Correlazione: La gravità della degradazione era correlata alla qualità dell'ancoraggio (IoU), sebbene la conformità al formato fosse un fattore dominante per alcuni modelli.

C. Recupero Oracle

• Quando forniti con riquadri di delimitazione Ground-Truth (GT), tutti i modelli hanno migliorato le loro prestazioni VQA rispetto sia alle baseline Dirette sia a quelle con Auto-Ancoraggio.
• Gemini 2.5 Pro è passato da quasi zero al 44.3% di accuratezza, superando la sua baseline VQA diretta. Ciò conferma che la capacità di ragionamento è intatta, ma la percezione (localizzazione) è il collo di bottiglia.

D. Impatto del Fine-Tuning

• Qwen 2.5 VL (SFT) ha raggiunto il richiamo open-ended su SLAKE più alto riportato (85.5%) tra i metodi comparabili, superando LLaVA-Med e altre baseline.
• Ciò dimostra che il divario a livello VQA è trattabile tramite adattamento di dominio. Tuttavia, poiché l'SFT è stato valutato solo sulle metriche VQA, rimane incerto se questo adattamento abbia risolto il sottostante collo di bottiglia della percezione/ancoraggio.

5. Significato e Conclusione

• Ancoraggio come Collo di Bottiglia: Lo studio identifica la qualità dell'ancoraggio visivo come il principale collo di bottiglia per l'affidabilità della VQA medica nell'impostazione del riquadro di delimitazione di SLAKE. I VLM attuali mancano della precisione spaziale necessaria per utilizzare l'ancoraggio come passaggio intermedio affidabile.
• Rischi della Pipeline: Affidarsi a pipeline di "auto-ancoraggio" con i modelli all'avanguardia attuali è pericoloso, poiché introduce un alto rischio di collasso del formato e errori di localizzazione che degradano le prestazioni complessive.
• Direzioni Future: Gli autori suggeriscono:
  1. Architetture Ibride: Disaccoppiare percezione e ragionamento utilizzando moduli di ancoraggio specializzati e adattati al dominio (ad esempio, Grounding DINO o SAM fine-tunati) per fornire input spaziali affidabili ai VLM.
  2. Analisi Granulare: Stratificare l'analisi dei fallimenti per tipo di organo, scala della lesione e lateralità.
  3. Adattamento al Tempo di Inferenza: Esplorare l'apprendimento per rinforzo al momento del test per migliorare la percezione senza dati di training aggiuntivi.

In sintesi, sebbene i VLM all'avanguardia possiedano forti capacità di ragionamento, la loro incapacità di localizzare con precisione le strutture mediche rende le pipeline di "auto-ancoraggio" inaffidabili. Un'IA medica affidabile richiede moduli di percezione specializzati o significativi miglioramenti nelle capacità di ragionamento spaziale degli stessi VLM.