An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Sintesi Tecnica: Un benchmark VQA automatizzato e a controllo di contaminazione per la valutazione di modelli vision-language su imaging oncologico 3D

Problematica
I modelli vision-language (VLM) sono sempre più applicati all'imaging medico, eppure la loro affidabilità in contesti clinici rimane scarsamente caratterizzata. Gli esistenti benchmark pubblici per il Visual Question-Answering (VQA) medico soffrono di due criticità fondamentali:

1. Contaminazione dei dati: I dataset su larga scala spesso entrano nei corpora di pre-addestramento dei VLM, il che significa che punteggi elevati possono riflettere la memorizzazione di coppie immagine-domanda piuttosto che una genuina percezione visiva.
2. Risolvibilità basata solo sul testo: Molti elementi del benchmark possono essere risolti correttamente utilizzando solo il testo della domanda e i prior linguistici, bypassando la necessità di analizzare l'immagine.

Inoltre, l'imaging oncologico presenta sfide uniche: gli studi sono volumetrici (3D), richiedendo l'interpretazione attraverso molteplici fette e sequenze, mentre la maggior parte dei VLM attuali accetta solo input 2D. I benchmark esistenti non riescono a distinguere tra le prestazioni dipendenti dall'immagine e quelle guidate dalla familiarità con il dataset o dai segnali del testo della domanda.

Metodologia
Gli autori presentano una pipeline automatizzata, guidata da agenti, progettata per generare benchmark VQA a scelta multipla con controllo della contaminazione direttamente da report radiologici e imaging oncologico 3D accoppiati.

• Fonte dei dati: La pipeline utilizza report radiologici privati di singola istituzione e imaging 3D (CT e MRI) provenienti da quattro coorti oncologiche: fegato CT, fegato MRI, polmone CT e cervello MRI (2.509 casi totali per il benchmark principale). Una quinta coorte di MRI cerebrale completamente privata e in-house è stata generata in modo identico ma riservata specificamente allo studio di ablazione sulla contaminazione pubblico/privato (Tabella 3) ed esclusa dai totali del benchmark principale. Poiché questi report sorgente sono privati e non fanno parte dei dati di pre-addestramento pubblici, le domande generate sono garantite prive di contaminazione a livello di istanza.
• Generazione delle domande: Il sistema produce due tipi di domande complementari:
  1. Guidate da schema (stile RADS): Le domande sono popolate deterministicamente da schemi revisionati da clinici e radicati in framework di refertazione stabiliti (LI-RADS, Lung-RADS e uno schema cerebrale allineato a RANO). Ciò garantisce domande standardizzate e visivamente risolvibili.
  2. Derivate dal report: Le domande sono generate da un modello linguistico basato sui risultati e sull'impressione del radiologo, per poi essere filtrate da un "controllo basato sul report" per garantire che la risposta sia esplicitamente supportata dal testo sorgente.
• Elaborazione dell'immagine: Per i modelli con input 2D, i volumi 3D vengono renderizzati come montaggi compositi 12×12 di 144 fette assiali (circa 128×128 pixel per fetta).
• Protocollo di valutazione: Cinque VLM contemporanei sono stati valutati in un setting zero-shot: due modelli frontier chiusi (Claude Opus 4.6, GPT-5.2), un modello frontier a pesi aperti (Qwen3-VL-30B) e due specialisti medici (MedGemma1.0-27B, MedGemma1.5-4B).
• Studi di ablazione: Per isolare la dipendenza visiva, i modelli sono stati rivalutati sostituendo l'immagine con un input vuoto ("blind" o cieco). Inoltre, una coorte cerebrale pubblica (PDGM) è stata confrontata con una coorte cerebrale privata in-house corrispondente per testare la familiarità con la distribuzione delle immagini.
• Rigore statistico: Lo studio impiega il bootstrapping raggruppato per caso per gli intervalli di confidenza e test con controllo della molteplicità (correzione FDR di Benjamini-Hochberg e test TOST [Two One-Sided Tests] per l'equivalenza) per distinguere gli effetti genuini dal rumore.

Risultati Chiave

• Prestazioni variabili: Nessun singolo modello è stato affidabile in tutte le coorti. Le accuratezze sono variate da un baseline quasi casuale (0.28) a 0.81. La classifica dei modelli è variata significativamente per coorte e tipo di domanda.
• Indipendenza dall'immagine: Per diverse configurazioni ad alte prestazioni, rimuovere l'immagine ha avuto un effetto minimo sull'accuratezza.
  • Su MRI cerebrale (sia pubblica che privata) e CT polmonare, i modelli frontier (ad es. Claude Opus 4.6) hanno mostrato cali di accuratezza minimi quando le immagini venivano rimosse, suggerendo che le loro prestazioni dipendono fortemente dai prior linguistici o dai segnali del testo della domanda.
  • Al contrario, MedGemma1.0-27B ha mostrato cali significativi su CT e MRI del fegato quando sottoposto al test "blind", indicando una maggiore dipendenza visiva in quei contesti specifici.
• Imaging cerebrale Pubblico vs. Privato: Nelle domande di tipo RADS, i modelli frontier hanno ottenuto punteggi superiori di 0.17–0.19 sulle immagini cerebrali pubbliche (PDGM) rispetto alle immagini private corrispondenti, suggerendo una potenziale familiarità con i dataset pubblici. Tuttavia, sulle domande derivate dal report, le prestazioni sono state indistinguibili tra le coorti pubblica e privata.
• Difficoltà del compito: I modelli hanno incontrato grandi difficoltà con giudizi quantitativi o graduati (ad es. dimensione della lesione, categoria Lung-RADS, grado di effetto massa), dove le accuratezze hanno appena superato il caso. Al contrario, i compiti di riconoscimento qualitativo (ad es. presenza/assenza di reperti) sono stati eseguiti con accuratezze molto più elevate.
• Risultati statistici: Dopo la correzione FDR, 37 di 40 misurazioni di accuratezza hanno superato i livelli del caso. Tuttavia, il test di equivalenza ha rivelato che, per molti modelli ad alte prestazioni su compiti specifici (ad es. report-derived su MRI cerebrale), la differenza tra la prestazione con o senza immagine era statisticamente equivalente a zero entro un margine di ±0.05.

Significato e Rivendicazioni
Il documento non pretende di fornire una classifica definitiva dei modelli, ma dimostra che un benchmark rigenerabile e generato privatamente può separare efficacemente le prestazioni dipendenti dall'immagine dagli effetti del testo della domanda e della familiarità con il dataset.

• Implicazioni cliniche: Gli attuali VLM, inclusi gli specialisti medici, non sono ancora lettori affidabili di studi oncologici volumetrici quando presentati in formati 2D ridotti. Le accuratezze dichiarate possono sopravvalutare la competenza visiva, specialmente per compiti risolvibili tramite i prior linguistici (ad es. CT polmonare, MRI cerebrale).
• Limitazioni del compito: L'incapacità dei modelli di gestire misurazioni spaziali (dimensione, gradazione della gravità) rispetto al semplice riconoscimento suggerisce che i sistemi attuali a input 2D siano inadatti per compiti che guidano la gestione clinica e che si basano sulla quantificazione precisa.
• Contributo metodologico: Gli autori rilasciano la pipeline come una "abilità di agente" aperta, consentendo alle istituzioni di rigenerare benchmark controllati per la contaminazione sui propri dati privati. Ciò sposta la valutazione da artefatti pubblici statici a test in-house privati e rinnovabili, affrontando il problema critico della fuga di dati (data leakage) nella valutazione dell'IA medica.

Lo studio conclude che, sebbene i VLM mostrino potenziale, le loro capacità di ragionamento visivo in contesti oncologici complessi e volumetrici rimangono limitate e altamente dipendenti dalla specifica modalità di imaging e dal tipo di domanda. Il benchmark proposto offre un quadro rigoroso per identificare queste limitazioni e prevenire il dispiegamento di modelli che si affidano alla memorizzazione piuttosto che alla percezione.