ScintiGround-38K: A Grounded Visual Question Answering Benchmark for Paired Anterior–Posterior Bone Scintigraphy

Sintesi Tecnica: ScintiGround-38K

Problematica
La scintigrafia ossea total-body (WBBS) è una modalità di screening standard e a basso costo per le metastasi scheletriche, tipicamente acquisita come coppie di proiezioni anteriore e posteriore. Sebbene il deep learning abbia fatto progressi nella rilevazione e classificazione delle lesioni in questo dominio, i benchmark esistenti spesso riducono i risultati clinici a etichette di testo libero, interrompendo il legame tra le risposte e l'evidenza d'immagine specifica necessaria per supportarle. Inoltre, la valutazione standard del Visual Question Answering (VQA) si basa pesantemente sull'accuratezza della risposta grezza, il che può essere fuorviante in contesti medici dove i modelli possono sfruttare i priori condizionati dalla domanda o la frequenza delle classi piuttosto che il contenuto visivo. Manca un benchmark che preservi la geometria originale dell'immagine, mantenga annotazioni sorgente tracciabili (bounding box e etichette) e supporti simultaneamente compiti di VQA basati solo sulla risposta, solo sulla localizzazione e su VQA con grounding per dati WBBS accoppiati.

Metodologia
Gli autori presentano ScintiGround-38K, un dataset congelato e preservante la provenienza, derivato da due collezioni sorgente: BS-80K (che fornisce riferimenti d'immagine, etichette di regione/lesione e bounding box) e LIBS-160K (che fornisce template di domande controllati e basati su regole).

• Costruzione del Dataset: Il benchmark contiene 38.469 istanze derivate da 54.768 record sorgente e 23.967 coppie di immagini anteriore-posteriore di 2.815 pazienti. Definisce tre distinti tipi di task:
  1. VQA: Richiede una risposta sì/no riguardante una regione specificata o l'intero corpo, senza una box predetta.
  2. Localizzazione dell'Immagine: Richiede una o due bounding box per una regione ossea o un hotspot nominato, senza punteggio della risposta.
  3. Grounded VQA: Richiede sia una risposta corretta che la corrispondente box target.
• Provenienza e Integrità: Ogni istanza conserva il proprio identificatore sorgente, la vista, le coordinate della box nell'immagine nativa e l'assegnazione dello split a livello di paziente. Le righe contenenti solo metadati sono escluse. La distribuzione rilascia solo le annotazioni derivate; le immagini grezze a monte non vengono ridistribuite.
• Split dei Dati: I pazienti sono partizionati a livello di soggetto (80% training, 10% validazione, 10% test) per prevenire la fuga di dati (data leakage) e l'apprendimento di scorciatoie basato sull'identità del paziente.
• Protocolli Baseline: Due modelli vision-language, Qwen3-VL-2B-Instruct e PaliGemma-3B-pt-224, sono stati adattati utilizzando la Low-Rank Adaptation (LoRA) sullo stesso set di addestramento multi-task. Qwen3-VL ha ricevuto immagini anteriori e posteriori native, mentre PaliGemma ha ricevuto una tela composta anteriore-posteriore.
• Valutazione: Le metriche includono accuratezza grezza, accuratezza bilanciata, macro-F1 e precisione/richiamo/F1 specifiche per classe. Per la localizzazione, vengono riportati la media dell'Intersection over Union (IoU), l'accuratezza della box (IoU ≥ 0.50) e l'accuratezza di localizzazione rigorosa. Le prestazioni del Grounded VQA sono misurate tramite l'accuratezza di grounding rigorosa (strict grounded accuracy), che accredita una predizione solo se sia la risposta che la box sono corrette.

Contributi Chiave

1. Definizione del Task: Il documento definisce i task di VQA anteriore-posteriore accoppiato, localizzazione dell'immagine e grounded VQA che operano su livelli di regione ossea, lesione e intero corpo utilizzando le posizioni dell'immagine originale.
2. Preservazione della Provenienza: Viene stabilito un rigoroso confine di rilascio in cui ogni istanza è tracciabile alle annotazioni sorgente tramite link e hash registrati, garantendo che nessuna evidenza clinica sia generata de novo.
3. Protocolli Baseline Metodologici: Sono specificati protocolli di addestramento efficienti nei parametri per due diverse famiglie di modelli, riportando esplicitamente le differenze nei formati di input e nelle procedure di selezione.
4. Separazione delle Metriche: Lo studio riporta metriche di classe bilanciate e di localizzazione che separano l'accuratezza della risposta grezza dalle prestazioni della classe minoritaria e dal comportamento a livello di evidenza.

Risultati
La valutazione sul set di test tenuto in riserva rivela una significativa dissociazione tra la correttezza della risposta e il grounding dell'evidenza:

• Accuratezza della Risposta: Entrambi i modelli hanno raggiunto un'elevata accuratezza della risposta grezza (>0.90) nei task di VQA e Grounded VQA.
• Prestazioni Bilanciate: Nonostante l'elevata accuratezza grezza, l'accuratezza bilanciata è rimasta vicina a 0.53 (0.528 per Qwen3-VL e 0.535 per PaliGemma su VQA), indicando una prestazione vicina al caso casuale per la classe minoritaria.
• Prestazioni della Classe Minoritaria: Il punteggio F1 per la classe "Anomala" è rimasto al di sotto di 0.15 per tutte le configurazioni.
• Localizzazione: I modelli hanno dimostrato competenza nella disposizione spaziale, raggiungendo una media IoU di circa 0.64 e un'accuratezza della box tra 0.78 e 0.86.
• Accuratezza di Grounding: L'accuratezza di grounding rigorosa (che richiede sia la risposta corretta che la box) è stata di 0.765 per Qwen3-VL e 0.701 per PaliGemma. Questo divario tra l'accuratezza della box e l'accuratezza di grounding rigorosa evidenzia che i modelli spesso localizzano correttamente ma falliscono nel generare la classificazione corretta per la classe minoritaria.

Significatività e Rivendicazioni
Il documento afferma che ScintiGround-38K funge da risorsa metodologica per dimostrare come un'elevata accuratezza della risposta grezza possa nascondere un debole comportamento della classe minoritaria e del livello di evidenza nel VQA medico. Gli autori sostengono che la correttezza della risposta e la localizzazione dell'evidenza siano capacità separabili in questa modalità; un benchmark che misuri solo la prima caratterizzerebbe erroneamente questi sistemi come robusti.

Il lavoro sottolinea che il dataset non è destinato alla diagnosi clinica, alla selezione del trattamento o all'impiego nell'assistenza al paziente, poiché non è stato sottoposto a validazione clinica e si basa su etichette di revisione specialistica delle immagini piuttosto che su verità patologica. Il contributo primario è la fornitura di uno strumento per misurare l'allineamento tra risposte ed evidenza d'immagine, evidenziando la necessità di metriche bilanciate e di una valutazione di grounding rigorosa nella ricerca sull'IA medica. Le direzioni future identificate dagli autori includono l'istituzione di baseline di controllo non basate su immagini, l'indirizzamento dello sbilanciamento delle classi attraverso la reportistica stratificata e la conduzione di una validazione esterna su coorti indipendenti.