In search of truth: Evaluating concordance of AI-based anatomy segmentation models

Questo lavoro presenta un framework pratico per valutare la concordanza tra modelli di segmentazione anatomica basati sull'intelligenza artificiale in assenza di ground truth, armonizzando gli output in una rappresentazione standard e fornendo strumenti di visualizzazione interattiva, dimostrando la sua utilità nel confrontare sei modelli open-source su scansioni CT NLST per segnalare discrepanze e prioritizzare i casi di disaccordo inter-modello per la revisione da parte di esperti.

L'essenziale

Immagina di avere una biblioteca gigante di migliaia di TAC (scansioni mediche) del torace, come quelle del "National Lung Screening Trial" (NLST). Questi dati sono preziosissimi per la ricerca, ma c'è un problema: sono solo "foto" grezze. Per capire davvero cosa c'è dentro (quanto è grande un polmone, dove finisce una costola, com'è fatto il cuore), qualcuno deve "disegnare" i contorni di ogni organo.

Fino a poco tempo fa, questo lavoro richiedeva anni di tempo da parte di radiologi umani. Poi sono arrivati gli IntelliArtificiali (AI) che promettono di fare questo lavoro in pochi secondi.

Il Problema: Troppi Chef, Troppi Ricetti

Oggi esistono sei diversi "chef" (modelli AI) che provano a disegnare questi organi automaticamente, ma non sempre sono d'accordo tra loro. C'è un grosso problema:

1. Non abbiamo il "ricetto originale" (la verità assoluta o ground truth) per sapere chi ha ragione e chi ha torto.
2. Ogni chef usa un linguaggio diverso: uno chiama l'organo "Cuore", un altro "Cuore Completo", un altro ancora "Cuore + Vasi". È come se uno dicesse "pomodoro" e l'altro "pomo d'oro": sono la stessa cosa, ma per il computer no.
3. Non possiamo controllare manualmente 26.000 scansioni. È impossibile.

La Soluzione: Il "Traduttore Universale" e la "Squadra di Controllo"

Gli autori di questo studio hanno creato un kit di strumenti magico per risolvere questo caos. Ecco come funziona, passo dopo passo:

1. Il Traduttore (Armonizzazione)

Prima di tutto, hanno creato un traduttore universale. Hanno preso i disegni fatti dai sei chef e li hanno tutti tradotti in un unico linguaggio standard (chiamato DICOM SEG), usando nomi medici precisi (come quelli del dizionario SNOMED-CT).

• Analogia: Immagina che sei persone scrivano una ricetta per la pasta. Uno usa "grammi", un altro "once", un altro "tazze". Il traduttore converte tutto in "grammi" e assicura che quando uno dice "pomodoro", tutti intendano lo stesso pomodoro. Ora possiamo confrontarli direttamente.

2. La Squadra di Controllo (Consenso)

Senza un "giudice supremo" (il ground truth), come fanno a sapere cosa controllare? Usano la saggezza della folla, ma con un occhio critico.

• Se 5 chef su 6 disegnano il polmone nello stesso modo, probabilmente c'è un accordo.
• Se un chef disegna il polmone in modo strano, mentre gli altri sono d'accordo, quel chef è probabilmente un "fuori strada" da controllare.
  Hanno creato dei grafici interattivi (come mappe del tesoro) che mostrano subito dove i disegni non coincidono. Se un punto è "fuori strada" sul grafico, il sistema ti dice: "Ehi, guarda qui!".

Nota Importante: Quando i modelli sono d'accordo (consenso), non significa necessariamente che abbiano ragione. Potrebbero essere tutti d'accordo su un errore. Tuttavia, l'accordo è un segnale utile. Al contrario, quando i modelli non sono d'accordo, è un campanello d'allarme che dice agli esperti umani: "Controllate qui per primi!".

3. Gli Occhiali Magici (Visualizzazione)

Per capire perché un modello sbaglia o dove c'è disaccordo, hanno creato due strumenti:

• OHIF Viewer: Un sito web che ti permette di vedere le scansioni direttamente dal browser, senza installare nulla. È come guardare un film online, ma con i disegni degli organi sovrapposti.
• CrossSegmentationExplorer (per 3D Slicer): Un programma per computer che ti permette di mettere i disegni dei sei chef uno accanto all'altro. Immagina di avere una schermata divisa in sei parti (un "split-screen viewer") che mostra la stessa identica fetta del torace del paziente, permettendoti di vedere immediatamente come ogni singolo modello ha disegnato quella specifica area. È come avere una lente di ingrandimento che ti mostra le differenze millimetriche tra i modelli, tutti visualizzati contemporaneamente sullo stesso piano.

Cosa Hanno Scoperto? (La Verità Nascosta)

Applicando questo metodo a un piccolo campione di pazienti, hanno scoperto cose sorprendenti:

• I Polmoni: Tutti i modelli erano molto d'accordo. Si accordavano quasi perfettamente (come un coro ben allenato).
• Il Cuore: Qui c'era confusione. Un modello (CADS) disegnava il cuore come una sfera compatta, mentre gli altri includevano anche i vasi sanguigni e le camere superiori. Non era che uno fosse "sbagliato", ma avevano definizioni diverse di cosa fosse il cuore.
• Le Costole e le Vertebre: Qui è saltata fuori la vera "trappola". Quattro dei sei modelli (quelli addestrati sugli stessi dati di base) facevano errori sistematici.
  • L'errore: Spesso includevano pezzi di costole vicine o vertebre adiacenti nel disegno sbagliato, o lasciavano buchi tra la costola e la colonna vertebrale.
  • La causa: Erano tutti "contagiati" dagli stessi errori presenti nei dati su cui erano stati addestrati.
  • I vincitori: Due modelli (MOOSE e CADS) non avevano questi errori e disegnavano le ossa in modo molto più preciso.

Perché è Importante?

Questo studio non ci dice solo "quale AI è la migliore". Ci insegna come trovare i punti critici anche quando non abbiamo la risposta corretta in tasca.

È come se dovessimo scegliere il miglior navigatore GPS per un viaggio in una terra sconosciuta, senza avere la mappa ufficiale. Invece di fidarci ciecamente di uno, guardiamo tutti e sei. Se quattro di loro prendono la stessa strada (magari sbagliata) e due prendono una strada diversa, il nostro sistema ci dice: "Attenzione, qui c'è un disaccordo, un umano deve controllare".

In Sintesi

Gli autori hanno costruito una palestra per testare le intelligenze artificiali. Hanno creato strumenti per:

1. Tradurre i loro linguaggi diversi.
2. Confrontarli velocemente con grafici colorati.
3. Guardarli da vicino con una visualizzazione multipla per trovare gli errori.

Grazie a questo lavoro, ora possiamo usare l'AI per analizzare migliaia di pazienti in modo sicuro, sapendo dove i modelli potrebbero non essere d'accordo e quali errori potrebbero commettere, tutto senza dover assumere migliaia di radiologi per controllare ogni singolo disegno.

Cosa Cambia per il Futuro?

• Altri scienziati possono usare questi strumenti per valutare quanto bene diversi modelli AI sono d'accordo sui loro dati medici e segnalare le aree di disaccordo per un'ispezione più attenta.
• Hanno costruito un kit di strumenti per aiutarci a individuare dove i modelli AI non sono d'accordo, in modo che gli esperti umani possano dare priorità alla revisione di quei casi — assicurandosi che quando automatizziamo la ricerca medica, catturiamo i potenziali errori prima che si diffondano.

Sommario tecnico

Titolo della Sintesi: Valutazione della Concordanza dei Modelli di Segmentazione Anatomica Basati su AI in Assenza di Ground Truth

1. Il Problema

L'analisi secondaria di grandi dataset di imaging medico (come il National Lung Screening Trial - NLST) richiede spesso l'estrazione di misurazioni quantitative sull'anatomia. Tuttavia, la maggior parte di questi dataset pubblici non dispone di annotazioni di "ground truth" (etichette manuali di riferimento) create da esperti, rendendo impossibile una valutazione oggettiva delle prestazioni dei modelli di segmentazione basati sull'Intelligenza Artificiale (AI).
Inoltre, la crescente disponibilità di modelli di segmentazione "whole-body" (corpo intero) open-source solleva la questione di come gestire l'eterogeneità degli output. Le sfide principali includono:

• Mancanza di Ground Truth: Impossibilità di calcolare metriche standard come il DSC (Dice Similarity Coefficient) rispetto a una verità di riferimento.
• Mancanza di Standardizzazione: I diversi modelli producono output in formati eterogenei (spesso NIfTI) con etichette e convenzioni di colorazione diverse, rendendo il confronto diretto complesso.
• Scalabilità: La revisione manuale di migliaia di strutture anatomiche su migliaia di scansioni è impraticabile.

L'obiettivo di questo studio non è selezionare il "migliore" modello in assoluto, ma valutare la concordanza tra più modelli su grandi dataset di imaging e identificare i casi in cui i modelli non sono d'accordo, prioritarizzando tali casi per la revisione da parte di esperti. L'approccio mira a identificare e segnalare le discrepanze tra gli output dei modelli per una revisione prioritaria da parte di esperti, consentendo decisioni informate sull'idoneità del modello per specifici contesti applicativi.

2. Metodologia

Gli autori hanno sviluppato un framework sistematico per valutare e confrontare sei modelli di segmentazione open-source su un campione di 18 serie TC (Tomografia Computerizzata) del dataset NLST, coprendo 24 strutture anatomiche selezionate (polmoni, vertebre toraciche, coste, sterno, cuore).

Le fasi principali del metodo sono:

• Armonizzazione dei Dati (Harmonization):
  • Conversione di tutti gli output dei modelli (inizialmente in NIfTI) nel formato standard DICOM SEG.
  • Mappatura delle etichette specifiche di ogni modello a termini standardizzati SNOMED-CT (Sistema di terminologia medica).
  • Assegnazione coerente di colori DICOM per ogni struttura anatomica, facilitando la visualizzazione comparativa.
• Selezione delle Strutture:
  • Applicazione di criteri di esclusione per rimuovere strutture segmentate da un solo modello o con copertura incompleta nelle scansioni TC toraciche (es. organi addominali).
  • Focus finale su 24 strutture segmentate da almeno due modelli (preferibilmente da tutti e sei).
• Analisi Quantitativa (Senza Ground Truth):
  • Calcolo di una segmentazione di consenso: l'insieme di voxel dove tutti i modelli che includono una struttura sono d'accordo.
  • Valutazione della concordanza di ogni modello rispetto al consenso utilizzando due metriche:
    1. DSC (Dice Similarity Coefficient): Sovrapposizione spaziale.
    2. Rapporto di Volume: Confronto tra il volume del modello e il volume del consenso.
• Visualizzazione e Analisi Qualitativa:
  • Sviluppo di grafici interattivi scatterplot per identificare rapidamente i valori anomali (outlier) e le strutture con bassa concordanza.
  • Creazione di un modulo per 3D Slicer chiamato CrossSegmentationExplorer, che permette la visualizzazione sincronizzata e affiancata delle segmentazioni di diversi modelli sullo stesso volume.
  • Utilizzo del visualizzatore web OHIF Viewer per l'ispezione rapida basata su browser.
  • Revisione finale da parte di un esperto radiologo per validare le discrepanze critiche.

3. Contributi Chiave

• Strategia di Valutazione Basata sul Consenso: Una metodologia per valutare l'accordo inter-modelli in assenza di ground truth, segnalando le discrepanze per una revisione umana prioritaria. Nota: il consenso tra i modelli non garantisce la correttezza, ma indica aree di accordo rispetto ad aree che richiedono un'ulteriore scrutinio.
• Standardizzazione e Interoperabilità: Un pipeline completo per convertire output eterogenei in DICOM SEG con metadati SNOMED-CT, rendendo i dati immediatamente utilizzabili in archivi e visualizzatori standard.
• Strumenti Open Source:
  • Script di armonizzazione e conversione.
  • CrossSegmentationExplorer: Un'estensione per 3D Slicer per il confronto visivo efficiente.
  • Grafici interattivi e dashboard web per l'esplorazione dei dati.
• Dataset Armonizzato: Pubblicazione di un dataset di segmentazioni armonizzate per 18 scansioni NLST, accessibile tramite Imaging Data Commons (IDC).

4. Risultati

Lo studio ha confrontato sei modelli: TotalSegmentator (v1.5 e v2.6), Auto3DSeg, MOOSE, MultiTalent e CADS.

• Polmoni: Mostrano un'eccellente concordanza tra tutti i modelli (DSC > 95%, sovrapposizione volumetrica > 90%). Le differenze sono minime e limitate ai bordi.
• Cuore: La concordanza è moderata (DSC 75-90%) a causa di definizioni anatomiche diverse. In particolare, il modello CADS segmenta il cuore come una struttura compatta (escludendo grandi vasi), mentre gli altri includono atri e vasi. Escludendo CADS, la concordanza tra i restanti modelli migliora significativamente (DSC > 95%).
• Coste e Vertebre: Questi sono i punti critici.
  • Quattro modelli (TotalSegmentator 1.5/2.6, Auto3DSeg, MultiTalent) hanno mostrato errori sistematici, probabilmente dovuti a problemi nel dataset di training originale (TotalSegmentator). Gli errori includono: fusione di vertebre adiacenti, inclusione di parti di coste vicine e assegnazione errata delle etichette.
  • I modelli MOOSE e CADS (che non si basano interamente sul dataset TotalSegmentator o lo hanno elaborato diversamente) hanno mostrato prestazioni superiori, con DSC > 90% e volumi più coerenti.
  • In particolare, MOOSE è l'unico modello che include correttamente le porzioni delle coste vicino alle articolazioni costo-vertebrali, mentre gli altri mostrano lacune visibili.
• Sterno: Concordanza moderata, con differenze nella segmentazione del processo xifoideo tra i vari modelli.

5. Significato e Conclusioni

Questo lavoro dimostra che è possibile identificare modelli di segmentazione robusti e rilevare errori sistematici anche in assenza di ground truth, sfruttando la concordanza tra modelli indipendenti.

• Impatto Pratico: Il framework non seleziona un modello "vincente", ma segnala disaccordi sistematici nelle strutture ossee tra modelli che condividono gli stessi dati di training, rivelando un artefatto condiviso del dataset di training che non sarebbe stato visibile senza il confronto inter-modelli. Questo permette agli utenti di valutare la concordanza tra i modelli sui propri dataset e identificare le aree di disaccordo che richiedono un'ispezione più ravvicinata.
• Scalabilità: Gli strumenti sviluppati sono agnostici rispetto al dataset e al modello, rendendoli applicabili a qualsiasi dataset di imaging 3D (TC, RM, PET).
• Futuro: Gli autori intendono estendere l'analisi a un campione più rappresentativo del dataset NLST (oltre 26.000 pazienti) per generare segmentazioni complete da pubblicare su IDC, abilitando nuove ricerche epidemiologiche e cliniche, con l'obiettivo di affinare ulteriormente la valutazione della qualità basata sulla concordanza.
• Limitazioni: L'approccio basato sul consenso non rileva errori condivisi da tutti i modelli (se tutti sbagliano allo stesso modo). Tuttavia, per la gestione della qualità su larga scala, questo metodo si è dimostrato efficace nell'individuare le soluzioni più affidabili e nel segnalare i casi critici.

In sintesi, il paper fornisce un "toolkit" essenziale per la comunità di ricerca medica, trasformando la sfida della mancanza di ground truth in un'opportunità per valutare e migliorare l'affidabilità degli strumenti di AI diagnostica. L'analisi della concordanza inter-modelli si rivela una strategia viable ed efficace per il controllo di qualità in imaging medico, consentendo ai ricercatori di segnalare e prioritarizzare i casi di disaccordo per la revisione da parte di esperti.