Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

Sintesi Tecnica: Predizione Selettiva Calibrata Utilizzando Deep Ensemble per la Classificazione di ROI di Noduli Tiroidei tramite Ecografia sotto Dataset Shift

Problematica
Sebbene i modelli di deep learning abbiano dimostrato un'elevata capacità discriminativa nella classificazione dei noduli tiroidei da immagini ecografiche, l'accuratezza da sola è insufficiente per il supporto decisionale clinico. Negli scenari reali, i modelli possono produrre predizioni sicure ma inaffidabili per casi ambigui, immagini provenienti da protocolli di acquisizione differenti o distribuzioni di dati diverse dal set di addestramento (dataset shift). Un sistema clinico sicuro deve non solo classificare le immagini, ma anche identificare i casi in cui i suggerimenti di triage automatizzati sono inaffidabili e deferirli agli esperti umani. Ciò richiede una calibrazione della probabilità robusta, una stima dell'incertezza e un meccanismo di predizione selettiva (classificazione con opzione di rifiuto) che operi in modo conservativo sotto dataset shift.

Metodologia
Lo studio propone un framework di deep-ensemble deterministico a cinque membri, calibrato e basato su annotazioni, per la classificazione delle regioni di interesse (ROI) di noduli tiroidei. La metodologia coinvolge i seguenti componenti chiave:

• Dataset e Architettura: Il framework utilizza il dataset TN5000 (5.000 immagini, arricchito in casi maligni) per lo sviluppo e la validazione incrociata interna, e il dataset TN3K (614 immagini, diversa distribuzione delle classi e stile di annotazione) per la valutazione esterna sotto dataset shift. È stata selezionata come architettura ottimale un backbone ConvNeXt-Tiny aumentato da un modulo di attenzione Squeeze-and-Excitation (SE).
• Ensemble e Calibrazione: Viene generato un ensemble di cinque membri addestrati indipendentemente (utilizzando diversi seed casuali). Per garantire stime di probabilità affidabili, viene applicata la scalatura vettoriale per membro post-hoc utilizzando un subset di calibrazione dedicato (val_calib) all'interno di ogni fold di cross-validazione.
• Stima dell'Incertezza: L'Informazione Mutua (MI) è impiegata come principale misura operativa del disaccordo dell'ensemble. La MI quantifica la divergenza tra l'entropia della predizione media dell'ensemble e la media dell'entropia dei singoli membri. Un'alta MI indica un'elevata incertezza epistemica (disaccordo tra i modelli).
• Politica di Triage Selettivo: Viene applicata una rigorosa politica retrospettiva a tre livelli:
  1. Gate di Incertezza: Le immagini con MI superiore a una soglia specifica per ogni fold vengono assegnate immediatamente alla revisione del radiologo.
  2. Gate di Esclusione/Inclusione: Tra le immagini a bassa MI, le probabilità di malignità calibrate vengono valutate rispetto a soglie specifiche per ogni fold.
     • Le probabilità al di sotto di una soglia di esclusione conservativa ($\tau_{low}$) ricevono un suggerimento basato sull'immagine "No-FNA" (Fine-Needle Aspiration).
     • Le probabilità al di sopra di una soglia di inclusione conservativa ($\tau_{high}$) ricevono un "raccomandazione FNA".
     • Le probabilità che ricadono nella "zona grigia" intermedia vengono assegnate alla revisione del radiologo.
• Selezione delle Soglie: Le soglie sono derivate esclusivamente dal subset di validazione (val_es) di ogni fold per soddisfare rigorosi criteri di sicurezza: un Valore Predittivo Negativo (NPV) di "No-FNA" $\ge$ 98% e un Valore Predittivo Positivo (PPV) di "raccomandazione FNA" $\ge$ 95%.
• Valutazione Esterna: Un modello e una politica congelati derivati da TN5000 sono applicati invariati a TN3K per valutare la trasportabilità della calibrazione, del comportamento dell'incertezza e della validità delle soglia decisionali sotto dataset shift.

Contributi Chiave

1. Sviluppo del Framework: Gli autori hanno sviluppato un framework di deep-ensemble deterministico calibrato utilizzando ConvNeXt-Tiny con attenzione SE per la classificazione delle ROI di noduli tiroidei.
2. Deferimento Basato sull'Incertezza: Lo studio valuta l'Informazione Mutua come uno specifico punteggio di disaccordo dell'ensemble per identificare immagini non adatte al triage automatizzato, distinguendolo dal weighting dell'incertezza durante l'addestramento.
3. Politica di Triage Conservativa: Viene proposta una politica a tre livelli che combina il deferimento basato sull'incertezza con percorsi di esclusione e inclusione basati sulla probabilità, garantendo che i suggerimenti automatizzati siano emessi solo per casi a basso disaccordo con probabilità estreme.
4. Analisi della Trasportabilità Esterna: Lo studio valuta rigorosamente una politica derivata da TN5000 applicata a un coorte indipendente TN3K, analizzando esplicitamente come la discriminazione, la calibrazione e la validità delle soglie degradino sotto dataset shift.

Risultati

• Performance Interna (TN5000): L'ensemble calibrato ha raggiunto un AUC-ROC out-of-fold aggregato di 0,9395 e un Average Precision (AP) di 0,9715. La calibrazione è stata eccellente, con un Errore di Calibrazione Atteso (ECE) di 0,0088 e un punteggio di Brier di 0,0813.
• Predizione Selettiva Interna: Con un tasso di ritenzione nominale della MI del 50%, il sistema ha assegnato il 7,2% dei casi a "No-FNA", il 39,9% a "raccomandazione FNA" e il 52,9% alla revisione del radiologo. Ciò ha ottenuto un NPV di "No-FNA" del 98,3% e una cattura della malignità del 99,83%.
• Performance Esterna (TN3K): Sotto dataset shift, la discriminazione è diminuita (AUC-ROC 0,7870, AP 0,7254) e la calibrazione è deteriorata significativamente (ECE 0,1899, punteggio di Brier 0,2281).
• Esiti del Triage Esterno: Applicando la politica congelata di TN5000 a TN3K, l'83,7% dei casi è stato assegnato alla revisione del radiologo, il 15,3% ha ricevuto una raccomandazione FNA e solo l'1,0% ha ricevuto un suggerimento No-FNA. Sebbene nessun'immagine maligna sia stata erroneamente assegnata al percorso No-FNA (NPV osservato del 100%), ciò è dovuto all'alto tasso di deferimento piuttosto che a una robusta capacità di esclusione. Il PPV della raccomandazione FNA è sceso al 76,6%, non raggiungendo l'obiettivo del 95% stabilito durante la selezione delle soglie interna.

Significatività e Rivendicazioni
L'articolo sostiene che il framework di deep-ensemble calibrato proposto dimostra con successo una forte discriminazione e calibrazione interna, supportando un framework di predizione selettiva conservativo dove i suggerimenti automatizzati sono trattenuti per casi di alto disaccordo. Tuttavia, gli autori dichiarano esplicitamente che la valutazione esterna su TN3K rivela una riduzione della discriminazione, un deterioramento della calibrazione e una limitata trasportabilità delle soglie operative sotto dataset shift.

Di conseguenza, gli autori concludono che questi risultati non supportano il deployment clinico diretto o rivendicazioni di effettiva riduzione delle biopsie senza calibrazione locale, validazione delle soglie e valutazione clinica prospettica. Invece, lo studio posiziona la predizione selettiva come un meccanismo cauto per identificare immagini che non sono adatte al triage autonomo, sottolineando che i suggerimenti basati sull'immagine automatizzati dovrebbero essere emessi solo per casi a basso disaccordo, mentre le predizioni potenzialmente inaffidabili dovrebbero essere riferite alla revisione dell'esperto. Il lavoro evidenzia la necessità di una validazione locale prima di applicare tali modelli in nuovi ambienti clinici.