Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Sintesi Tecnica: Valutazione Cross-cohort di Deep Learning per l'Ecografia Tiroidea attraverso Diverse Definizioni di Outcome

Problematica
Le prestazioni dei modelli di intelligenza artificiale (IA) per l'interpretazione dell'ecografia tiroidea dipendono fortemente dalle caratteristiche della coorte e dallo specifico endpoint di valutazione utilizzato. Una sfida critica nel campo è l'intercambiabilità di diversi endpoint diagnostici: la patologia postoperatoria (un outcome diagnostico definitivo) rispetto alle categorie di rischio assegnate dal radiologo, come il sistema American College of Radiology Thyroid Imaging Reporting and Data System (TI-RADS) (un punteggio di sospetto orientato alla gestione clinica). Questi endpoint rappresentano fasi distinte del percorso diagnostico e non sono intercambiabili. Inoltre, i modelli di deep learning addestrati su un dataset spesso non generalizzano a coorti indipendenti a causa di variazioni nella popolazione, nelle apparecchiature, nei protocolli di acquisizione e nelle definizioni delle etichette. Questo studio affronta la necessità di testare i classificatori di ecografia tiroidea, separando esplicitamente la valutazione rispetto agli outcome di malignità dall'accordo con le categorie di rischio derivate da TI-RADS, controllando al contempo la fuga di dati (data leakage) a livello di immagine.

Metodologia
Lo studio ha impiegato una pipeline di benchmarking a controllo di duplicati, basata su immagini, utilizzando un ambiente di analisi fisso (Python 3.10, PyTorch 2.5.1).

• Dataset:

  • Archivio di Sviluppo: Un rilascio pubblico di Mendeley Data contenente 387 immagini ecografiche in modalità B-mode e 1.332 blocchi di citologia per agoaspirato (FNA) derivanti da 385 casi sorgente. Le etichette erano binarie (Carcinoma Tiroideo Papillare [PTC] vs Benigno) basate sulla diagnosi postoperatoria. Gli identificativi a livello di paziente non erano disponibili, impedendo la verifica degli split a livello di paziente.
  • Coorti Esterne: Due modelli congelati sono stati valutati senza riaddestramento o aggiustamento della soglia su:
    1. TN3K: Un sottoinsieme di 1.228 immagini con etichette benigno/maligno fornite dal dataset.
    2. DDTI: 637 immagini valutate rispetto a un endpoint binario derivato dalle categorie radiologiche TI-RADS (raggruppando la bassa sospensione TI-RADS 2–3 rispetto all'alta sospensione TI-RADS 4–5).

• Pre-elaborazione dei Dati e Controllo della Fuga (Leakage):

  • Controllo dei Duplicati: Le immagini sono state raggruppate tramite hash MD5 (duplicati esatti) e hash percettivi (immagini quasi identiche). Tali gruppi sono stati mantenuti all'interno di singole partizioni (train, validation, test) per prevenire la fuga di dati a livello di immagine.
  • Pre-elaborazione: Le immagini sono state ridimensionate a 224×224 pixel. Un esperimento esplorativo ha testato il ritaglio automatico della Regione di Interesse (ROI) basato sulla texture per sopprimere gli artefatti periferici dell'interfaccia.

• Architettura del Modello e Addestramento:

  • Sono state addestrate cinque architetture di backbone: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50 e DenseNet-121.
  • I modelli sono stati inizializzati con pesi ImageNet e perfezionati utilizzando una perdita di cross-entropy binaria pesata per classe con ottimizzazione AdamW.
  • Un ensemble è stato costruito mediando le probabilità sigmoidali di ConvNeXt-Small, EfficientNet-B3, Swin-Tiny e ResNet-50.
  • La calibrazione è stata valutata tramite temperature scaling, Brier score e l'Errore di Calibrazione Atteso (ECE).

• Strategia di Valutazione:

  • Le prestazioni sono state misurate utilizzando AUROC, AUPRC, accuratezza, sensibilità, specificità e punteggio F1.
  • Gli intervalli di confidenza sono stati generati tramite campionamento bootstrap non parametrico (2.000 repliche).
  • Le modalità citologia ed ecografia sono state analizzate come distribuzioni di immagini separate e non accoppiate; non è stata stimata l'accuratezza comparativa intra-paziente.

Contributi Chiave

1. Separazione della Provenienza dell'Endpoint: Lo studio distingue esplicitamente tra la valutazione della capacità di un modello di predire la malignità (contro etichette patologiche) e l'accordo con la stratificazione del rischio radiologico (TI-RADS).
2. Benchmarking Controllato per Duplicati: Implementazione di hashing esatto e percettivo per prevenire la fuga di dati a livello di immagine in assenza di identificativi a livello di paziente, un problema comune negli archivi di immagini mediche pubblici.
3. Valutazione Frozen su Coorti Esterne: Valutazione di modelli congelati su due coorti distinte (TN3K e DDTI) senza riaddestramento, evidenziando come le prestazioni varino in base all'acquisizione e alla definizione dell'endpoint.
4. Contrasto Descrittivo tra Modalità: Un confronto non accoppiato di distribuzione tra ecografia e citologia all'interno dell'archivio di sviluppo, chiarendo che tali confronti descrivono le distribuzioni delle immagini piuttosto che stabilire la superiorità clinica.

Risultati

• Performance Interne (Archivio di Sviluppo):

  • Citologia: Il modello ConvNeXt-Small ha raggiunto un'AUROC di 0,988 (95% CI 0,976–0,998), e l'ensemble ha raggiunto 0,986.
  • Ecografia: Il modello EfficientNet-B3 ha raggiunto un'AUROC di 0,745 (95% CI 0,612–0,865), e l'ensemble ha raggiunto 0,733.
  • Ritaglio ROI: Il ritaglio automatico della ROI ha migliorato l'AUROC dell'ensemble ecografico da 0,745 a 0,817.
  • Calibrazione: Il temperature scaling ha migliorato l'affidabilità della probabilità (l'ECE è sceso da 0,032 a 0,014) senza alterare le metriche basate sul ranking.

• Valutazione delle Coorti Esterne (Modelli Frozen):

  • TN3K (Etichette di Malignità): L'ensemble ecografico ha raggiunto un'AUROC di 0,825, e ResNet-50 ha raggiunto 0,888. Questi risultati indicano una buona discriminazione rispetto alle etichette benigno/maligno distribuite del dataset.
  • DDTI (Endpoint TI-RADS): Rispetto all'endpoint derivato da TI-RADS, l'ensemble ha raggiunto un'AUROC di 0,477 e ResNet-50 ha raggiunto 0,437. Ciò indica scarso o nullo accordo con la categorizzazione TI-RADS.
  • Interpretazione: Gli autori osservano che il contrasto tra i risultati di TN3K e DDTI non può essere attribuito esclusivamente alla definizione dell'etichetta, poiché coorte, apparecchiatura, acquisizione e spettro della malattia sono cambiati simultaneamente.

• Confronto tra Modalità: Un'analisi bootstrap descrittiva non accoppiata ha mostrato una differenza di AUROC citologia-meno-ecografia di 0,247 (9% CI 0,120–0,384). Gli autori sottolineano che questo non prova la superiorità clinica della citologia, poiché i set di immagini non erano appaiati per paziente.

Significatività e Rivendicazioni
L'articolo sostiene che i modelli di ecografia tiroidea "frozen" si comportano diversamente tra le coorti che differiscono per acquisizione e definizione di outcome. Il forte contrasto tra le alte prestazioni su TN3K (etichette di malignità) e le prestazioni vicine al caso su DDTI (etichette TI-RADS) sottolinea che questi endpoint non sono intercambiabili.

Lo studio supporta tre implicazioni primarie per la ricerca futura:

1. Reporting Esplicito: La provenienza dell'etichetta (ad esempio, diagnosi postoperatoria rispetto a TI-RADS) deve essere esplicitamente riportata.
2. Interpretazione Prudente: I contrasti di performance cross-cohort devono essere interpretati con cautela, poiché riflettono una confluenza di spostamenti di distribuzione (distribution shifts) e definizioni di endpoint piuttosto che un singolo fattore causale.
3. Validazione a Livello di Paziente: Gli studi futuri richiedono una valutazione esterna a livello di paziente contro uno standard di riferimento clinicamente appropriato per garantire la trasportabilità.

Gli autori concludono con modestia che i loro risultati supportano la necessità di split verificati a livello di paziente e descrizioni coerenti dello standard di riferimento, piuttosto che rivendicare una soluzione definitiva al problema della generalizzazione nell'IA tiroidea. Lo studio non valida la diagnosi di malignità su DDTI, poiché l'endpoint TI-RADS non è uno standard di riferimento per la malignità.