Label-Free Threshold Selection for Out-of-Distribution Detection in Liver CT Segmentation

Nei moderni ospedali, ai computer viene chiesto sempre più spesso di eseguire il delicato compito di tracciare contorni precisi attorno agli organi all'interno del corpo umano. Quando un paziente si sottopone a una scansione mediante tomografia computerizzata, una macchina genera migliaia di immagini trasversali e un software deve identificare il fegato, separandolo dai tessuti circostanti affinché i medici possano pianificare i trattamenti o misurare i tumori. Sebbene questi sistemi automatizzati funzionino in modo straordinario sulle scansioni tipiche, possono vacillare quando si trovano di fronte ad anatomie insolite o a qualità d'immagine rare che differiscono dai dati su cui sono stati originariamente istruiti. Se un computer disegna un confine in modo errato e nessuno se ne accorge, un medico potrebbe prendere una decisione terapeutica basata su informazioni errate. Per prevenire ciò, i ricercatori hanno sviluppato metodi per segnalare questi momenti di incertezza, dando essenzialmente al computer un modo per dire: "Non sono sicuro di questo". La sfida è stata capire esattamente quando suonare l'allarme senza dover richiedere a un esperto umano di esaminare migliaia di immagini prima, un processo che è lento, costoso e spesso impossibile quando i fallimenti sono rari.

Un team di ricercatori della University of Texas MD Anderson Cancer Center ha proposto un nuovo modo per impostare questi allarmi di sicurezza senza fare affidamento su etichette umane per insegnare al sistema cosa costituisce un errore. Nel loro studio, si sono concentrati sulle scansioni del fegato e si sono chiesti se un computer potesse imparare a riconoscere i propri errori semplicemente guardando i modelli del proprio lavoro riuscito. Invece di mostrare al sistema migliaia di esempi di scansioni errate per imparare cosa evitare, hanno lasciato che il sistema studiasse i punteggi che assegnava a un grande gruppo di scansioni normali e riuscite. Hanno scoperto che i punteggi delle buone scansioni seguivano una forma matematica prevedibile, molto simile a come le altezze delle persone in una grande folla tendono a raggrupparsi attorno a una media. Mappando questa forma del successo, sono stati in grado di identificare qualsiasi nuova scansione che cadeva molto al di fuori del modello previsto.

I ricercatori hanno testato questa idea su una collezione di cinquecento scansioni del fegato, incluse immagini del proprio ospedale e provenienti da oltre settanta diversi centri medici in sette paesi. Hanno utilizzato un metodo che confronta il contorno del computer con se stesso in vari modi per generare un singolo punteggio che rappresenti quanto il sistema sia fiducioso. Quando hanno applicato il loro nuovo approccio, hanno scoperto di poter suddividere queste scansioni in tre gruppi: a basso rischio, rischio medio e alto rischio. Il gruppo a basso rischio conteneva scansioni che somigliavano molto a quelle riuscite che il sistema aveva studiato. Il gruppo ad alto rischio conteneva scansioni che sembravano molto strane. Fondamentalmente, il gruppo a rischio medio era progettato per intercettare qualsiasi cosa potesse essere un problema. Quando hanno controllato i risultati, hanno scoperto che ogni singola scansione che un esperto umano in seguito ha identificato come un fallimento era stata catturata da una delle categorie a rischio medio o alto. Infatti, il sistema ha catturato tutti i fallimenti con una sensibilità del 100%, il che significa che non ne ha mancato alcuno, pur identificando correttamente quasi l'80% delle buone scansioni come sicure.

Questo approccio offre un vantaggio significativo rispetto ai metodi precedenti, che tipicamente richiedevano agli esperti di esaminare manualmente centinaia di immagini per decidere dove tracciare la linea tra una scansione sicura e una pericolosa. Quel processo manuale è un peso enorme, specialmente perché le scansioni errate sono rare; trovare abbastanza esempi per insegnare al sistema di solito richiede molto tempo. Il nuovo metodo bypassa interamente questa necessità. Adattando una curva ai punteggi delle scansioni riuscite, i ricercatori hanno creato un punto di riferimento che funge da standard di normalità. Qualsiasi nuova scansione che produca un punteggio lontano da questo standard viene segnalata per una revisione. Lo studio ha dimostrato che questo metodo rimane efficace anche quando il gruppo di scansioni utilizzato per costruire lo standard conteneva un piccolo numero di esempi errati, suggerendo che il sistema è abbastanza robusto per l'uso nel mondo reale, dove i dati perfetti sono difficili da reperire.

I ricercatori hanno anche esplorato come gestire diversi tipi di sistemi di punteggio. Mentre un tipo di punteggio si adattava perfettamente alla forma matematica che si aspettavano, un altro tipo non lo faceva; per quello che non si adattava, hanno utilizzato una tecnica diversa per riorganizzare i dati in modo che si inserissero nel modello, dimostrando che il loro framework è abbastanza flessibile da lavorare con vari modi di misurare la fiducia. Hanno scoperto che, utilizzando due diverse soglie, potevano personalizzare il sistema in base alle diverse esigenze. Una soglia era impostata per essere molto sensibile, catturando ogni possibile fallimento anche se ciò significava segnalare alcune buone scansioni come sospette. L'altra soglia era più rigorosa, identificando un gruppo più piccolo di scansioni che erano quasi certamente errate, il che aiuta i medici a dare priorità alla loro attenzione quando hanno un tempo limitato.

In definitiva, questo lavoro dimostra che i computer possono imparare a riconoscere i propri limiti senza essere esplicitamente istruiti su cosa sia un errore. Il sistema non sostituisce il medico; piuttosto, fornisce un segnale chiaro, basato sui dati, su quali scansioni meritino un esame più approfondito. Trasformando numeri complessi in semplici categorie di rischio, i ricercatori hanno creato uno strumento che potrebbe aiutare gli ospedali a implementare gli strumenti di imaging automatizzati in modo più sicuro ed efficiente. Le scoperte suggeriscono che, man mano che l'intelligenza artificiale diventa più comune in medicina, possiamo fare affidamento sui modelli del proprio successo per proteggerci dai suoi rari fallimenti, garantendo che la tecnologia rimanga un partner affidabile nell'assistenza ai pazienti.