Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

Nella clinica moderna, i medici spesso si affidano a una telecamera per guardare all'interno del corpo umano, catturando immagini fisse del rivestimento dell'intestino tenue per cercare segni di malattie. Una di queste condizioni, la celiachia, causa l'appiattimento e il rimpicciolimento delle piccole proiezioni simili a dita nell'intestino, un cambiamento che può talvolta essere individuato in queste fotografie. Sebbene un medico possa solitamente confermare una diagnosi prelevando un campione di tessuto per l'analisi di laboratorio, gli indizi visivi in un'immagine sono preziosi per guidare quella decisione. Recentemente, programmi informatici sono stati addestrati per osservare queste stesse immagini e decidere se mostrino un intestino sano o uno affetto da celiachia. La speranza è che questi programmi possano agire come un secondo paio di occhi, cogliendo segni sottili che un essere umano potrebbe perdere o segnalando immagini che richiedono un esame più attento. Tuttavia, un computer non è perfetto. A volte, dichiara con sicurezza che un'immagine è normale quando l'etichetta indica che è in realtà malata. La domanda critica per chiunque utilizzi questa tecnologia non è solo quanto spesso il computer ci azzecchi, ma come trovare le immagini specifiche in cui sbaglia prima che sfuggano tra le crepe.

Un ricercatore si è proposto di testare una soluzione pratica a questo problema utilizzando una collezione di 188 fotografie digitali del duodeno, la prima parte dell'intestino tenue. Queste immagini provenivano da un archivio pubblico e sono già state etichettate da esperti come indicanti un intestino normale o uno affetto da celiachia. Prima di eseguire qualsiasi test, il ricercatore ha pulito attentamente i dati, rimuovendo cinque immagini che erano copie digitali esatte di altre e mettendo da parte 24 immagini contrassegnate come "dubbie" perché la loro condizione non era chiara. Ciò ha lasciato un gruppo finale di 159 immagini distinte con cui lavorare. L'obiettivo era vedere se un programma informatico potesse essere istruito per riconoscere i propri errori. Nello specifico, il ricercatore voleva sapere se l'aggiunta di semplici controlli sulla qualità e sulla stabilità dell'immagine potesse aiutare un revisore umano a dare priorità alle immagini "falso normali" da ispezionare per primi, rispetto al semplice monitoraggio della fiducia del computer nella propria risposta.

Per farlo, il ricercatore ha addestrato un modello standard di visione artificiale, un tipo di software noto come ResNet-18, per distinguere tra i due tipi di immagini. L'addestramento è stato eseguito in modo da garantire che il modello non avesse mai visto le immagini specifiche su cui sarebbe stato successivamente testato, impedendogli di limitarsi a memorizzare le risposte. Una volta che il modello era pronto, gli è stato chiesto di classificare ogni immagine nel set di test. Il modello ha identificato correttamente la maggior parte delle immagini, ma ha commesso un errore specifico: ha etichettato 13 immagini come "normali" quando le etichette originali degli esperti le indicavano come "celiaca". Queste 13 immagini sono diventate l'obiettivo dell'esperimento. Il ricercatore ha poi creato due liste diverse per vedere quale metodo avrebbe colto più di questi 13 errori nascosti, qualora un essere umano potesse esaminare solo una piccola frazione del totale delle immagini.

Il primo metodo era l'approccio più semplice possibile: il ricercatore osservava semplicemente quanto il computer fosse sicuro quando definiva un'immagine "normale". Se il computer era solo leggermente sicuro, l'immagine veniva segnalata per la revisione. Il secondo metodo cercava di essere più intelligente aggiungendo segnali extra. Osservava se la risposta del computer cambiava leggermente se l'immagine veniva resa un po' più chiara o più scura, o se il file veniva salvato con una qualità leggermente inferiore. Misurava anche l'immagine stessa per difetti tecnici come sfocatura, eccessiva luminosità o riflessi al centro della foto. Questi tre fattori — debole fiducia, risposte instabili e scarsa qualità dell'immagine — venivano combinati in un unico punteggio per classificare le immagini per la revisione. Il ricercatore ha poi simulato uno scenario in cui un essere umano potesse esaminare solo un numero fisso di immagini, come il 20% del totale, per vedere quale metodo avrebbe trovato più dei 13 casi mancati.

I risultati sono stati chiari e sorprendentemente diretti. Quando il ricercatore ha esaminato le prime 15 immagini segnalate dal metodo "solo fiducia", ha trovato tre dei 13 casi mancati. Quando ha esaminato le prime 15 immagini segnalate dal metodo più complesso del "punteggio combinato", ha trovato esattamente tre dei 13 casi mancati. I controlli aggiuntivi sulla qualità dell'immagine e sulla stabilità non hanno aiutato il sistema a trovare più errori rispetto al semplice monitoraggio della fiducia del computer. Infatti, a un tasso di revisione più basso, dove potevano essere controllate solo poche immagini, il semplice metodo della fiducia trovava effettivamente più errori rispetto al metodo complesso. Il ricercatore ha anche provato una variazione in cui le immagini venivano ritagliate per rimuovere i bordi e i margini prima dell'analisi, sperando di vedere se il computer si stesse affidando a scorciatoie visive come testi o sovrapposizioni del dispositivo, ma questo cambiamento non ha migliorato nemmeno le prestazioni del sistema di punteggio complesso.

Lo studio conclude che, per questo specifico set di immagini, l'aggiunta di controlli sulla qualità tecnica e test di stabilità non ha migliorato la capacità di cogliere gli errori del computer. La complessità aggiuntiva non ha ripagato l'investimento. Questo non significa che la qualità o la stabilità dell'immagine siano poco importanti in generale, né che il computer sia perfetto. Significa semplicemente che, in questo test specifico, il senso di fiducia del computer era efficace quanto un sistema più complicato che cercava di misurare i difetti tecnici dell'immagine. Il ricercatore osserva che il dataset era piccolo, contenendo solo 159 immagini, e che le etichette si basavano su categorie di immagini piuttosto che su biopsie confermate dei pazienti, quindi i risultati sono limitati a questo specifico archivio. Il lavoro funge da test attento e trasparente che dimostra come non si debba presumere che un punteggio di sicurezza più complicato sia migliore di un semplice controllo di fiducia senza prove dirette. In definitiva, il modo più efficace per trovare gli errori del computer in questo caso è stato fidarsi della sua stessa incertezza, piuttosto che cercare di misurare l'immagine stessa.