Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
Sebbene molteplici architetture di deep learning raggiungano una discriminazione basale similmente elevata per l'ultrasonografia intraorale, esse esibiscono comportamenti drasticamente differenti e spesso inaffidabili sotto occlusione sintetica, con EfficientNet-B0 che mostra un grave collasso delle prestazioni, eccessiva fiducia e scarsa riproducibilità rispetto ad altri modelli.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
All'interno della bocca umana, una sonda a ultrasuoni specializzata può catturare immagini in tempo reale dei tessuti molli senza utilizzare alcuna radiazione. Queste immagini rivelano gli strati di muscoli e pelle, offrendo una finestra sull'anatomia che è utile per pianificare interventi chirurgici o valutare la salute dei tessuti. Tuttavia, trasformare queste immagini in diagnosi affidabili richiede più di una semplice immagine nitida; richiede un programma informatico, o modello, che possa interpretare correttamente ciò che vede. Negli ultimi anni, gli scienziati hanno addestrato molti di questi modelli informatici per riconoscere schemi nelle immagini mediche. Un modo comune per giudicare questi modelli è vedere quanto spesso ottengono la risposta corretta su un insieme di immagini di test. Ma un punteggio elevato in un test standard non racconta tutta la storia. Non rivela come si comporta il modello quando l'immagine viene modificata, se rimane sicuro di sé quando sbaglia, o se le ragioni che fornisce per la sua decisione sono coerenti.
Un team di ricercatori dell'Università Yonsei in Corea del Sud si è proposto di guardare oltre i semplici punteggi dei test. Si sono concentrati su un compito specifico: distinguere tra due regioni della guancia interna, nota come mucosa buccale. Una regione si trova sopra i muscoli dello zigomo, e l'altra si trova sopra il muscolo principale della guancia. Mentre un medico sa esattamente dove è posizionata la sonda, un modello informatico deve imparare a distinguere queste due aree solo guardando l'immagine. I ricercatori hanno addestrato cinque diversi tipi di modelli informatici su centinaia di immagini scattate a volontari sani. Tutti e cinque i modelli si sono comportati molto bene nel test standard, identificando correttamente le regioni in quasi tutti i casi. Questa elevata prestazione suggeriva che fossero tutti candidati ugualmente validi per il futuro uso medico.
Per testare se fossero davvero simili, i ricercatori hanno sottoposto i modelli a una serie di cambiamenti controllati. Hanno preso le immagini e hanno coperto parti di esse con un blocco grigio solido e uniforme, cancellando di fatto le informazioni da metà superiore o inferiore dell'immagine. Questo processo, noto come occlusione, simula ciò che potrebbe accadere se parte di un'immagine fosse sfocata o mancante. Quando i ricercatori hanno rimosso metà dell'immagine, quattro dei cinque modelli hanno continuato a funzionare bene, dimostrando di poter ancora trovare gli indizi necessari nelle parti rimanenti. Un modello, tuttavia, ha reagito in modo molto diverso. Quando metà della sua immagine è stata coperta, la sua capacità di distinguere tra le due regioni è crollata, scendendo a un livello non migliore del caso casuale.
La scoperta più sorprendente non è stata solo che questo singolo modello fosse fallito, ma come fosse fallito. Quando gli altri modelli commettevano errori, tendevano a essere incerti sulle loro risposte. Il modello fallimentare, al contrario, è diventato pericolosamente sicuro di sé. Anche mentre la sua precisione precipitava al livello del caso, continuava ad assegnare una certezza estremamente alta alle sue risposte errate. Era come se il modello avesse perso la capacità di vedere la differenza, ma non avesse perso la convinzione di avere ragione. Questo comportamento suggerisce che un modello può apparire altamente affidabile in un test standard pur nascondendo una fragile dipendenza da parti specifiche dell'immagine che, se rimosse, causano il suo completo collasso.
I ricercatori hanno anche investigato come i modelli "spiegassero" le loro decisioni. Utilizzando una tecnica che evidenzia le parti di un'immagine su cui un modello si concentra, hanno controllato se queste spiegazioni fossero coerenti. Hanno scoperto che le aree evidenziate cambiavano significativamente a seconda di come il modello era stato addestrato, anche quando i punteggi finali del test erano gli stessi. Ciò significa che una singola spiegazione di una versione di un modello potrebbe sembrare plausibile, ma non può essere considerata una guida stabile di ciò che il modello sta effettivamente imparando. I modelli di attenzione non erano riproducibili, rendendo difficile fare affidamento su queste spiegazioni visive per comprendere la logica del modello.
Lo studio conclude che due modelli possono sembrare identici in un rapporto standard, ma possono comportarsi in modi completamente opposti quando l'input viene alterato. I ricercatori hanno scoperto che una prestazione di base simile può nascondere un modello che è altamente sensibile alle informazioni mancanti e incline a errori sicuri di sé. Non hanno trovato un singolo difetto architettonico che causasse ciò, né hanno dimostrato che questo specifico fallimento si verificherebbe in un contesto clinico reale con pazienti reali. Al contrario, hanno dimostrato che valutare un modello richiede molto più che controllare la sua accuratezza. Per comprendere veramente la capacità di un computer di interpretare le immagini mediche, bisogna anche testare come gestisce i dati mancanti, come esprime la fiducia quando sbaglia e se il suo ragionamento rimane coerente. Senza questi controlli, un modello che sembra perfetto sulla carta potrebbe essere inaffidabile nella pratica.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.