Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Quando un medico sospetta una polmonite, il primo passo è spesso una radiografia del torace, una semplice immagine che rivela il paesaggio nascosto dei polmoni. Per decenni, l'interpretazione di queste immagini si è basata sull'occhio umano, una competenza che varia anche tra gli specialisti. Negli ultimi anni, programmi informatici addestrati su vaste librerie di immagini mediche hanno promesso di automatizzare questo compito, agendo come un secondo paio di occhi che non si stanca mai. Questi sistemi di intelligenza artificiale imparano a individuare schemi associati all'infezione, con l'obiettivo di fornire diagnosi rapide e coerenti. Tuttavia, una domanda critica è rimasta in sottofondo a questa corsa tecnologica: se un computer impara a riconoscere la polmonite nelle radiografie di un ospedale, può davvero comprendere la malattia quando vede le radiografie di un ospedale completamente diverso, o di un bambino invece che di un adulto? La capacità di questi programmi di distinguere tra un polmone malato e uno sano è solo una parte della storia; la vera prova consiste nel capire se le regole specifiche che utilizzano per formulare una diagnosi e la fiducia che esprimono nelle loro risposte resistano quando il mondo intorno a loro cambia.

Un team di ricercatori si è posto l'obiettivo di rispondere a questa domanda costruendo e testando una vasta gamma di questi modelli informatici. Sono partiti da una collezione massiccia di oltre 18.000 radiografie del torace di adulti, suddividendo attentamente i dati in modo che i modelli potessero apprendere da alcune immagini ed essere testati su altre che non avevano mai visto prima. Hanno addestrato quindici diversi tipi di reti neurali, che sono i cervelli digitali dietro i sistemi, utilizzando vari metodi per vedere quali fossero i migliori. Alcune di queste reti sono state costruite da zero, mentre altre sono state adattate da sistemi che avevano già imparato a riconoscere oggetti in foto quotidiane. I ricercatori erano particolarmente interessati a un tipo più recente di rete chiamato transformer, che elabora le immagini in un modo che imita come gli esseri umani potrebbero scansionare una scena, guardando l'insieme e le sue parti simultaneamente. Dopo l'addestramento, hanno selezionato il singolo modello con le prestazioni migliori e hanno anche creato un team di cinque modelli d'eccellenza che votano insieme, sperando che una decisione di gruppo fosse più affidabile di un'opinione singola.

La vera prova è arrivata quando questi modelli congelati, che non potevano più apprendere o cambiare, sono stati sottoposti a radiografie di due gruppi di persone completamente diversi. Il primo gruppo consisteva in migliaia di immagini di bambini, una popolazione con polmoni più piccoli e schemi di malattia differenti. Il secondo gruppo era una collezione di radiografie di adulti provenienti da un paese diverso, che rappresentava una popolazione ospedaliera generale con un tasso di polmonite molto più basso rispetto ai dati di addestramento originali. I risultati hanno rivelato una divisione affascinante nel modo in cui la tecnologia si comporta. I modelli si sono dimostrati straordinariamente bravi nel semplice distinguere tra un polmone sano e uno malato, indipendentemente dal fatto che il paziente fosse un bambino o un adulto. Nel gruppo dei bambini, i modelli hanno raggiunto un AUC di 0,925, mentre nel gruppo degli adulti hanno raggiunto un AUC di 0,888. Questa capacità di distinguere tra classi, nota come discriminazione, si è trasferita bene tra diverse popolazioni.

Tuttamente, la storia è cambiata drasticamente quando i ricercatori hanno esaminato come i modelli prendessero effettivamente le loro decisioni. Un modello informatico non dice semplicemente "malato" o "sano"; calcola una probabilità, un numero che rappresenta quanto ritiene probabile che il paziente sia malato. Per trasformare questo numero in una diagnosi, un essere umano deve impostare una soglia, un punto di interruzione dove qualsiasi valore superiore ad esso viene classificato come polmonite. I ricercatori hanno scoperto che la soglia che funzionava perfettamente per i dati originali degli adulti falliva miseramente quando applicata ai nuovi gruppi. La stessa regola che aveva colto l'84% dei casi di polmonite nel gruppo originale, ne aveva colti solo il 59% nei bambini e appena il 39% nel nuovo gruppo di adulti. I modelli vedevano ancora la malattia, ma erano troppo cauti per dichiararla. Quando i ricercatori hanno preso un piccolo campione dei nuovi dati per resettare il punto di interruzione, i modelli sono diventati immediatamente accurati di nuovo, raggiungendo un AUC di 0,83 nei bambini e di 0,79 negli adulti. Ciò ha dimostrato che la logica interna dei modelli era solida, ma le loro regole decisionali erano rigide e legate all'ambiente specifico in cui erano stati addestrati per la prima volta.

Un altro livello di complessità è emerso quando i ricercatori hanno esaminato la fiducia espressa dai modelli nelle loro risposte. Nei dati di addestramento originali, i modelli erano calibrati per fornire punteggi di probabilità che corrispondessero alla frequenza reale della malattia. Ma di fronte ai nuovi gruppi, questa calibrazione è andata in crisi. Nel gruppo dei bambini, dove la polmonite era estremamente comune, i modelli sottostimavano drasticamente il rischio, prevedendo una probabilità di malattia molto più bassa di quella effettivamente presente. Nel nuovo gruppo di adulti, dove la malattia era rara, le stime di probabilità dei modelli rimanevano sorprendentemente accurate. Ciò suggerisce che, sebbene i modelli possano apprendere le caratteristiche visive della polmonite, la loro comprensione di quanto sia comune la malattia in un contesto specifico è fragile ed è facilmente interrotta dai cambiamenti nella popolazione dei pazienti.

Lo studio ha anche rivelato che i modelli erano sensibili al modo in cui venivano scattate le radiografie. Nei dati originali, le immagini scattate con la macchina radiogena davanti al paziente, note come proiezioni anteroposteriori, erano molto più propense a mostrare la polmonite rispetto alle immagini scattate da dietro, note come proiezioni posteroanteriori. I modelli hanno imparato a usare questo indizio, performando peggio sulle immagini frontali perché erano più difficili da leggere, non perché i modelli fossero confusi. Quando i ricercatori hanno cercato di costringere i modelli a ignorare questo indizio durante l'addestramento, i modelli sono diventati in realtà peggiori nel loro compito, suggerendo che la difficoltà era reale e inerente al tipo di immagine, non solo un metodo che i modelli stavano sfruttando. Inoltre, i ricercatori hanno scoperto che il miglior modello per gli adulti non era necessariamente il migliore per i bambini. La classifica di quale "cervello informatico" fosse superiore cambiava a seconda dell'età del paziente, il che significa che un modello scelto per gli ospedali per adulti potrebbe non essere la scelta giusta per un reparto pediatrico.

In definitiva, la ricerca dimostra che, sebbene l'intelligenza artificiale possa apprendere a vedere la polmonite con un alto grado di competenza che viaggia attraverso diverse popolazioni, gli strumenti pratici necessari per utilizzare tale competenza in un ospedale non viaggiano con la stessa facilitità. La capacità di distinguere la malattia è robusta, ma le regole specifiche per formulare una diagnosi e il modo in cui il sistema esprime la propria fiducia sono profondamente legati al contesto locale. Per essere utili nel mondo reale, questi sistemi non possono essere semplicemente scaricati e utilizzati così come sono. Richiedono un processo di calibrazione locale, in cui le regole decisionali vengono regolate per adattarsi al mix specifico di pazienti e alla prevalenza della malattia in ogni nuovo ospedale. Lo studio conclude che, affinché queste tecnologie possano essere affidabili, i report futuri devono andare oltre la semplice indicazione di quanto un modello sia capace di distinguere tra malato e sano; devono anche mostrare quanto bene il modello performi ai punti decisionali specifici utilizzati nella pratica, e come la sua fiducia regga quando il mondo cambia.