MIRROR: Multimodal Intelligent Radiology Reasoning and Observation Reporter

Nel mondo dell'imaging medico, un programma informatico che osserva l'immagine di un torace umano e individua una malattia non è più una fantasia; è una realtà che è già arrivata. Questi programmi, costruiti sul deep learning, possono scansionare migliaia di radiografie e identificare schemi di malattia che spesso corrispondono alle capacità di uno specialista umano. Eppure, affinché un medico possa fidarsi di una tale macchina, il computer deve fare di più del semplice sussurrare un numero. Deve spiegare se stesso. Deve indicare il punto sull'immagine dove vede il problema e descrivere perché pensa che quel punto sia malato. Il pericolo sorge quando un computer cerca di scrivere un referto per un medico. Se al computer è permesso guardare l'immagine mentre scrive, potrebbe inventare dettagli che suonano perfettamente professionali ma che non sono mai stati effettivamente visti dalla parte del sistema che si occupa della diagnosi. Questo crea un divario silenzioso tra ciò che la macchina sa e ciò che dice di sapere, un divario che potrebbe portare un medico a commettere un errore pericoloso.

Un team di ricerca ha costruito un prototipo di sistema chiamato MIRROR per risolvere questo specifico problema di fiducia. Il sistema è progettato con una regola rigorosa: la parte del software che scrive il referto non è mai autorizzata a vedere l'immagine radiografica. Invece, l'immagine viene prima analizzata da un classificatore che elenca semplicemente quali malattie sono presenti e quanto sono probabili. Uno secondo strumento evidenzia poi l'area generale sull'immagine in cui si trovano tali malattie. Solo questo elenco di risultati e posizioni viene passato al motore di scrittura. Poiché il redattore non può vedere l'immagine, è fisicamente impossibile che inventi una nuova malattia o descriva un dettaglio che non ha ricevuto. I ricercatori hanno testato questo sistema su radiografie del torace e hanno scoperto che, sebbene il computer fosse molto bravo a classificare quali malattie fossero più probabili, faticava a prendere una decisione finale su molte di esse. Ancora più importante, hanno scoperto che anche quando il computer scriveva un rapporto fluente e professionale, includeva spesso misurazioni mediche specifiche che il sistema non aveva mai effettivamente calcolato.

Il team ha costruito questa pipeline in tre passaggi distinti per garantire che il referto finale rimanesse onesto. Per prima cosa, una rete neurale, ovvero un tipo di programma informatico modellato sul cervello umano, scansiona la radiografia e assegna un punteggio di probabilità a quattordici diversi tipi di condizioni toraciche. Secondo, uno strumento di localizzazione osserva la stessa immagine e disegna una mappa approssimativa che mostra dove il computer pensa che si trovi la malattia, traducendo quella posizione in un nome semplice come "polmone superiore sinistro". Terzo, un modello linguistico prende solo l'elenco delle malattie, i loro punteggi e le loro posizioni nominate per scrivere il referto medico finale. La scelta cruciale nel design qui è che il modello linguistico non vede mai la radiografia stessa. È come un segretario a cui viene consegnato un elenco dattiloscritto di fatti e gli viene chiesto di scrivere una storia, ma che gli è proibito guardare i documenti originali. Ciò assicura che l'elenco delle malattie nel referto corrisponda esattamente all'elenco che il computer ha trovato, impedendo al sistema di allucinare una condizione che non era mai stata rilevata.

Quando i ricercatori hanno testato questo sistema su una vasta collezione di radiografie del torace, i risultati hanno rivelato un quadro complesso di ciò che la macchina può e non può fare. Il computer era sorprendentemente bravo a comprendere la struttura delle immagini. Poteva distinguere tra un torace sano e uno malato, e classificava la probabilità delle malattie in un modo che era molto migliore del semplice indovinare casualmente. Per alcune condizioni, come il liquido nei polmoni o un cuore ingrossato, il sistema era piuttosto accurato. Tuttavia, quando gli veniva chiesto di prendere una decisione finale sulla presenza o assenza di una malattia, il sistema rimaneva in silenzio su undici dei quattordici casi per cui era stato addestrato. Semplicemente non si sentiva abbastanza sicuro per dire "sì" o "no" per la maggior parte di essi. Questo silenzio non era una scelta di design, ma il risultato dei dati di addestramento e della bassa risoluzione delle immagini utilizzate nel test. Il sistema aveva imparato a riconoscere i pattern, ma non aveva imparato a prendere le decisioni difficili richieste da una diagnosi clinica.

Forse la scoperta più rivelatrice è derivata dall'osservazione dei referti generati dal sistema. Poiché la parte di scrittura del sistema era così fluente, produceva un testo che suonava esattamente come un referto scritto da un medico umano. Tuttavia, i ricercatori hanno scoperto che questa fluidità comportava un costo nascosto. In un esempio, il referto dichiarava che la dimensione del cuore era normale e che gli angoli alla base dei polmoni erano liberi. Il sistema non aveva mai misurato la dimensione del cuore, né aveva controllato quegli angoli. Aveva semplicemente inserito quelle frasi perché sono espressioni comuni nei referti medici. Il sistema era corretto riguardo alle malattie che aveva rilevato, ma stava inventando i dettagli circostanti. Ciò ha dimostrato un confine critico: il sistema poteva garantire che l'elenco delle malattie fosse reale e verificabile, ma non poteva garantire che le frasi che le descrivevano fossero vere. Il referto era fondato sulle prove per le malattie trovate, ma non fondato nei dettagli inventati per completare la storia.

I ricercatori hanno anche mostato che questa architettura può essere adattata ad altri tipi di scansioni mediche, come risonanze magnetiche cerebrali o TAC del capo, semplicemente cambiando un elenco di nomi e termini piuttosto che riscrivere l'intero codice informatico. Ciò suggerisce che il metodo di separare la rilevazione dalla scrittura è uno strumento flessibile che potrebbe funzionare in diversi campi medici. Tuttavia, il team è stato attento a dichiarare che questo è un prototipo di ricerca, non un dispositivo medico pronto per gli ospedali. Il sistema non è stato testato su pazienti reali, e i ricercatori non hanno ancora misurato se avere questi referti aiuti effettivamente i medici a prendere decisioni migliori. Il lavoro serve come prova di concetto, dimostrando che è possibile costruire un sistema in cui i fatti siano blindati, anche se la prosa che li circonda non lo è.

In definitiva, il valore di questo lavoro risiede nella chiarezza dei suoi confini. Il sistema dimostra che si può costruire una macchina che non può mentire su ciò che ha trovato, perché la parte che scrive il referto è isolata dall'immagine. Ma dimostra anche che una macchina può ancora sembrare sicura di cose che non conosce. I ricercatori concludono che, per le decisioni ad alto rischio in medicina, dobbiamo essere molto cauti su cosa fidarci. Possiamo fidarci dell'elenco dei risultati se il sistema è costruito in questo modo, ma non possiamo fidarci del testo circostante a meno che non venga controllato da un essere umano. Il sistema non sostituisce il medico; invece, offre un nuovo modo per vedere dove la macchina è certa e dove sta solo tirando a indovinare, trasformando una scatola nera in un processo trasparente che un essere umano può sottoporre ad audit.