Are Large Multimodal Models Ready for Post-Thrombectomy mTICI Assessment? A Comparison with Physicians
Sebbene i grandi modelli multimodali possano raggiungere un livello di concordanza con i medici nella classificazione mTICI post-tromboembolectomia quando vengono forniti con rapporti procedurali, le loro prestazioni dipendono fortemente dall'input testuale e crollano significativamente quando valutano solo le immagini, indicando che l'interpretazione umana esperta rimane essenziale per la valutazione diretta della riperfusione basata sulle immagini.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, milioni di persone soffrono di ictus causati da un'arteria ostruita nel cervello. Quando un grosso vaso si intasa, il danno può essere rapido e grave, ma i medici hanno uno strumento potente per fermarlo: la trombectomia meccanica. In questa procedura, uno specialista inserisce un minuscolo dispositivo attraverso i vasi sanguigni per estrarre fisicamente il coagulo. Il successo di questa operazione salvavita dipende interamente da una sola cosa: se il flusso sanguigno è stato completamente ripristinato al cervello. Per misurare questo, i medici utilizzano una scala standard che valuta quanto bene siano stati liberati i vasi, spaziando da nessun flusso affatto al ripristino completo. Questa valutazione è critica perché determina come i pazienti vengono trattati successivamente, come gli ospedali monitorano il proprio successo e come i ricercatori comprendono cosa funzioni meglio. Tuttavia, assegnare questi gradi è un compito umano e, come molte valutazioni umane, può variare da un medico all'altro. Con la crescita della potenza dell'intelligenza artificiale, è emersa una domanda naturale: può un computer guardare le stesse immagini e gli stessi rapporti che vede un medico e fare lo stesso giudizio con pari abilità?
Un team di ricercatori dell'Università degli Ospedali di Ratisbona, in Germania, si è posto l'obiettivo di rispondere a questa domanda mettendo a confronto modelli informatici avanzati con esperti umani. Hanno raccolto novanta casi di pazienti sottoposti alla procedura di rimozione del coagulo per un'ostruzione nella parte anteriore del cervello. Per ogni caso, hanno raccolto le immagini di angiografia digitale scattate prima e dopo la rimozione del coagulo, insieme al rapporto medico scritto che descriveva ciò che è accaduto durante l'intervento. Hanno poi chiesto a due diversi tipi di sistemi di intelligenza artificiale di valutare il successo della procedura. Un sistema era un modello di uso generale, noto per la sua ampia conoscenza, mentre l'altro era un modello specificamente tarato per compiti medici. Per garantire un test equo, i ricercatori hanno chiesto anche a quattro medici — due neurologi e due radiologi — di valutare gli stessi casi. I medici e i computer sono stati testati in tre scenari diversi: guardando solo il rapporto scritto con il grado finale nascosto, guardando solo le immagini angiografiche e guardando sia le immagini che il rapporto insieme.
I risultati hanno rivelato una netta divisione tra ciò che i computer potevano fare con le parole e ciò che potevano fare con le immagini. Quando ai modelli di intelligenza artificiale venivano forniti i rapporti procedurali scritti, le loro prestazioni erano notevoli. Il modello di uso generale, in particolare, eguagliava l'accuratezza del gruppo unito di medici umani. Poteva leggere le descrizioni dettagliate dell'intervento e identificare correttamente quanto flusso sanguigno fosse stato ripristinato, raggiungendo un livello di accordo con gli esperti virtualmente indistinguibile. In questo contesto testuale, il computer era affidabile quanto gli specialisti umani. Tuttavia, nel momento in cui le immagini venivano rimosse dall'equazione e ai modelli veniva chiesto di valutare la procedura basandosi solo sul rapporto scritto, rimanevano solidi. Ma quando le parti venivano invertite e i modelli erano costretti a guardare solo le immagini angiografiche senza alcun testo di accompagnamento, le loro prestazioni crollavano. La capacità del modello di uso generale di concordare con gli esperti umani diminuiva significamente, e il modello tarato per scopi medici performava ancora peggio, ipotizzando essenzialmente che quasi ogni procedura fosse stata un successo indipendentemente da ciò che le immagini mostravano.
I medici umani, al contrario, non hanno subito questo calo di prestazioni. Che stessero leggendo il rapporto o guardando le immagini, la loro capacità di valutare la procedura rimaneva costantemente alta. Ciò suggerisce che, sebbene i sistemi di intelligenza artificiale siano eccellenti nell'elaborare il linguaggio che i medici usano per descrivere il proprio lavoro, non hanno ancora imparato a "vedere" davvero i complessi schemi del flusso sanguigno nelle immagini come fa uno specialista addestrato. Lo studio indica che questi modelli stanno attualmente agendo più come lettori sofisticati capaci di estrarre informazioni da una storia, piuttosto che come osservatori indipendenti capaci di interpretare i dati visivi. I ricercatori hanno scoperto che i modelli derivavano quasi tutto il loro successo dal testo; aggiungere le immagini al testo non migliorava i loro punteggi, e rimuovere il testo li lasciava in difficoltà.
In definitiva, lo studio conclude che questi modelli informatici avanzati sono pronti ad assistere con le attività burocratiche e di estrazione dati relative alle cure per l'ictus, come l'estrazione automatica dei gradi di successo dai rapporti scritti per la ricerca o i controlli di qualità. Possono aiutare a standardizzare il modo in cui le informazioni vengono registrate. Tuttavia, non sono ancora pronti a sostituire l'occhio umano quando si tratta di guardare le immagini stesse. Per la valutazione diretta di fatto se un vaso sanguigno sia stato riesumato con successo, l'esperienza visiva di un medico addestrato rimane essenziale. La tecnologia ha raggiunto un punto in cui può comprendere la storia dell'intervento, ma non riesce ancora a vedere l'immagine.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.