Robustness Gap of Large Language Models in Nephrology

L'intelligenza artificiale ha iniziato a offrire supporto in medicina, agendo come uno strumento capace di leggere enormi quantità di testo e suggerire risposte a quesiti complessi. In campi come la nefrologia, ovvero la cura del rene, i medici devono costantemente valutare risultati di laboratorio, storia del paziente e segni fisici per decidere i trattamenti. Per anni, i ricercatori hanno testato se questi programmi informatici potessero superare gli esami medici, un modo standard per vedere se possiedano le conoscenze necessarie per essere utili. Tuttavia, un punteggio elevato in un test a scelta multipla non significa necessariamente che il sistema comprenda realmente la logica dietro la risposta. Potrebbe semplicemente riconoscere schemi nel modo in cui le domande sono scritte o indovinare basandosi su quali opzioni appaiano più familiari. La domanda critica per il futuro di una cura medica sicura è se questi modelli siano in grado di ragionare su un problema quando i soliti scorciatoie vengono rimosse, o se crollino quando costretti a pensare senza un sostegno familiare.

Un team di ricercatori della St. Marianna University School of Medicine in Giappone si è posto l'obiettivo di testare questa specifica debolezza utilizzando un metodo che funge da stress test per la mente. Hanno preso una collezione di 145 domande reali utilizzate per il rinnovo della certificazione specialistica dei nefrologi in Giappone. Queste domande coprono il ragionamento profondo e complesso richiesto per gestire le malattie renali. I ricercatori hanno poi creato una versione modificata di ogni singola domanda. Nel test originale, una specifica risposta era corretta. Nella nuova versione, hanno sostituito quella risposta corretta con una frase che significa "nessuna delle altre risposte". Ciò ha costretto i modelli informatici a fare qualcosa di difficile: invece di scegliere l'opzione giusta da un elenco, dovevano capire che tutte le altre opzioni erano errate e che l'unica scelta valida era quella che affermava che nessuna di esse fosse pertinente. Se un modello stesse realmente ragionando sui fatti medici, avrebbe dovuto essere in grado di identificare che la risposta corretta originale era mancante e selezionare l'opzione "nessuna delle precedenti". Se stesse solo indovinando basandosi su schemi, avrebbe probabilmente scelto una delle restanti risposte errate.

Il team ha testato quattro dei modelli linguistici più avanzati disponibili, inclusi sistemi di OpenAI e Google. Hanno sottoposto i modelli alle domande originali e alle versioni modificate separatamente, chiedendo loro di scegliere la risposta migliore in ogni caso. I risultati hanno mostrato un divario chiaro e significativo tra quanto i modelli performassero quando la risposta corretta era presente rispetto a quando era nascosta. Quando i modelli affrontavano le domande originali, ottenevano prestazioni piuttosto buone, con il sistema migliore che rispondeva correttamente quasi l'88 percento delle volte. Tuttavia, una volta che la risposta corretta era stata sostituita con "nessuna delle altre risposte", le loro prestazioni sono calate drasticamente. Il sistema che era partito con il punteggio più alto è sceso comunque a circa il 73 percento, un declino statisticamente significativo. Altri modelli hanno registrato cali ancora più ripidi, con uno che è passato da circa il 66 percento di risposte corrette a appena il 19 percento. Ciò significa che, quando il modello familiare della risposta corretta veniva rimosso, i modelli faticavano a fare affidamento sul proprio ragionamento medico e spesso sceglievano un'opzione errata che appariva plausibile, piuttosto che ammettere che la scelta corretta fosse mancante.

Lo studio suggerisce che, sebbene i nuovi modelli stiano diventando più robusti e capaci di gestire questi cambiamenti complicati, non sono ancora pienamente affidabili per il processo decisionale clinico indipendente. I ricercatori hanno scoperto che anche i sistemi più avanzati tendono ad ancorarsi all'idea che una delle opzioni visibili debba essere quella giusta, anche quando la logica del caso dimostra il contrario. In un vero contesto ospedaliero, questo comportamento potrebbe essere pericoloso. Se un medico manca di un'informazione, come un valore di laboratorio specifico o un segno fisico sottile, un'intelligenza artificiale sicura dovrebbe riconoscere che il caso non può essere giudicato e chiedere ulteriori dati. Invece, questi modelli spesso colmano le lacune con un tentativo errato ma sicuro di sé. Gli autori concludono che superare un esame a scelta multipla non è sufficiente per dimostrare che un modello possa ragionare come un medico. Per essere davvero sicuri per l'uso nella cura del rene, questi sistemi devono dimostrare di saper gestire l'incertezza e riconoscere quando una risposta non è semplicemente disponibile, piuttosto che limitarsi a far corrispondere gli schemi per ottenere il punteggio più alto in un test.