Citation reliability of frontier large language models in medical writing and its automated verification

Nella pratica moderna della medicina, scrivere un articolo di ricerca o un articolo di revisione è un processo rigoroso che richiede un'assoluta precisione. Gli autori devono non solo sintetizzare conoscenze mediche complesse, ma anche ancorare ogni affermazione a una specifica e preesistente fonte di evidenza. Queste fonti sono le citazioni, che agiscono come le impronte digitali della scoperta scientifica, indicando ai lettori gli studi originali che supportano una nuova idea. Per decenni, questo processo è stato un impegno umano, che richiedeva una verifica attenta di nomi, date e titoli di riviste per garantire che un riferimento esistesse realmente e dicesse ciò che l'autore sostiene. Tuttavia, un nuovo strumento è entrato nel laboratorio e nella biblioteca: il modello linguistico di grandi dimensioni (large language model). Questi sono potenti programmi informatici addestrati su vastissime quantità di testo che possono redigere articoli, riassumere scoperte e generare elenchi di riferimenti in pochi secondi. Sebbene offrano la promessa di velocità ed efficienza, è emersa una domanda critica: queste macchine possono essere fidate nel trovare le impronte corrette, o a volte le inventano?

Questa domanda non è meramente accademica; colpisce il cuore dell'integrità medica. Se un computer scrive una revisione medica e include una citazione che sembra reale ma punta allo studio sbagliato, o peggio, a uno studio che non è mai esistito, l'intero argomento potrebbe crollare. Questo fenomeno, noto come allucinazione, è stato un punto debole noto dei precedenti modelli informatici. Ma man mano che questi strumenti si sono evoluti, diventando più veloci ed equipaggiati con la capacità di cercare su Internet in tempo reale, è diventato poco chiaro se abbiano finalmente imparato a citare correttamente. La comunità medica ha bisogno di sapere se questi nuovi, avanzati modelli siano abbastanza affidabili da essere utilizzati nella ricerca seria e, se non lo sono, se esista un modo pratico per cogliere i loro errori prima che vengano pubblicati.

Un team di ricercatori si è posto l'obiettivo di rispondere a queste domande sottoponendo i tre modelli informatici più avanzati a un test rigoroso. Hanno chiesto a ciascun modello di scrivere una serie di brevi revisioni mediche su nove diversi argomenti all'interno del campo della cardiologia, lo studio del cuore e dei vasi sanguigni. Gli argomenti variavano da condizioni comuni a procedure rare, garantendo un mix di soggetti con molti studi pubblicati e soggetti con pochissimi. Ogni modello è stato istruito per scrivere una revisione di circa 600-900 parole e per includere esattamente trenta riferimenti per ogni articolo, per un totale di 270 revisioni e oltre 8.000 citazioni. Fondamentalmente, i ricercatori hanno permesso ai modelli di utilizzare i loro strumenti di ricerca sul web integrati, simulando come un utente li impiegherebbe effettivamente in un contesto reale. L'obiettivo era vedere quanti di questi migliaia di citazioni fossero effettivamente corretti.

I risultati hanno rivelato un panorama di significativa variazione e persistente errore. Quando i ricercatori hanno controllato ogni singola citazione rispetto al database medico ufficiale, hanno scoperto che i modelli non erano perfetti. Un modello, GPT-5.5, è stato il migliore, producendo citazioni problematiche in circa l'11,5 percento dei casi. Tuttavia, gli altri due modelli, Claude Opus 4.8 e Gemini 3.5 Flash, hanno commesso errori in quasi il 30 percento delle loro citazioni. Ciò significa che per ogni dieci riferimenti generati dai modelli meno accurati, circa tre erano errati. I ricercatori hanno anche indagato se i modelli avessero maggiori difficoltà con gli argomenti che avevano meno studi pubblicati, temendo che una mancanza di informazioni disponibili potesse confondere il computer. Hanno scoperto che, sebbene i tassi di errore fossero leggermente inferiori per gli argomenti con più letteratura, la differenza non era abbastanza forte da essere considerata una regola definitiva. I modelli commettevano errori in tutto il campo, indipendentemente da quanta informazione fosse disponibile sull'argomento.

Forse la scoperta più rivelatrice è stata la natura degli errori stessi. I ricercatori si aspettavano di trovare molti casi in cui il computer semplicemente inventava un articolo falso, una classica forma di allucinazione. Invece, hanno scoperto che la stragrande maggioranza degli errori era molto più sottile. Circa il 77 percento delle citazioni problematiche erano casi di attribuzione errata. In questi casi, il computer forniva un identificatore reale e valido per un articolo medico reale, ma quell'articolo non era quello che il modello dichiarava fosse. Era come se il computer avesse trovato un libro reale in una biblioteca ma lo avesse posizionato sullo scaffale sbagliato, etichettandolo con il titolo di un libro diverso. Questo tipo di errore è particolarmente pericoloso perché appare corretto a prima vista; un lettore umano potrebbe vedere un numero valido e assumere che il riferimento sia affidabile, solo per scoprire in seguito che la fonte non supporta il punto che viene sostenuto. La vera fabbricazione, dove il computer inventava un articolo che non esiste affatto, è stata sorprendentemente rara, rappresentando meno dell'1 percento degli errori.

Riconoscendo che questi errori sottili sono difficili da cogliere per gli umani senza un controllo sistematico, i ricercatori hanno testato un nuovo metodo di verifica chiamato Chain-of-Verification (Catena di Verifica). Questo approccio utilizza il modello informatico stesso, ma in un modo diverso. Inveve di chiedere al modello di elencare semplicemente i riferimenti, il sistema suddivide il compito in una serie di piccole, indipendenti domande. Chiede al modello di trovare l'articolo in base al titolo e all'autore, poi di controllare se la rivista e l'anno corrispondono, e infine di confermare che l'identificatore punti al documento corretto. Obbligando il modello a verificare ogni pezzo di informazione separatamente rispetto al database, piuttosto che fare affidamento sulla sua memoria, il sistema può cogliere i propri errori. Quando i ricercatori hanno testato questo metodo contro un set di riferimenti che erano stati accuratamente controllati da un esperto umano, il sistema automatizzato si è dimostrato straordinariamente efficace. Ha identificato correttamente il 96,8 percento delle citazioni problematiche, inclusi tutti i casi di attribuzione errata e fabbricazione, segnalando raramente una citazione corretta come errore.

Lo studio conclude che, sebbene la nuova generazione di strumenti di scrittura medica sia potente, non è ancora pronta per essere affidata senza supervisione. Il fallimento più comune non è l'invenzione di fatti falsi, ma l'etichettatura errata di fatti reali, un errore che richiede un tipo specifico di controllo per essere rilevato. I ricercatori hanno scoperto che un processo di verifica automatizzato può eseguire questo controllo con un'accuratezza paragonabile a quella di un esperto umano. Ciò suggerisce che il futuro della scrittura medica assistita dall'IA non sarà una scelta tra uomo e macchina, ma una partnership in cui la macchina redige il contenuto e un sistema di verifica specializzato assicura che ogni singola citazione punti alla verità. Finché tale verifica non diventerà una pratica standard, le citazioni generate da questi modelli dovrebbero essere trattate con cautela, poiché potrebbero condurre i lettori verso la fonte di verità sbagliata.