← Ultimi articoli
💻 informatica

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

Questo studio trasversale multi-modello dimostra che, sebbene gli attuali modelli linguistici di grandi dimensioni mainstream abbiano raggiunto un'accuratezza prossima al limite massimo nella conversione dei parametri di rischio cardiovascolare per gli anziani, le loro prestazioni sono differenziate principalmente dalla coerenza tra le diverse esecuzioni, con DeepSeek che mostra una stabilità significativamente inferiore rispetto a Doubao e Kimi, e le incongruenze derivanti quasi esclusivamente da errori di arrotondamento benigni piuttosto che da errori clinicamente significativi.

Autori originali: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

Pubblicato 2026-11-03
📖 5 min di lettura🧠 Approfondimento

Autori originali: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Le malattie cardiovascolari rimangono la causa più comune di malattia e morte in tutto il mondo, e il loro impatto colpisce più duramente gli anziani. Quando i medici cercano di prevenire questi problemi prima che inizino, spesso raccomandano farmaci quotidiani come le statine. La decisione di assumere un tale farmaco dipende da una comprensia reciproca tra il paziente e il medico: quanto aiuterà e quali sono i rischi? Questa conversazione si basa sui numeri. Un medico potrebbe spiegare che un trattamento riduce la probabilità di un attacco cardiaco di una certa percentuale, o che per ogni cento persone che assumono il farmaco, un numero specifico eviterà un evento avverso. Questi diversi modi di esprimere lo stesso fatto sono tutti matematicamente equivalenti, ma possono sembrare molto diversi per una mente umana. Tradurre un numero in un altro richiede una competenza chiamata numeracia, che anche alcuni professionisti medici trovano difficile. Man mano che gli strumenti di intelligenza artificiale diventano più comuni nell'assistenza sanitaria, molte persone si rivolgono ora a essi per ottenere queste spiegazioni. Ma se un computer fornisce a un paziente un numero oggi e un numero leggermente diverso domani per la stessa identica domanda, la fiducia in quello strumento inizia a vacillare.

Un team di ricercatori ha deciso di testare quanto bene tre popolari sistemi di intelligenza artificiale gestiscano questo compito specifico. Volevano vedere se questi modelli fossero in grado di convertire costantemente statistiche mediche complesse in numeri chiari e semplici per gli anziani. Lo studio si è concentrato su uno scenario in cui un paziente deve conoscere i benefici e i danni di un farmaco per il cuore. I ricercatori hanno creato ottanta diverse storie mediche realistiche riguardanti pazienti anziani con vari fattori di rischio. In ogni storia, l'IA doveva calcolare quattro valori specifici: quanto il trattamento riduceva il rischio di un evento cardiaco, quanto aumentava il rischio di effetti collaterali, quante persone avrebbero dovuto assumere il farmaco affinché una persona ne beneficiasse e quante avrebbero dovuto assumerlo affinché una persona ne fosse danneggiata. Per garantire un test equo, i ricercatori hanno chiesto a ciascuno dei tre modelli di IA di rispondere a ogni singola domanda tre volte di seguito, e hanno fatto questo sia in inglese che in cinese. Ciò ha portato a migliaia di risposte che sono state controllate rispetto a una chiave di risposta perfetta e bloccata, creata da esperti umani.

I risultati hanno rivelato una verità sorprendente su come funzionano questi sistemi. Per quanto riguarda l'accuratezza del calcolo, i modelli erano quasi perfetti. Hanno quasi sempre calcolato i numeri corretti, suggerendo che per questo tipo di compito strutturato, la loro capacità di calcolo è già al livello più alto possibile. Tuttavia, la vera storia riguardava la coerenza. Quando alla stessa domanda veniva posto lo stesso modello tre volte, le risposte non erano sempre identiche. Uno dei modelli, DeepSeek, ha fornito un set di numeri diverso in più del dieci per cento dei casi, anche se era impostato su una modalità che avrebbe dovuto produrre lo stesso identico risultato ogni volta. Gli altri due modelli, Doubao e Kimi, erano molto più stabili, concordando con se stessi quasi ogni volta. Questa incoerenza accadeva anche quando i modelli non stavano cercando di essere creativi; stavano semplicemente seguendo istruzioni per calcolare dei numeri.

Quando i ricercatori hanno esaminato da vicino i casi in cui i modelli davano risposte diverse, hanno scoperto che le differenze erano quasi sempre minime e innocue. In quasi tutti i casi, il disaccordo era solo una questione di arrotondamento. Ad esempio, se il calcolo mostrava che un paziente doveva assumere il farmaco ventitré volte per aiutare una persona, un'esecuzione poteva arrotondare per eccesso a ventiquattro, mentre un'altra poteva arrotondare per difetto a ventitré. Questi piccoli spostamenti non cambiavano il consiglio medico o la conclusione su se il farmaco valesse la pena di essere assunto. I modelli stavano essenzialmente dicendo la stessa cosa, solo con un numero leggermente diverso sull'etichetta. Solo una minuscola frazione delle risposte, meno di due decimi dell'uno per cento, era veramente problematica. Questi rari casi coinvolgevano il modello che forniva un valore completamente diverso, che non riusciva a rispondere o che cambiava idea sulla correttezza della risposta.

Lo studio ha anche verificato se la lingua utilizzata importasse. I modelli si sono comportati altrettanto bene in cinese come in inglese, senza differenze significative di accuratezza tra le due lingue. Ciò suggerisce che la capacità di gestire questi numeri non è legata a una lingua specifica. Tuttavia, i ricercatori hanno notato che il modello che faticava con la coerenza in inglese faticava anche in cinese, indicando che il problema era legato al motore software specifico piuttosto che alla lingua stessa. Le scoperte sfidano una credenza comune secondo cui impostare un'IA in modalità "temperatura zero" garantisca di fornire sempre la stessa risposta. In questo studio, anche con tali impostazioni, il servizio forniva numeri diversi a volte, probabilmente a causa di come il sistema è costruito e gestito dietro le quinte.

In definitiva, la ricerca mostra che, sebbene l'intelligenza artificiale sia eccellente nel calcolare statistiche mediche, la sua affidabilità dipende da quanto costantemente ripete tali calcoli. Per un paziente che pone una domanda di vita o di morte, sentire un numero diverso ogni volta può sembrare inaffidabile, anche se i numeri sono tutti tecnicamente corretti. Gli autori suggeriscono che, quando si valuta l'IA medica, gli esperti dovrebbero guardare oltre la semplice accuratezza e prestare molta attenzione a questa stabilità. Propongono un nuovo modo per misurare l'affidabilità contando quanto spesso un modello fornisce risposte che non sono solo diverse, ma pericolosamente diverse. Nel caso di questi scenari di malattie cardiache, i modelli erano sicuri, ma lo studio evidenzia che, affinché questi strumenti siano affidabili nelle cliniche reali, non devono solo conoscere la risposta corretta, ma devono anche essere in grado di dirla nello stesso modo ogni volta.

Sommerso dagli articoli nel tuo campo?

Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.

Prova Digest →