💬 NLP

Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models

Questo articolo presenta una valutazione su larga scala di oltre 6.000 modelli linguistici medici di grandi dimensioni distribuiti sul web, rivelando rischi significativi di allucinazioni, violazioni delle politiche e lacune nella privacy, introducendo al contempo nuovi framework di valutazione e un dataset per guidare i futuri miglioramenti in materia di sicurezza.

Autori originali: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Pubblicato 2026-05-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate l'"App Store" di internet per l'IA, ma invece di giochi o strumenti di produttività, è pieno di migliaia di dottori digitali. Si tratta di chatbot IA personalizzati (chiamati MedGPT) che chiunque può creare e pubblicare per fornire consigli medici, diagnosticare sintomi o spiegare trattamenti.

Il documento che avete fornito è come un'ispezione sanitaria massiccia e sotto copertura di questo mercato digitale. I ricercatori non hanno guardato solo i dottori più votati e popolari; ne hanno auditati oltre 6.000 per verificare se fossero sicuri, onesti o se fossero effettivamente pericolosi.

Ecco cosa hanno scoperto, suddiviso in concetti semplici:

1. Il problema del "Bugiardo Sicuro" (Allucinazioni)

Immaginate una guida turistica che parla con assoluta sicurezza ma inventa fatti sulla storia. Nel mondo medico, questo si chiama allucinazione.

La scoperta: Circa il 25% - 30% di questi dottori IA sta "mentendo" o inventando fatti medici. Potrebbero dirvi con sicurezza di assumere un farmaco pericoloso o ignorare un sintomo grave.
La svolta: Potreste pensare che i dottori più popolari siano i più sicuri. Ma lo studio ha scoperto che la popolarità è un cattivo rilevatore di bugie. I dottori IA "famosi" avevano la stessa probabilità di inventare cose rispetto a quelli oscuri. In realtà, quelli meno popolari erano spesso ancora peggiori.
Il punto cieco dell'utente: I ricercatori hanno scoperto che gli utenti non sembrano accorgersi di queste menzogne. Se un'IA fornisce una risposta fluida e sicura, le persone le danno 5 stelle, anche se il consiglio è medicalmente errato. È come dare una valutazione a 5 stelle a uno chef che vi serve un pasto dall'aspetto delizioso ma velenoso.

2. Il problema del "Cattivo Attore" (Abuso di progettazione)

Alcuni di questi dottori IA non sono solo sbagliati per caso; sono progettati per essere rischiosi.

La scoperta: Quasi il 50% dei dottori IA presentava "bandiere rosse" nel modo in cui erano costruiti.
La metafora: Immaginate un proprietario di ristorante che mette un cartello che dice "Siamo un ospedale" (anche se non lo sono), nasconde il menu e si rifiuta di mostrarvi da dove proviene il cibo.
I dettagli specifici:
- Alcuni creatori hanno dato ai loro bot nomi come "Diagnosi istantanea del cancro" per ingannare le persone facendole credere che fossero veri dottori.
- Molti di questi bot hanno una funzione chiamata "Azioni" (che permette loro di connettersi a siti web esterni), ma il 57% di essi non aveva una politica sulla privacy. È come entrare in una clinica dove il medico preleva il vostro campione di sangue ma si rifiuta di dirvi cosa ne farà.
- Anche quando avevano una politica sulla privacy, quasi il 70% di esse era difettosa, vaga o non proteggeva effettivamente i vostri dati.

3. Lo scontro tra "Open Source" e "Comprati in negozio"

I ricercatori hanno anche confrontato questi dottori IA "comprati in negozio" con quelli "open source" (modelli che gli sviluppatori condividono liberamente, come un libro di ricette comunitario).

I "Comprati in negozio" (MedGPT): Questi erano generalmente migliori nel sembrare intelligenti e accurati (riuscivano a fornire i fatti corretti più spesso). Tuttavia, erano meno stabili: a volte davano una risposta eccellente, e la prossima volta che faceste la stessa domanda, davano una risposta totalmente diversa e confusa.
Gli "Open Source": Questi erano più coerenti (davano la stessa risposta ogni volta), ma erano meno accurati sui fatti.
La lezione: Nessuno dei due tipi è perfetto. Quelli "raffinati" suonano meglio ma vacillano; quelli "comunitari" sono stabili ma potrebbero sbagliare i dettagli.

4. I "Segnali di Fiducia" sono rotti

In un normale app store, se un'app ha recensioni negative o valutazioni basse, la evitate.

La scoperta: In questo store di IA mediche, le valutazioni e le recensioni non dicono nulla sulla sicurezza.
La metafora: È come un concessionario di auto in cui le auto con più test drive e le più alte valutazioni "a 5 stelle" sono in realtà quelle con i freni rotti. I ricercatori hanno scoperto che quanto le persone parlavano con l'IA aveva quasi zero connessione con il fatto che l'IA stesse effettivamente dicendo la verità.

La conclusione fondamentale

Il documento conclude che non possiamo fidarci di questi dottori IA solo perché sono popolari o perché sembrano sicuri.

Il sistema è rotto: Il modo attuale di verificare questi bot (basandosi su recensioni degli utenti e valutazioni a stelle) sta fallendo.
Il pericolo: Poiché i pazienti spesso non hanno formazione medica, non riescono a cogliere quando l'IA sta mentendo o quando il dottore sta "fingendo" autorità.
La soluzione: Abbiamo bisogno di un nuovo tipo di "ispettore sanitario" che verifichi i fatti dell'IA, la sua progettazione e le sue regole sulla privacy prima che le sia permesso di parlare con i pazienti. I ricercatori hanno rilasciato un nuovo set di dati e un insieme di strumenti per aiutare a costruire questi ispettori.

In breve: Il mercato digitale medico è pieno di bugiardi sicuri e progetti rischiosi, e le "recensioni dei clienti" non ci aiutano a individuarli. Abbiamo bisogno di controlli di sicurezza migliori prima di permettere a questi dottori IA di entrare nelle nostre vite.

Riepilogo Tecnico: Non Nuocere? Allucinazioni e Abusi a Livello di Attore nei Modelli Linguistici Medici di Grande Dimensione Distribuiti sul Web

1. Enunciato del Problema

Il rapido dispiegamento di modelli linguistici medici di grande dimensione personalizzati (MedGPT) su piattaforme commerciali come l'OpenAI Store presenta significativi rischi per la sicurezza spesso trascurati. Sebbene questi modelli offrano suggerimenti diagnostici e consigli sanitari, affrontano due minacce primarie e interconnesse:

Allucinazione Clinica: La generazione di informazioni mediche fluide ma fattualmente errate, incomplete o fabbricate (ad esempio, trattamenti non sicuri, consigli farmacologici errati). A differenza degli errori generici degli LLM, queste allucinazioni utilizzano un linguaggio specifico del dominio, rendendole difficili da rilevare per i pazienti non esperti.
Abuso a Livello di Attore: Scelte progettuali intenzionali da parte degli sviluppatori che predispongono i modelli a utilizzi non sicuri o non etici. Ciò include metadati ingannevoli (nomi, descrizioni), l'elusione delle salvaguardie di sicurezza tramite strumenti (ad esempio, navigazione web) e la mancanza di disclosure funzionali sulla privacy, in particolare nei modelli abilitati con "Azioni" (chiamate API esterne).

La letteratura attuale si concentra prevalentemente sulle allucinazioni nei modelli di base o sull'uso improprio generico nelle applicazioni a scopo generale, lasciando un vuoto nella valutazione sistematica dei GPT sanitari dispiegati e rivolti all'utente sia per quanto riguarda l'accuratezza dei contenuti che i rischi strutturali guidati dagli sviluppatori.

2. Metodologia

Gli autori hanno condotto un'audit su larga scala dell'OpenAI GPT Store, introducendo un framework di valutazione a doppio livello.

Raccolta Dati

Ambito: Un crawler ha estratto metadati da 9.245 GPT unici utilizzando la pubblica API di ricerca di OpenAI e una tassonomia specifica del dominio composta da 171 parole chiave mediche.
Filtraggio: Dopo una curatela manuale per garantire la pertinenza sanitaria, è stato stabilito un dataset finale di 6.233 MedGPT.
Campionamento: A causa dei limiti di velocità della piattaforma, è stato selezionato un campione stratificato di 1.500 MedGPT per una valutazione approfondita: i primi 1.000 (per numero di conversazioni), un campione casuale centrale di 250 e un campione inferiore di 250.
Gruppo di Confronto: 10 prominenti LLM medici open-source (ad esempio, Galactica, PMC-LLaMA, MedAlpaca) sono stati valutati utilizzando le stesse metriche per il confronto.

Framework di Valutazione

MedGPT-HEval (Rilevamento delle Allucinazioni):
- Input: Ogni modello è stato interrogato cinque volte con scenari clinici standardizzati tratti dal benchmark MedQA.
- Metriche: Le risposte sono state valutate utilizzando quattro metriche complementari:
  - G-Eval: Un framework a catena di pensiero che utilizza Gemini 3.1 Pro per valutare l'accuratezza fattuale, la coerenza e l'affidabilità delle citazioni.
  - BARTScore: Misura la probabilità del testo generato dato il prompt di input per valutare la fedeltà.
  - Entropia Semantica: Quantifica l'incertezza del modello; valori più alti indicano maggiore instabilità e rischio di allucinazione.
  - Similarità Cosine: Misura l'allineamento semantico tra la risposta e l'input clinico utilizzando gli embedding BioBERT.
- Validazione: I punteggi automatizzati sono stati validati contro l'annotazione umana su un sottoinsieme stratificato (300 modelli), raggiungendo un accordo del 90,5–94,0% (kappa di Cohen = 0,8163).
Valutazione dell'Abuso a Livello di Attore:
- Metodo: Una pipeline LLM-as-a-judge (utilizzando Gemini 3.1 Pro) ha analizzato i metadati (nomi, descrizioni, inizi di conversazione) rispetto alle politiche di utilizzo di OpenAI.
- Categorie: I rischi sono stati classificati in consultazioni sanitarie, truffe, violazioni della privacy e attività illecite.
- Soglia: È stato applicato il clustering K-means ( $k=2$ ) ai punteggi di rischio di uso improprio per determinare una soglia di conformità di 0,45. Ciò è stato validato da una revisione esperta (kappa di Cohen = 0,8188).
- Audit sulla Privacy: Specificamente per i 170 modelli con "Azioni" abilitate, gli autori hanno valutato l'accessibilità e la conformità delle politiche sulla privacy collegate.

3. Risultati Chiave

Allucinazione Clinica

Prevalenza: Il 25–30% dei MedGPT in tutti i livelli di popolarità ha ottenuto un punteggio inferiore a 0,8 in G-Eval.
Disparità tra Livelli: I modelli dei livelli inferiore e centrale hanno mostrato i rischi di allucinazione più elevati e il più debole allineamento contestuale. I modelli di livello superiore hanno performato meglio, ma hanno ancora mostrato una varianza significativa.
Specifiche delle Metriche:
- Solo il 37,27% dei MedGPT ha raggiunto un BARTScore $\ge -3,5$ .
- Solo il 41,07% ha raggiunto una Similarità Cosine $\ge 0,4$ .
- Il 59,87% ha avuto un'entropia semantica $< 2$ , indicando stabilità moderata, sebbene i modelli di livello inferiore abbiano mostrato alta variabilità.
Percezione dell'Utente: Esiste una correlazione quasi nulla tra l'engagement degli utenti (conteggi delle conversazioni, valutazioni a stelle) e le metriche di allucinazione (ad esempio, $r \approx -0,03$ per G-Eval). Gli utenti premiano l'attività, non l'accuratezza; modelli meno affidabili hanno spesso ricevuto feedback più positivi.

Abuso a Livello di Attore e Privacy

Tassi di Uso Improprio: Il 49,8% di tutti i MedGPT valutati ha violato le politiche operative.
- Primi 1.000: 54,3% non conformi.
- Centrali 250: 48,0% non conformi.
- Inferiori 250: 33,6% non conformi.
Lacune nella Privacy: Tra i 170 modelli abilitati alle Azioni:
- Il 57,06% mancava di politiche sulla privacy accessibili.
- Dei 42,94% con politiche accessibili, quasi il 70% ha ottenuto un punteggio inferiore alla soglia di conformità (mancanza di disclosure su condivisione dati, cookie, diritti degli utenti).
- Molte politiche erano link interrotti, modelli generici o reindirizzavano a domini non correlati.

Modelli Open-Source vs. Dispiegati sul Web

Accuratezza vs. Stabilità: I MedGPT hanno dimostrato una maggiore accuratezza fattuale (G-Eval medio: 0,9238) e allineamento semantico (Cosine medio: 0,4054) rispetto ai modelli open-source (G-Eval medio: 0,4558; Cosine medio: 0,3731).
Coerenza: I modelli open-source erano più stabili e prevedibili (entropia semantica inferiore: 1,6129 contro 1,9272 per i MedGPT), suggerendo un compromesso in cui i modelli dispiegati sul web potrebbero privilegiare la coerenza rispetto alla stabilità trovata nelle alternative guidate dalla comunità.

4. Contributi Chiave

Dataset HAA-MedGPT: Il rilascio del primo dataset su larga scala e strutturato contenente metadati, log di interazione e punteggi di valutazione per 6.233 MedGPT personalizzati dispiegati sul web.
Analisi di Sicurezza a Doppio Livello: L'introduzione di MedGPT-HEval per il rilevamento delle allucinazioni combinato con un valutatore di uso improprio a livello di attore, affrontando sia gli errori a livello di output che i rischi a livello di progettazione.
Risultati sulla Governance Sistemica: Evidenze empiriche che gli indicatori di fiducia della piattaforma (valutazioni, recensioni) non correlano con la sicurezza o l'accuratezza, e che quasi la metà dei modelli dispiegati viola le politiche operative.
Quantificazione del Rischio Privacy: La prima valutazione empirica che mostra come la maggior parte dei GPT medici abilitati alle Azioni manchi di disclosure funzionali sulla privacy.

5. Significato e Affermazioni

Il paper sostiene che l'attuale dispiegamento di LLM medici su marketplace aperti soffre di fallimenti sistemici di governance. Gli autori affermano che:

La popolarità non è un proxy per la sicurezza: Elevati conteggi di conversazioni e recensioni positive non indicano affidabilità fattuale o adesione alle politiche di sicurezza.
Il rischio è strutturale: I comportamenti non sicuri sono spesso incorporati a livello di progettazione dagli sviluppatori (ad esempio, nomi ingannevoli, mancanti politiche sulla privacy) piuttosto che essere errori di generazione incidentali.
La valutazione multi-metrica è essenziale: Affidarsi a una singola metrica (come l'accuratezza) è insufficiente; è necessaria una combinazione di allineamento fattuale, stabilità semantica e conformità alle politiche per valutare la sicurezza degli LLM medici.
Urgente necessità di salvaguardie: I risultati evidenziano la necessità di valutazioni di sicurezza proattive, standard di politica applicabili e framework di valutazione multi-metrica prima che i modelli siano dispiegati al pubblico.

Gli autori concludono che senza queste interventi, il "divario di fiducia" tra affidabilità percepita e sicurezza reale continuerà ad esporre i pazienti a rischi clinici e di privacy.