Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Questo studio introduce PubHealthBench, un nuovo benchmark basato su oltre 8000 domande derivate dalle linee guida del governo britannico, per valutare le conoscenze di 24 modelli linguistici (LLM) nel campo della sanità pubblica, rivelando che, sebbene i modelli proprietari più recenti superino gli umani nelle risposte a scelta multipla, mostrano prestazioni inferiori nelle risposte in formato libero, indicando la necessità di ulteriori misure di sicurezza.

L'essenziale

Ecco una spiegazione semplice e creativa di questo documento, pensata per chiunque, anche senza conoscenze tecniche.

Immagina che le Intelligenze Artificiali (come ChatGPT) siano come dei bibliotecari super istruiti che hanno letto milioni di libri. Il problema è: cosa succede se chiedi a uno di questi bibliotecari informazioni sulla tua salute o su come prevenire un'epidemia, basandoci solo su quello che ha letto?

Gli autori di questo studio, che lavorano per l'Agenzia per la Sicurezza Sanitaria del Regno Unito (UKHSA), hanno deciso di fare un esame di maturità a 24 di questi "bibliotecari digitali" per vedere se sono davvero pronti a dare consigli di salute pubblica.

Ecco come hanno fatto e cosa è successo, spiegato con delle metafore:

1. La Creazione dell'Esame: "PubHealthBench"

Per testare i robot, non potevano usare domande a caso. Hanno creato un nuovo esame chiamato PubHealthBench.

• La Fonte: Hanno preso oltre 600 documenti ufficiali del governo britannico (guide su vaccini, sicurezza alimentare, malattie, ecc.).
• Il Metodo: Hanno usato un altro robot per leggere questi documenti e creare automaticamente 8.000 domande a scelta multipla (tipo: "Qual è la dose corretta di questo vaccino? A, B o C?").
• L'Ispirazione: È come se avessero preso tutti i manuali di medicina di una scuola e li avessero trasformati in un quiz gigante.

2. La Prova: Due Modi di Rispondere

Hanno testato i robot in due modi diversi, come se fossero due tipi di esame:

• A) Il Quiz a Scelta Multipla (MCQA):
  È come un test scolastico dove devi cerchiare la risposta giusta tra A, B, C, D.

  • Risultato: I robot più potenti (come GPT-4.5 o o1) hanno fatto un lavoro eccellente, prendendo il 90-92% di risposte corrette. Hanno battuto anche gli umani che avevano a disposizione Google per cercare le risposte in 2 minuti. Sembra che conoscano molto bene le regole del gioco.

• B) La Conversazione Libera (Free Form):
  Qui non ci sono opzioni da scegliere. Devi chiedere al robot: "Cosa devo fare se ho la febbre?" e lui deve scrivere una risposta da zero, come farebbe un assistente reale.

  • Risultato: Qui le cose si sono complicate. Anche i robot migliori hanno visto il loro punteggio crollare, scendendo sotto il 75%.
  • Il Problema: I robot tendono a inventare cose (allucinazioni) o a dimenticare dettagli importanti. È come se un medico molto colto, quando gli chiedi un consiglio a voce libera, iniziasse a mescolare informazioni vere con idee sbagliate o dimenticasse di menzionare un passaggio cruciale.

3. Le Scoperte Chiave (Cosa significa per noi)

• I "Giganti" vs i "Nani": I modelli di intelligenza artificiale più grandi e costosi (quelli proprietari) sono molto bravi. Quelli più piccoli e gratuiti (spesso usati da chi non ha budget) fanno molta più confusione, specialmente quando devono scrivere risposte lunghe.
• Il Paradosso del Pubblico: Sorprendentemente, i robot sono più bravi a rispondere a domande rivolte al grande pubblico (es. "Come mi protego dal sole?") rispetto a quelle per medici esperti (es. "Qual è il protocollo clinico per questo farmaco raro?"). Questo è un bene, perché sono proprio le persone comuni a usare i chatbot per cercare informazioni sanitarie.
• Il Pericolo dell'Improvvisazione: Se chiedi a un robot di scegliere tra A, B e C, è molto preciso. Ma se gli chiedi di "parlare liberamente", rischia di dire cose che sembrano vere ma che non sono scritte nelle guide ufficiali.

4. La Conclusione: Fidarsi ciecamente?

Immagina che questi robot siano come assistenti di viaggio molto colti.

• Se chiedi loro: "Qual è l'aeroporto di Londra?", ti daranno la risposta esatta (Quiz).
• Ma se chiedi loro: "Qual è il miglior itinerario per una vacanza di 3 giorni a Londra con budget limitato?", potrebbero darti un itinerario fantastico che però include un hotel che non esiste o un museo chiuso (Risposta libera).

Il messaggio finale degli autori:
Le intelligenze artificiali stanno diventando molto brave a conoscere le regole di salute pubblica, ma non sono ancora perfette nel spiegarle liberamente senza errori.
Per questo motivo, quando usiamo questi strumenti per la salute, non dovremmo usarli come "oracoli" che hanno sempre ragione, ma come strumenti di supporto che devono essere sempre controllati da esseri umani o da sistemi di sicurezza aggiuntivi.

In sintesi: Sono ottimi studenti per i test, ma hanno ancora bisogno di un supervisore quando scrivono i saggi.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento di preprint "HEALTHY LLMS? BENCHMARKING LLM KNOWLEDGE OF UK GOVERNMENT PUBLIC HEALTH INFORMATION", presentato in italiano.

Titolo: HEALTHY LLMS? Valutazione della conoscenza degli LLM sulle informazioni di salute pubblica del governo del Regno Unito

1. Il Problema

Con la crescente accessibilità dei Modelli Linguistici di Grande Dimensione (LLM), è diventato cruciale comprendere la loro conoscenza in domini specifici, in particolare nella medicina e nella salute pubblica. Un fallimento nel recuperare informazioni pertinenti, accurate e aggiornate in questi settori potrebbe avere impatti significativi sulla popolazione del Regno Unito.
Nonostante esistano numerosi benchmark per la medicina clinica (es. USMLE), c'è una lacuna significativa nella valutazione delle conoscenze degli LLM nel campo della salute pubblica, che include prevenzione, rischi ambientali e gestione delle epidemie. Inoltre, le linee guida governative subiscono revisioni frequenti, rendendo difficile per gli LLM mantenere una conoscenza aggiornata. Esiste il rischio concreto che le applicazioni basate su LLM generino "allucinazioni" o informazioni incomplete, con potenziali conseguenze negative per i cittadini.

2. Metodologia: PubHealthBench

Per colmare questa lacuna, gli autori hanno introdotto PubHealthBench, un nuovo benchmark progettato per valutare la conoscenza degli LLM sulle linee guida di salute pubblica del governo del Regno Unito.

• Raccolta Dati: Il dataset è stato costruito estraendo testo libero da 687 documenti governativi attuali (formati PDF e HTML) ospitati sul sito gov.uk, coprendo 10 aree tematiche e 352 sottoguide.
• Pipeline Automatizzata:
  1. Pre-elaborazione: Conversione dei documenti in Markdown e suddivisione in "chunk" (frammenti) basati sull'intestazione gerarchica.
  2. Filtraggio: Utilizzo di un LLM per classificare i chunk contenenti raccomandazioni di salute pubblica, scartando quelli non pertinenti o troppo lunghi.
  3. Generazione MCQA: Un modello LLM (Llama-3.3-70B) ha generato automaticamente due domande a scelta multipla (MCQA) per ogni chunk valido, includendo una risposta corretta e sei distrattori plausibili.
  4. Filtraggio Errori: Un secondo passaggio automatizzato ha filtrato le domande con errori potenziali, riducendo il set a circa 8.090 domande finali.
• Validazione Umana: Un campione casuale di 800 domande (circa il 10%) è stato revisionato manualmente da esperti umani. Si stima che il tasso di ambiguità o invalidità nel dataset completo sia circa il 5,5%.
• Due Modalità di Valutazione:
  1. MCQA (Multiple Choice Question Answering): Valutazione standard a scelta multipla.
  2. Free Form: Risposte testuali libere, valutate tramite un "Judge LLM" (GPT-4o-Mini) che confronta la risposta generata con il testo sorgente originale e la risposta corretta, per verificare coerenza e assenza di allucinazioni.
• Baseline Umana: Cinque non esperti hanno risposto a un campione di 600 domande con accesso ai motori di ricerca (senza AI), ottenendo una media del 88%.

3. Contributi Chiave

• PubHealthBench: Il primo benchmark completo e radicato nel terreno (grounded) per la salute pubblica del Regno Unito, contenente oltre 8.000 domande.
• Pipeline Scalabile: Un approccio automatizzato che permette aggiornamenti frequenti man mano che le linee guida governative cambiano.
• Valutazione Multi-Modale: Confronto tra le prestazioni in formato MCQA e in formato risposta libera, quest'ultima più vicina all'uso reale dei chatbot.
• Analisi Comparativa: Valutazione di 24 modelli (sia proprietari che open-weight) e confronto con una baseline umana.

4. Risultati Principali

Lo studio ha valutato 24 modelli, inclusi i più recenti (GPT-4.5, o1, Claude-Sonnet-3.7, Gemini-2.0, Llama-3.3, ecc.).

• Prestazioni MCQA:

  • I modelli proprietari più avanzati (GPT-4.5, GPT-4.1, o1) hanno ottenuto prestazioni eccellenti, superando il 90% di accuratezza, battendo la baseline umana (88%) e avvicinandosi al limite superiore teorico stimato (97%).
  • I modelli open-weight di grandi dimensioni (es. Llama-3.3-70B, Phi-4-14B) hanno mostrato una conoscenza ragionevole, con punteggi generalmente superiori al 75-85%.
  • I modelli più piccoli (sotto i 15B di parametri) hanno mostrato prestazioni significativamente inferiori.
  • Tema e Pubblico: Gli LLM hanno performato meglio su linee guida destinate al pubblico generale (fino al 96% per GPT-4.5) rispetto alle linee guida cliniche o professionali.

• Prestazioni Free Form:

  • C'è un crollo drastico delle prestazioni nel formato a risposta libera. Nessun modello ha superato il 75% di accuratezza.
  • Il modello migliore (o1) ha ottenuto il 74%, con un calo di circa 17 punti percentuali rispetto all'MCQA. Altri modelli hanno subito cali fino a 60 punti percentuali.
  • Errori Comuni: Le risposte errate includevano spesso omissioni di punti chiave, contraddizioni con le linee guida o l'inserimento di raccomandazioni non presenti nel testo ufficiale (allucinazioni), specialmente riguardo ai tempi degli interventi.

• Divario Proprietario vs Open-Weight:

  • Sebbene il divario nell'MCQA fosse gestibile (10-20 punti), nel formato Free Form si è ampliato a oltre 35 punti percentuali tra i modelli proprietari di punta e i modelli open-weight più piccoli, indicando rischi elevati di allucinazione per i modelli più piccoli in scenari reali.

5. Significato e Conclusioni

Il paper dimostra che gli LLM all'avanguardia possiedono una conoscenza sostanziale delle linee guida di salute pubblica del Regno Unito, specialmente quando interrogati in formato strutturato (MCQA). Tuttavia, le prestazioni degradano significativamente quando si richiede una risposta libera e contestualizzata, che è il formato tipico dell'interazione utente-chatbot.

Implicazioni:

• Sicurezza: L'uso diretto di LLM (specialmente modelli più piccoli o non ottimizzati) per fornire risposte libere su salute pubblica comporta rischi di allucinazione e informazioni errate.
• Raccomandazioni: Per l'implementazione nel mondo reale, sono necessari ulteriori meccanismi di sicurezza o strumenti (come il Retrieval-Augmented Generation - RAG) per garantire che le risposte libere siano strettamente allineate alle fonti ufficiali.
• Futuro: Il benchmark PubHealthBench fornisce una base solida per futuri sviluppi e valutazioni, sottolineando la necessità di migliorare la capacità degli LLM di seguire rigorosamente le fonti di verità (grounding) in contesti ad alto rischio come la salute pubblica.