Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Dit artikel introduceert PubHealthBench, een nieuwe benchmark met meer dan 8000 vragen gebaseerd op Britse overheidsrichtlijnen om de kennis van LLMs op het gebied van volksgezondheid te evalueren, waarbij wordt geconstateerd dat hoewel de nieuwste modellen bij meerkeuzevragen menselijke prestaties overtreffen, hun prestaties bij open antwoorden beperkter blijven en aanvullende veiligheidsmaatregelen vereisen.

De kern

De Gezondheidstest voor AI: Kunnen Chatbots de Britse Gezondheidsraad wel volgen?

Stel je voor dat je een nieuwe, super slimme robot hebt die alles over de wereld lijkt te weten. Je vraagt hem: "Mag ik mijn hond meenemen naar het strand als het regent?" of "Hoeveel alcohol mag ik drinken als ik zwanger ben?" De robot geeft een antwoord. Maar is dat antwoord waar, actueel en veilig?

Dat is precies wat dit onderzoek van het Britse Gezondheidsbureau (UKHSA) heeft onderzocht. Ze wilden weten of die slimme AI-chatbots (zoals de nieuwste versies van GPT) echt goed genoeg zijn om de officiële gezondheidsregels van de Britse overheid te kennen.

Hier is de samenvatting, vertaald naar begrijpelijk Nederlands met een paar creatieve vergelijkingen.

1. Het Probleem: De "Gouden Gids" is heel groot

De Britse overheid heeft duizenden documenten over gezondheid: van hoe je een griepgolf moet stoppen tot wat je mag eten tijdens een zwangerschap. Dit is als een enorme bibliotheek met de meest recente regels.

Het probleem? AI-modellen zijn getraind op een enorme hoeveelheid internetdata, maar ze weten niet altijd welke regels vandaag gelden. Ze kunnen verouderde informatie gebruiken of zelfs dingen uitvinden die er niet staan (dit noemen ze "hallucineren"). In de gezondheidszorg kan een foutje leiden tot gevaarlijke situaties.

2. De Oplossing: De "PubHealthBench" (De Gezondheidsexamen)

Om dit te testen, hebben de onderzoekers een gigantisch examen gemaakt, genaamd PubHealthBench.

• Hoe werkt het? Ze hebben 687 officiële documenten ingelezen en er een computerprogramma op laten draaien dat er 8.000 vragen van maakt.
• De vorm: Het examen had twee delen:
  1. Meerkeuze (MCQA): Net als op school. "Welk antwoord is juist: A, B of C?"
  2. Vrije tekst: Je vraagt de AI gewoon: "Wat zegt de overheid over...?" en de AI moet het zelf uitleggen, zonder hints.

3. De Resultaten: De Slimme Robot vs. De Mens

De onderzoekers hebben 24 verschillende AI-modellen getest, van de allerbeste (zoals GPT-4.5) tot kleinere, goedkopere versies.

De Meerkeuze-test (De "Kennisquiz"):

• De winnaars: De allerbeste, dure AI-modellen (zoals GPT-4.5 en o1) scoorden boven de 90%. Ze waren zelfs beter dan een gemiddelde mens die snel even Google gebruikt!
• De vergelijking: Het was alsof de AI een uitgelezen professor was die de gids uit zijn hoofd kent. Ze wisten precies wat er in de documenten stond.
• De verliezers: Kleinere, goedkopere AI-modellen deden het minder goed, maar scoorden vaak nog steeds boven de 75%.

De Vrije Tekst-test (Het "Echte Gesprek"):

• Hier klapte het verhaal: Toen de AI's moesten antwoorden zonder meerkeuze-opties (dus zonder hints), daalde hun score drastisch. Niemand haalde boven de 75%.
• Het probleem: De AI's begonnen dingen te verzinnen, belangrijke details te vergeten of tegenstrijdige adviezen te geven.
• De metafoor: In de meerkeuze-test was de AI als een student die het antwoordboekje heeft geleerd. In de vrije tekst-test was het alsof die student zonder boekje een betoog moest houden: hij wist de feiten wel, maar kon ze niet altijd netjes en correct in een verhaal verwerken. Soms "droomde" hij details bij.

4. Belangrijke Nuances

• Voor wie is het goed? De AI's waren het allerbeste in het beantwoorden van vragen voor het gewone publiek (bijv. "Mag ik dit eten?"). Ze deden het iets minder goed voor artsen en specialisten (die vaak heel specifieke, complexe regels nodig hebben).
• De "Grootte" maakt uit: De enorme, dure AI-modellen deden het veel beter dan de kleine, goedkope versies. De kleine modellen maakten veel meer fouten in de vrije tekst, wat gevaarlijk kan zijn als je ze gebruikt voor medisch advies.

5. Conclusie: Is de AI klaar voor de praktijk?

Het onderzoek zegt: "Ja, maar..."

• Ja: De allerbeste AI-modellen weten de feiten uit de Britse gezondheidsgidsen heel goed. Ze zijn een geweldige bron voor snelle informatie.
• Maar: Als je de AI vraagt om een volledig verhaal te schrijven (vrije tekst), kan hij nog steeds fouten maken of dingen uitvinden.

De les voor de toekomst:
Je kunt AI gebruiken als een slimme assistent die snel feiten opzoekt, maar je moet hem nooit blindelings vertrouwen als hij een advies geeft zonder dat iemand (of een ander systeem) het even checkt. Het is als een zeer slimme stagiair: hij kent de regels, maar hij heeft nog steeds een ervaren manager nodig om te controleren of hij ze niet verkeerd uitlegt.

Kortom: De AI wordt steeds "gezonder" en slimmer, maar voor de veiligheid van de mensen hebben we nog steeds een menselijke hand nodig om de laatste controle te doen.

Technische samenvatting

Titel: HEALTHY LLMS? BENCHMARKING LLM-KENNIS VAN OPENBARE GEZONDHEIDSINFORMATIE VAN DE UK-REGERING

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds toegankelijker en worden overwogen voor gebruik in kritieke domeinen zoals geneeskunde en volksgezondheid. Hoewel er reeds benchmarks bestaan voor medische kennis (bijv. USMLE), ontbreekt er een uitgebreide evaluatie van LLM-kennis specifiek op het gebied van volksgezondheid (public health).

• Risico's: Public health-richtlijnen worden regelmatig bijgewerkt en variëren per regio. LLMs kunnen hallucinaties genereren of verouderde informatie verstrekken, wat ernstige gevolgen kan hebben voor de bevolking.
• Kennislacune: Er is geen gestandaardiseerde manier om te meten hoe goed LLMs de huidige, officiële richtlijnen van de Britse overheid (UK Government) begrijpen en kunnen reproduceren.

2. Methodologie

De auteurs introduceren PubHealthBench, een nieuw benchmark-dataset en evaluatieframework.

• Dataverzameling:
  • Er zijn 687 huidige documenten met publieke gezondheidsinformatie van de UK Health Security Agency (UKHSA) verzameld (via gov.uk), bestaande uit PDF's en HTML-bestanden.
  • De documenten zijn omgezet naar Markdown en opgesplitst in 20.488 secties ("chunks") op basis van koppen, waarbij context van hogere niveaus behouden bleef.
• Automatische Generatie van MCQA:
  • Een geautomatiseerde pipeline (met LLMs zoals Llama-3.3-70B) filtert de chunks op relevante aanbevelingen.
  • Per chunk worden twee meerkeuzevragen (MCQA) gegenereerd met één correct antwoord en zes plausibele distractors.
  • Een tweede LLM-fase filtert foutieve vragen (bijv. dubbelzinnige opties of inconsistenties met de bron).
  • Resultaat: Een dataset van 8.090 MCQA-vragen over 10 thema's (o.a. vaccinatie, besmettelijke ziekten, klimaat en gezondheid).
• Evaluatie-sets:
  1. PubHealthBench-Full: De volledige set van ~8.000 vragen.
  2. PubHealthBench-Reviewed: Een subset van 760 vragen die handmatig is gecontroleerd door menselijke experts om de kwaliteit te garanderen.
  3. PubHealthBench-FreeForm: Dezelfde subset, maar dan als open vragen (zonder meerkeuzeopties) om realistisch chatbot-gebruik te simuleren. Antwoorden worden beoordeeld door een "Judge LLM" (GPT-4o-Mini) die de consistentie met de bron tekst controleert.
• Menselijke Baseline:
  • Menselijke proefpersonen (geen specialisten) beantwoordden vragen met toegang tot zoekmachines, maar zonder AI-tools. Dit dient als vergelijkingspunt voor een "cursieve zoektocht" door een leek.

3. Belangrijkste Bijdragen

• PubHealthBench: De eerste uitgebreide benchmark specifiek voor UK-volksgezondheidsrichtlijnen, gebaseerd op actuele overheidsdocumenten.
• Geautomatiseerde Pipeline: Een schaalbare methode om hoogwaardige MCQA-datasets te genereren uit niet-gestructureerde overheidsdocumenten, wat regelmatig updates mogelijk maakt.
• Uitgebreide Evaluatie: Testen van 24 verschillende modellen (zowel proprietary als open-weight) in zowel MCQA- als Free-Form-modi.
• Menselijke Vergelijking: Een gestructureerde menselijke baseline om de prestaties van AI te relateren aan die van een niet-expert met zoekmachines.

4. Resultaten

De studie evalueerde 24 modellen, waaronder GPT-4.5, o1, Claude-Sonnet-3.7, Llama-3.3 en diverse kleinere modellen.

• MCQA Prestaties (Meerkeuze):
  • Topmodellen: De nieuwste proprietary modellen (GPT-4.5, GPT-4.1, o1) behalen >90% nauwkeurigheid. Dit is hoger dan de menselijke baseline (88%) en nadert de geschatte bovengrens van het benchmark (97%).
  • Open-Weight Modellen: Grotere open modellen (5-15B parameters) presteren redelijk goed (>75%), maar kleinere modellen (<4B) scoren aanzienlijk lager.
  • Redenerende Modellen: Modellen met "redenerings"capaciteiten (zoals o1) tonen in de MCQA-modus geen significant voordeel ten opzichte van niet-redenerende modellen.
• Free-Form Prestaties (Open Antwoorden):
  • Er is een drastische daling in prestaties bij open vragen. Geen enkel model scoort hoger dan 75%.
  • De beste presteerder (o1) scoort 74%, maar dit is een daling van 17% ten opzichte van de MCQA-score.
  • Kleinere modellen lijden onder enorme prestatiedalingen (soms >45% lager dan bij MCQA), wat wijst op een groot risico op hallucinaties.
• Thematische Verschillen:
  • Modellen presteren het beste op richtlijnen voor het algemene publiek (tot 96% voor GPT-4.5).
  • Ze presteren slechter op klinische richtlijnen en richtlijnen voor professionals.
  • Onderwerpen als "Klimaat en Gezondheid" worden goed beantwoord, terwijl "Chemicaliën en Toxicologie" meer problemen oplevert.

5. Betekenis en Conclusie

• Veiligheid en Toepassing: Hoewel state-of-the-art (SOTA) LLMs een uitstekende kennisbasis hebben voor UK-volksgezondheid, zijn ze in een realistische chatbot-situatie (free-form) nog niet betrouwbaar genoeg zonder extra beveiligingen. Het risico op het weglaten van cruciale informatie of het geven van tegenstrijdige adviezen is aanwezig.
• Aanbeveling: Voor real-world implementaties in de volksgezondheid zijn extra waarborgen (zoals Retrieval-Augmented Generation of menselijke controle) noodzakelijk, vooral bij het genereren van open antwoorden.
• Toekomstig Onderzoek: De benchmark biedt een basis voor het testen van toekomstige modellen en het ontwikkelen van tools die hallucinaties in kritieke domeinen kunnen detecteren en voorkomen.

Kortom, de paper concludeert dat LLMs veelbelovend zijn als bron van publieke gezondheidsinformatie, maar dat de overgang van "kennis hebben" (MCQA) naar "betrouwbaar communiceren" (Free-Form) nog een significante uitdaging blijft.