Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Diese Studie stellt mit PubHealthBench einen neuen Benchmark vor, der über 8000 Fragen zu britischen öffentlichen Gesundheitsinformationen enthält und zeigt, dass zwar fortschrittliche proprietäre LLMs bei Multiple-Choice-Fragen menschliche Leistungen übertreffen, ihre Genauigkeit bei freien Textantworten jedoch weiterhin verbesserungswürdig ist und zusätzliche Sicherheitsvorkehrungen erfordert.

Das Wesentliche

Gesunde KI? Ein Check für die Intelligenz von Chatbots im Bereich der britischen öffentlichen Gesundheit

Stellen Sie sich vor, Sie stehen in einer riesigen Bibliothek, die nur von der britischen Regierung geführte Gesundheitsratgeber enthält. Diese Bücher sind voller wichtiger Informationen: Wann sollte man sich impfen lassen? Was tun bei einer Lebensmittelvergiftung? Wie schützt man sich vor neuen Viren?

Jetzt kommen große Sprachmodelle (KI-Chatbots) wie GPT-4 oder Llama ins Spiel. Sie sind wie super-intelligente Bibliothekare, die alles gelesen haben und sofort antworten können. Aber die Frage ist: Verstehen sie wirklich, was in diesen speziellen Büchern steht, oder erfinden sie einfach nette Geschichten?

Dies ist genau das, was die Forscher vom UK Health Security Agency (UKHSA) in ihrer neuen Studie herausfinden wollten. Sie haben einen riesigen Test entwickelt, den sie PubHealthBench nennen.

Hier ist die Geschichte des Experiments, einfach erklärt:

1. Der Test: Ein riesiges Quiz mit 8.000 Fragen

Die Forscher haben über 600 aktuelle Gesundheitsdokumente der britischen Regierung genommen. Aus diesen Texten haben sie automatisch über 8.000 Multiple-Choice-Fragen (Quizfragen mit mehreren Antwortmöglichkeiten) erstellt.

Stellen Sie sich das wie einen riesigen, automatischen Fragebogen vor, der von einer KI erstellt wurde, um andere KIs zu prüfen.

• Teil A (Das Quiz): Die KI muss die richtige Antwort aus einer Liste auswählen (wie in einer Schulprüfung).
• Teil B (Der freie Vortrag): Die KI muss die Antwort frei formulieren, ohne Hilfestellung durch Antwortmöglichkeiten (wie in einem echten Gespräch mit einem Arzt).

2. Die Teilnehmer: Die Schwergewichte gegen die Leichtgewichte

Sie haben 24 verschiedene KI-Modelle getestet. Darunter waren die neuesten, teuersten Modelle von OpenAI (wie GPT-4.5) und Anthropic, aber auch kleinere, offene Modelle, die jeder nutzen kann.

3. Die Ergebnisse: Wer besteht die Prüfung?

Im Quiz-Modus (Multiple Choice): Die KIs sind brillant!
Die neuesten, teuersten KIs (wie GPT-4.5) haben hier extrem gut abgeschnitten. Sie haben über 90 % der Fragen richtig beantwortet.

• Vergleich: Sie waren sogar besser als normale Menschen, die nur schnell im Internet nachschlagen, ohne KI-Hilfe.
• Die kleine Schwäche: Kleinere, billigere KIs haben es etwas schwerer, liegen aber immer noch bei über 75 % Richtigkeit.

Im freien Modus (Offene Antworten): Hier wird es knifflig.
Als die KIs gebeten wurden, die Antworten frei zu formulieren (ohne die vorgegebenen Quiz-Antworten), brach die Leistung ein.

• Kein einziges Modell erreichte hier über 75 %.
• Das Problem: Die KIs fingen an zu "halluzinieren". Das ist wie ein Schüler, der die richtige Antwort nicht weiß, aber so gut lügt, dass es fast klingt, als wäre es wahr. Sie fügten Informationen hinzu, die nicht im offiziellen Text standen, oder ließen wichtige Details weg.

4. Die wichtigsten Erkenntnisse (in Metaphern)

• Der "Schulbank"-Effekt: Wenn die KI nur eine Frage mit Antwortmöglichkeiten bekommt, kann sie oft die richtige Antwort "erraten" oder durch Ausschlussverfahren finden. Das ist wie bei einer Multiple-Choice-Klausur, bei der man die richtige Antwort oft schon an der Formulierung erkennt.
• Der "Freie Vortrag": Wenn die KI aber frei sprechen muss, zeigt sich ihr wahres Gesicht. Hier verwechseln sie oft Details. Sie sagen vielleicht: "Nehmen Sie dieses Medikament sofort", obwohl der Ratgeber sagt: "Nehmen Sie es nur bei schweren Symptomen".
• Die Zielgruppe: Interessanterweise wussten die KIs am meisten über Ratschläge für die Allgemeinbevölkerung (z. B. "Was tun bei Grippewelle?"). Bei sehr speziellen medizinischen Anweisungen für Ärzte waren sie etwas unsicherer.

5. Was bedeutet das für uns?

Die Studie sagt uns zwei Dinge:

1. Gute Nachrichten: Die modernsten KIs sind sehr gut darin, Fakten aus den offiziellen Gesundheitsbüchern abzurufen. Sie sind eine hervorragende erste Anlaufstelle für Informationen.
2. Warnung: Wenn Sie eine KI bitten, eine komplexe Gesundheitsfrage frei zu beantworten, verlassen Sie sich nicht blind auf sie. Sie könnte wichtige Nuancen verpassen oder falsche Ratschläge geben, die harmlos klingen, aber gefährlich sein könnten.

Fazit:
Stellen Sie sich die KI wie einen sehr gut ausgebildeten, aber manchmal etwas zu selbstbewussten Assistenten vor. Wenn Sie ihn im Quiz antreten lassen, gewinnt er fast immer. Aber wenn Sie ihn bitten, eine medizinische Entscheidung für Sie zu treffen, sollten Sie ihn immer noch von einem echten Experten (oder einem menschlichen Arzt) überprüfen lassen.

Die Forscher hoffen, dass dieser neue Test (PubHealthBench) dazu hilft, sicherzustellen, dass KIs in Zukunft noch sicherer werden, bevor sie in echten Krankenhäusern oder Gesundheits-Apps eingesetzt werden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „HEALTHY LLMS? BENCHMARKING LLM KNOWLEDGE OF UK GOVERNMENT PUBLIC HEALTH INFORMATION" auf Deutsch:

1. Problemstellung und Motivation

Mit der zunehmenden Verbreitung von Large Language Models (LLMs) besteht ein dringender Bedarf, deren Wissen in spezifischen Domänen zu verstehen, insbesondere im Bereich der Medizin und öffentlichen Gesundheit (Public Health). Fehlerhafte, ungenaue oder veraltete Informationen könnten erhebliche negative Auswirkungen auf die Bevölkerung haben.

Obwohl es bereits Benchmarks für klinische Medizin gibt (z. B. USMLE), fehlt es an umfassenden Evaluierungen für den Bereich der öffentlichen Gesundheit, insbesondere im Hinblick auf aktuelle Leitlinien der britischen Regierung. Da sich diese Leitlinien häufig ändern und über verschiedene Institutionen und Regionen hinweg variieren, ist es für LLMs besonders schwierig, stets aktuelles und korrektes Wissen zu liefern. Es besteht das Risiko, dass Chatbots und KI-Anwendungen „Halluzinationen" produzieren oder unvollständige Ratschläge geben, was die öffentliche Gesundheit gefährden könnte.

2. Methodik: Der PubHealthBench

Um dieses Defizit zu adressieren, stellen die Autoren PubHealthBench vor, einen neuen Benchmark, der speziell für die Evaluierung von LLMs im Kontext britischer öffentlicher Gesundheitsinformationen entwickelt wurde.

Datenerstellung und Pipeline:

• Quellen: Die Daten stammen aus 687 aktuellen Leitlinien-Dokumenten der britischen Regierung (UK Government), verfügbar auf gov.uk (insgesamt ca. 1.150 Dokumente, davon 687 für den finalen Benchmark genutzt). Diese umfassen PDFs und HTML-Seiten.
• Vorverarbeitung: Dokumente werden in Markdown konvertiert. Für PDFs wird eine zweistufige Pipeline verwendet: Erst Extraktion des Roh-Textes, dann Nutzung von GPT-4o-mini (Vision-Modell) zur präzisen Extraktion von Text und Header-Hierarchien aus Bildern.
• Chunking: Die Dokumente werden in 20.488 kleinere Abschnitte („Chunks") unterteilt, wobei die Kontext-Hierarchie (übergeordnete Header) beibehalten wird.
• Filterung: Ein LLM klassifiziert die Chunks, um nur solche zu behalten, die konkrete öffentliche Gesundheitsempfehlungen enthalten (Filterung von reinen Hintergrundinformationen). Chunks mit über 2.000 Wörtern werden verworfen.
• Generierung: Ein LLM (Llama-3.3-70B-Instruct) generiert pro validem Chunk zwei Multiple-Choice-Fragen (MCQA). Jede Frage besteht aus einer korrekten Antwort und sechs Distraktoren.
• Qualitätssicherung: Eine automatisierte Fehlererkennung filtert inkonsistente Fragen. Anschließend wurde eine manuelle Überprüfung durch menschliche Experten an einer Stichprobe von 800 Fragen (ca. 10 %) durchgeführt.
• Finaler Datensatz: Der Benchmark umfasst 8.090 MCQA-Fragen aus 10 Themenbereichen (z. B. Impfung, Infektionskrankheiten, Chemikalien) und deckt verschiedene Zielgruppen ab (Öffentlichkeit, Fachpersonal, Kliniker).

Evaluierungs-Setups:

1. PubHealthBench-Full: Der vollständige MCQA-Benchmark.
2. PubHealthBench-Reviewed: Eine manuell geprüfte Teilmenge (760 Fragen), um die Qualität zu garantieren.
3. PubHealthBench-FreeForm: Derselbe geprüfte Satz, jedoch als offene Fragen (ohne Multiple-Choice-Optionen), um das Verhalten in realen Chatbot-Szenarien zu simulieren. Die Antworten werden mittels eines „LLM-as-a-Judge"-Ansatzes (GPT-4o-Mini) bewertet, der die Antwort mit dem Originaltext abgleicht.

Human Baseline:
Fünf menschliche Teilnehmer (ohne spezielle Public-Health-Ausbildung) beantworteten 600 Fragen unter Zeitdruck (2 Min./Frage) mit Zugang zu Suchmaschinen, aber ohne KI-Tools. Dies dient als Vergleichswert für einen Laien mit „oberflächlicher" Recherche.

3. Wichtige Beiträge

• PubHealthBench: Der erste umfassende, frei verfügbare Benchmark für LLMs im Bereich der britischen öffentlichen Gesundheit, der über 8.000 synthetisch generierte, aber textbasierte Fragen enthält.
• Automatisierte Pipeline: Eine skalierbare Methode zur Generierung und Validierung von MCQA-Fragen aus unstrukturierten Regierungsdaten, die regelmäßige Updates ermöglicht.
• Vergleichende Analyse: Eine detaillierte Evaluierung von 24 Modellen (proprietär und Open-Weight) in zwei Modi (MCQA vs. Free-Form) sowie ein Vergleich mit menschlicher Leistung.
• Erkenntnis über Halluzinationen: Eine qualitative Analyse der Fehler in Free-Form-Antworten, die zeigt, wo LLMs Leitlinien verzerren (z. B. falsche Zeitpunkte für Interventionen).

4. Ergebnisse

MCQA-Ergebnisse (Multiple Choice):

• Hohe Leistung bei State-of-the-Art (SOTA) Modellen: Die neuesten proprietären Modelle (GPT-4.5, GPT-4.1, o1) erreichen eine Genauigkeit von über 90 %. Sie übertreffen damit die menschliche Baseline (88 %) und nähern sich dem theoretischen oberen Limit des Benchmarks (ca. 97 %, geschätzt basierend auf der Ambiguität der Fragen).
• Open-Weight Modelle: Kleinere Modelle (5–15 Mrd. Parameter) erzielen meist über 75 % Genauigkeit, zeigen jedoch signifikante Lücken im Vergleich zu den SOTA-Modellen.
• Rechen-Intensive Modelle: „Reasoning"-Modelle (wie o1 und o3-Mini) zeigen im MCQA-Setup keinen signifikanten Vorteil gegenüber nicht-reasoning-Modellen, da die Aufgabe eher Faktenabruf als komplexes Schlussfolgern erfordert.
• Themenabhängigkeit: Modelle performen am besten bei Leitlinien für die Allgemeinbevölkerung (bis zu 96 % für GPT-4.5) und schlechter bei klinischen Leitlinien.

Free-Form-Ergebnisse (Offene Antworten):

• Deutlicher Leistungsabfall: In diesem realistischeren Szenario bricht die Leistung aller Modelle stark ein. Kein Modell erreicht über 75 % Genauigkeit.
• Lücke zu MCQA: Der Unterschied zwischen MCQA und Free-Form liegt bei vielen Modellen zwischen 15 und 60 Prozentpunkten. Selbst das beste Modell (o1) fällt von 91 % (MCQA) auf 74 % (Free-Form).
• Ursachen der Fehler: Die Hauptprobleme sind das Auslassen wichtiger Punkte, das Hinzufügen irrelevanter Informationen oder das direkte Widersprechen der Leitlinien (z. B. falsche Zeitfenster für medizinische Interventionen).
• Risiko bei kleinen Modellen: Kleinere Open-Weight-Modelle zeigen in Free-Form-Szenarien oft Genauigkeiten unter 40 %, was ein hohes Risiko für Halluzinationen darstellt.

5. Bedeutung und Fazit

Die Studie zeigt, dass moderne LLMs ein hohes Faktenwissen über aktuelle britische Public-Health-Leitlinien besitzen, insbesondere wenn sie im Multiple-Choice-Format abgefragt werden. Sie übertreffen in diesem Format sogar Menschen, die nur oberflächlich nachschlagen.

Kritische Erkenntnisse:

1. Sicherheitslücke im Free-Form-Modus: Die Leistung bricht in offenen Dialogen signifikant ein. Dies unterstreicht, dass LLMs für den direkten Einsatz als Chatbots im Gesundheitswesen zusätzliche Sicherheitsvorkehrungen (z. B. Retrieval-Augmented Generation mit strengen Validierungsschritten) benötigen, um Halluzinationen zu verhindern.
2. Zielgruppen-Unterschied: Da die Modelle bei Leitlinien für die Allgemeinbevölkerung am besten abschneiden (diese sind oft die Hauptnutzer von Chatbots), ist das Risiko zwar vorhanden, aber möglicherweise geringer als bei klinischen Fachfragen.
3. Notwendigkeit von Benchmarks: Der PubHealthBench bietet eine essentielle Grundlage für die Weiterentwicklung sicherer KI-Systeme im Gesundheitswesen und für die Evaluierung zukünftiger Modelle.

Zusammenfassend ist die Technologie vielversprechend, aber für den direkten, unüberwachten Einsatz in kritischen öffentlichen Gesundheitsfragen sind derzeit noch keine vollständigen Garantien für die Genauigkeit von Freitextantworten gegeben.