🤖 AI

PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

Das Papier führt PSEBench ein, einen skalierbaren und verifizierbaren Benchmark, der mittels einer auf Richtlinien basierenden Methodik unter Verwendung von „Clause Cards“ konstruiert wurde, um LLMs bei der Triage von Patientensicherheitsereignissen zu evaluieren, wobei konsistente Fähigkeitstrends aufgezeigt und kritische Lücken in den Bereichen evidenzbasiertes Schlussfolgern, Informationssuche und prinzipielle Enthaltung identifiziert wurden.

Ursprüngliche Autoren: Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

Veröffentlicht 2026-06-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Sicherheitsinspektors“

Stellen Sie sich vor, ein Krankenhaus wäre ein riesiger, geschäftiger Flughafen. Jeden Tag geht vieles schief oder läuft komplett falsch (ein Patient erhält das falsche Medikament, eine Maschine versagt, jemand stürzt). Dies sind sogenannte Patientensicherheitsereignisse (Patient Safety Events).

Gesetzlich verpflichtet ist der Flughafen (das Krankenhaus), bestimmte Arten von schweren Unfällen an die „Federal Aviation Administration“ (die staatliche Gesundheitsbehörde) zu melden. Die Regeln dafür, was gemeldet werden muss, sind jedoch unglaublich komplex, in dichter Rechtssprache verfasst und hängen von winzigen Details ab.

Derzeit muss ein menschlicher Sicherheitsexperte jeden einzelnen Bericht lesen und entscheiden: „Müssen wir das der Regierung melden, oder ist es nur ein geringfügiges internes Problem?“ Dies ist eine verantwortungsvolle Aufgabe mit hohem Einsatz. Wenn der Experte einen Bericht übersieht, bekommt das Krankenhaus Ärger. Wenn er zu viele unbedeutende Dinge meldet, wird die Regierung überlastet.

Die Forscher wollten sehen, ob KI (Large Language Models) diesen Job für uns übernehmen könnte. Aber um die KI zu testen, brauchten sie einen fairen, perfekten Test. Genau hier kommt PSEBench ins Spiel.

Das Problem mit bisherigen Tests

Stellen Sie sich vor, Sie versuchen, einem Schüler das Autofahren beizubringen, indem Sie ihm eine Prüfung geben, bei der die Fragen spontan ausgedacht werden.

Das Problem: Wenn man eine KI einfach nur bittet: „Lies eine Geschichte und sag mir, ob sie meldepflichtig ist“, könnte die KI die richtige Antwort aus den falschen Gründen raten oder Fakten erfinden, die gar nicht da sind.
Die Lücke: Echte Sicherheitsexperten raten nicht einfach. Sie achten auf fehlende Fakten („Ist der Patient tatsächlich gestorben?“), sie wissen, wann sie sagen müssen: „Das weiß ich nicht“ (wenn die Regeln unklar sind), und sie zitieren genau das Gesetz, auf das sie sich beziehen. Bisherige Tests prüften diese Fähigkeiten nicht.

Die Lösung: PSEBench (Der „perfekte Test“)

Die Autoren haben einen neuen Benchmark namens PSEBench entwickelt. Denken Sie an einen Level-Designer für Videospiele, der tausende einzigartige, perfekte Test-Szenarien für die KI erstellt.

1. Die „Klausel-Karte“ (Das Rezept)

Anstatt nur eine Geschichte zu schreiben, haben die Forscher für jede Regel zuerst eine „Rezeptkarte“ erstellt.

Stellen Sie sich ein Rezept für einen Kuchen vor. Die Karte listet genau auf, welche Zutaten benötigt werden (Fakten), wie der Kuchen aussehen muss (das Urteil) und auf welcher Seite des Regelbuchks man sich befindet (das Gesetz).
Menschliche Auditoren haben diese Karten geprüft, um sicherzustellen, dass die Logik perfekt ist. Dies ist die „Grundwahrheit“ (Ground Truth).

2. Der „Anker“ (Der Realitätsbezug)

Um die Geschichten echt klingen zu lassen, haben sie echte, anonymisierte Unfallberichte aus Japan (wie echte Zeitungsberichte) als „Anker“ verwendet.

Sie haben die KI nicht einfach gebeten, eine Geschichte aus dem Nichts zu schreiben. Sie sagten: „Hier ist eine echte Geschichte über einen defekten Infusionsständer. Schreibe nun eine Geschichte über einen Medikationsfehler, die genau zu dieser spezifischen Rezeptkarte passt.“
Dies stellt sicher, dass die Geschichten wie echte Krankenhausberichte klingen und nicht wie Roboter-Geschwafel.

3. Der „Closed-Loop“ (Die Doppelprüfung)

Dies ist der wichtigste Teil. Das System hat einen Verifier (wie einen strengen Editor).

Schritt 1: Die KI schreibt eine Geschichte basierend auf der Rezeptkarte.
Schritt 2: Der Verifier liest die Geschichte und fragt: „Enthält diese Geschichte tatsächlich die Fakten aus der Rezeptkarte? Hat sie versehentlich ein entscheidendes Detail ausgelassen? Hat sie die Antwort versehentlich bereits im Text verraten?“
Schritt 3: Wenn die Geschichte durchfällt, muss die KI sie umschreiben. Sie schreibt so lange um, bis der Verifier ein „Pass“ gibt.
Ergebnis: Jeder einzelne Testfall in PSEBench ist garantiert logisch perfekt. Wir wissen genau, was die Antwort sein muss, weil wir sie so aufgebaut haben.

4. Die drei Arten von Tests

Der Benchmark testet die KI auf drei verschiedene Arten, genau wie ein echter Sicherheitsexperte konfrontiert wird:

Der vollständige Fall: Der Bericht enthält alle Fakten. Kann die KI korrekt entscheiden?
Der Fall mit fehlenden Informationen: Der Bericht ist vage (z. B. „Der Patient hatte eine Reaktion“, aber es wird nicht gesagt, wie schlimm es war). Kann die KI erkennen, dass Informationen fehlen, und eine Frage stellen, um die Antwort zu erhalten? (Die meisten KIs raten einfach; dieser Test prüft, ob sie nachfragen).
Der unsichere Fall: Die Fakten sind klar, aber das Gesetz ist still oder widersprüchlich. Kann die KI sagen: „Das weiß ich nicht, ein Mensch muss darüber entscheiden“, anstatt eine falsche Antwort zu erzwingen?

Was sie herausgefunden haben (Die Ergebnisse)

Sie haben 15 verschiedene KI-Modelle (von großen Tech-Unternehmen wie OpenAI, Google und Anthropic sowie medizin-spezifische Modelle) mit diesem Benchmark getestet.

Die gute Nachricht:

Die klügsten, teuersten KI-Modelle (wie GPT-5.5 und Gemini 3.1 Pro) treffen die endgültige „Ja/Nein“-Entscheidung in eindeutigen Fällen zu etwa 90–95 % richtig.

Die schlechte Nachricht (Die „Fallstricke“):

Das „Rate-Problem“: Wenn die Regeln unklar waren (unsichere Fälle), erzwangen viele KIs einfach eine „Ja, melden“-Antwort. Sie waren zu selbstbewusst.
- Analogie: Es ist wie ein Schüler, der die Antwort auf eine Matheaufgabe nicht kennt, aber trotzdem „42“ hinschreibt, weil er Angst hat, das Feld leer zu lassen. Dies ist im Krankenhaus gefährlich, da es zu einer Flut von Fehlalarmen führt.
Das „Schweige-Problem“: Wenn Informationen fehlten, fragten viele KIs (insbesondere kleinere oder medizinisch spezialisierte Modelle) niemals nach Hilfe. Sie erfanden einfach eine Antwort.
- Analogie: Ein Detektiv, der ein fehlendes Indiz sieht, aber stattdessen einen Verdächtigen erfindet, anstatt im Labor nachzufragen.
Medizinische Modelle scheiterten: Überraschenderweise schnitten KI-Modelle, die speziell auf medizinische Lehrbücher trainiert wurden, bei dieser spezifischen rechtlichen Aufgabe schlechter ab als allgemeine, intelligente Modelle. Sie waren großartig darin, medizinische Fragen zu beantworten, aber schlecht darin, komplexen rechtlichen Melderegeln zu folgen.

Das Fazgeständnis

PSEBench beweist, dass KIs zwar gut darin werden, Geschichten zu lesen, aber noch nicht bereit sind, allein als „Sicherheitsinspektor“ zu fungieren.

Eine KI kann dir sagen, ob eine Geschichte wie ein meldepflichtiges Ereignis aussieht.
Aber sie hat Schwierigkeiten zu wissen, wann sie aufhören und nach weiteren Informationen fragen muss oder wann sie zugeben muss, dass sie es nicht weiß.

Die Arbeit kommt zu dem Schluss, dass wir eine KI bauen müssen, die bescheidener ist (weiß, wann sie verzichten muss) und neugieriger ist (weiß, wann sie Fragen stellt), bevor wir ihr das Vertrauen in der Patientensicherheit anvertrauen können.

Zusammenfassende Analogie

Betrachten Sie PSEBench als einen Führerschein-Test für die KI.

Frühere Tests fragen die KI nur: „Fahre die Straße geradeaus entlang.“
PSEBench setzt die KI in einen Fahrsimulator, in dem:
1. Die Straße frei ist (Vollständiger Fall).
2. Der Nebel so dicht ist, dass man das Stoppschild nicht sieht, also muss man den Beifahrer nach dem Weg fragen (Fehlende Information).
3. Die Straßenschilder widersprüchlich sind, sodass man anhalten und einen Vorgesetzten anrufen muss, anstatt blind weiterzufahren (Unsicherer Fall).

Die Ergebnisse zeigen, dass die KI zwar ein guter Fahrer auf einer geraden Straße ist, aber panisch wird oder anfängt zu raten, wenn die Straße schwierig wird.

Technisches Resümee: PSEBench

Problemstellung
Die Triage von Patientensicherheitsereignissen (Patient Safety Events, PSE) besteht darin, zu bestimmen, ob ein klinischer Vorfall gemäß spezifischer regulatorischer Richtlinien (z. B. der MN29-Richtlinie aus Minnesota für 29 meldepflichtige unerwünschte Gesundheitsereignisse) meldepflichtig ist. Dies ist eine hochsensible Aufgabe, die Experten erfordert, um Entscheidungen auf Basis rechtlicher Richtlinien zu begründen, fehlende kritische Fakten zu identifizieren und sich der Abgabe einer binären Entscheidung zu entziehen, wenn die Richtlinie mehrdeutig ist. Während Large Language Models (LLMs) Potenzial für die Automatisierung bieten, versagen bestehende Benchmarks bei einer angemessenen Evaluierung dieser Aufgabe. Vorherige Arbeiten konzentrierten sich auf isolierte deskriptive Klassifizierung (z. B. Ereignistyp, Schweregrad) statt auf die komplexe, richtlinienbasierte Argumentation, die für eine Triage erforderlich ist. Darüber hinaus ist die Erstellung zuverlässiger Benchmarks in diesem Bereich schwierig, da eine strikte Treue zur Richtlinie, die Notwendigkeit der mehrstufigen Informationsbeschaffung sowie die Handhabung unreduzierbarer Mehrdeutigkeiten ohne teure nachträgliche menschliche Annotation gefordert sind.

Methodik
Die Autoren schlagen PSEBench vor, einen kontrollierbaren und verifizierbaren Benchmark, der durch eine richtlinienbasierte Methodik im Zentrum von Clause Cards konstruiert wurde.

Konstruktion der Clause Cards:
- Die Kerninnovation ist die „Clause Card“, eine strukturierte Entscheidungsspezifikation, die den regulatorischen Text in auditierbare Variablen zerlegt: Ereignistyp ( $s$ ), Randbedingungen ( $B$ ), Ereigniselemente ( $E$ ), eine Abbildung $\rho$ von Bedingungen auf Elemente, das beabsichtigte Urteil ( $y$ ), die Rechtsgrundlage ( $G$ ) und Instanziierungseinschränkungen ( $\Phi$ ).
- Diese Karten werden über ein LLM-gestütztes Human-in-the-Loop-Protokoll erstellt. LLMs führen eine „loyale Extraktion“ des Richtlinientextes und ein „strukturiertes Entwerfen“ von Kandidatenkarten durch, welche anschließend von menschlichen Experten streng geprüft werden, um sicherzustellen, dass die Randbedingungen notwendig und gemeinsam hinreichend für das Urteil sind.
Kontrollierbare und verifizierbare Generierungspipeline:
- Anker-gesteuerte Instanziierung: De-identifizierte reale Ereignisberichte (vom Japan Council for Quality Health Care) dienen als „Anker-Materialien“, um klinische Realitätstreue und Diversität zu injizieren.
- Phase I (Faktische Instanziierung): Ein LLM instanziiert die Ereigniselemente ( $E$ ) aus dem Anker-Material in einen strukturierten faktischen Datensatz. Ein automatisierter Verifizierer prüft, ob diese Fakten die Randbedingungen ( $B$ ) und Einschränkungen ( $\Phi$ ) der Clause Card erfüllen.
- Phase II (Narrative Verbalisierung): Ein zweites LLM wandelt die verifizierten Fakten in einen freien klinischen Narrativ um.
- Geschlossene Schleife der Verifizierung: Ein Extraktor parst den generierten Narrativ, um die zugrunde liegenden Fakten wiederherzustellen, die anschließend durch einen Narrativ-Verifizierer mit dem ursprünglichen strukturierten Datensatz abgeglichen werden. Dies stellt sicher, dass der Narrativ die beabsichtigten Fakten originalgetreu kodiert, ohne dass ein „stiller Label-Drift“ (Halluzinationen, die das Urteil ändern) auftritt.
Benchmark-Varianten:
- Vollständige Fälle: Alle entscheidungsrelevanten Fakten sind vorhanden.
- Fälle mit fehlenden Informationen: Eine Teilmenge der entscheidungsrelevanten Fakten ( $E'$ ) wird dem Narrativ vorenthalten, was den Agenten dazu zwingt, proaktiv danach zu fragen. Die Grundwahrheit (Ground Truth) verfolgt explizit, welche Felder fehlen.
- Unsichere Fälle (Grauzonen-Fälle): Alle Fakten sind bekannt, aber die Richtlinie schweigt oder ist widersprüchlich, was den Agenten erfordert, zu eskalieren, anstatt ein binäres Urteil zu erzwingen.
Agentische Evaluierungsumgebung:
- Die Evaluierung simuliert eine Interaktion zwischen einem evaluierten LLM ( $A_{eval}$ ) und einem automatisierten Informationsanbieter ( $A_{info}$ ).
- $A_{info}$ fungt als zustandsloser Oracle, der die kanonischen Fakten hält und nur Anfragen beantwortet, die mit den bekannten Fakten übereinstimmen, andernfalls „unbekannt“ deklariert.
- $A_{eval}$ muss entscheiden, wann Fragen gestellt werden sollen (ASK) und wann ein Urteil abgegeben wird (ANSWER).

Wesentliche Beiträge

PSEBench Datensatz: Ein Datensatz von 5.074 Fällen (3.455 vollständige, 1.362 mit fehlenden Informationen, 257 unsichere), basierend auf der MN29-Richtlinie. Jeder Fall enthält eine multidimensionale Grundwahrheit (Urteil, Klausel, Rechtsgrundlage, Randbedingungen und zurückgehaltene Felder), die durch Konstruktion abgeleitet wurde, wodurch eine manuelle Annotation entfällt.
Methodologischer Rahmen: Eine skalierbare, richtlinienbasierte Konstruktionspipeline unter Verwendung von Clause Cards und geschlossener Schleifen-Verifizierung zur Generierung hochgradig treuer, auditierbarer Benchmarks für die regulatorische Triage.
Agentische Evaluierung: Eine Zwei-Rollen-Umgebung, die speziell darauf ausgelegt ist, proaktive Informationsbeschaffung und prinzipiengetreue Abstraktion unter Unsicherheit zu bewerten, wodurch über statische Klassifizierungsmetriken hinausgegangen wird.

Ergebnisse
Die Autoren evaluierten 15 repräsentative LLMs (geschlossene Frontier-Modelle, Open-Source Frontier-Modelle, kleine Modelle und medizinische Fachmodelle).

Urteilsgenauigkeit vs. Agentische Bereitschaft: Während Top-Tier Closed-Source-Modelle (z. B. GPT-5.5, Gemini 3.1 Pro) eine hohe Urteilsgenauigkeit (>90 %) bei vollständigen Fällen erreichten, zeigten sich signifikante Leistungsunterschiede in den interaktiven Verhaltensweisen.
Informationsbeschaffung: Die Modelle zeigten divergente Verhaltensweisen. Einige (z. B. GPT-5.5) identifizierten aktiv fehlende Fakten und stellten gezielte Fragen. Andere (z. B. Llama-3.1-8B) fragten wahllos nach, und medizinische Fachmodelle (z. B. HuatuoGPT-o1) fragten fast nie nach und defaulteten auf „Entscheidung ohne Nachfragen“.
Umgang mit Unsicherheit: Die Fähigkeit, ambivalente Fälle korrekt zu eskalieren, war die am stärksten polarisierte Fähigkeit. Nur die stärksten Modelle (GPT-5.5, Gemini 3.1 Pro) zeigten ein bedeutsames Bewusstsein für Unsicherheit. Die meisten Modelle, einschließlich medizinischer Fachmodelle, zeigten einen „Über-Melde-Bias“ (Over-reporting), indem sie bei unsicheren Fällen ein „Meldepflichtig“-Urteil erzwangen (z. B. routete MedGemma 98,4 % der unsicheren Fälle zu „Meldepflichtig“).
Evidenzbasierte Begründung: Eine hohe Urteilsgenauigkeit maskierte oft Fehler in der Evidenzbegründung; Modelle erraten häufig das korrekte Urteil aus den falschen oder hallucinierten Gründen, wie die niedrigeren Scores in der Evidenzzitierung und den Trefferquoten der Randbedingungen belegen.

Bedeutung und Behauptungen
Das Paper behauptet, dass PSEBench den ersten umfassenden Benchmark für die richtlinienbasierte PSE-Triage bietet, der gemeinsam Urteile, die Begründung der Rechtsgrundlage, die gezielte Informationsbeschaffung und die Erkennung von Unsicherheit evaluiert. Die Ergebnisse legen nahe, dass aktuelle LLMs, selbst Frontier-Modelle, noch nicht bereit für den autonomen Einsatz in der realen Patientensicherheits-Triage sind. Die Lücke zwischen statischer Klassifizierungsleistung und den strengen Anforderungen an interaktive, richtlinienkonforme Argumentation – insbesondere beim Umgang mit fehlenden Informationen und Richtlinienambiguitäten – bleibt substanziell. Die Autoren positionieren PSEBench als skalierbares, verifizierbares Testfeld zur Entwicklung sichererer, richtlinienkonformerer LLM-Anwendungen für klinische Sicherheitsworkflows.

Anerkannte Limitationen
Die Autoren merken an, dass die Anker-Materialien zwar die Realitätstreue verbessern, die Narrative jedoch synthetisch generiert sind und die strukturelle Unordnung roher EHR-Notizen möglicherweise nicht vollständig erfassen. Zudem abstrahiert die Evaluierung die Informationsbeschaffung in ein konversationelles Protokoll, welches nicht testet, ob ein Agent in der Lage ist, in lebenden, unstrukturierten EHR-Systemen zu navigieren. Schließlich ist der Benchmark derzeit auf die MN29-Richtlinie bezogen, obwohl die Konstruktionsmethodik als auf andere regulatorische Rahmenwerke übertragbar behauptet wird.