PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

Technische Samenvatting: PSEBench

Probleemstelling
De triage van patiëntveiligheidsgebeurtenissen (Patient Safety Events, PSE) houdt in dat wordt bepaald of een klinisch incident meldingsplichtig is onder specifieke jurisdictionele beleidsregels (bijv. Minnesota's 29 Reportable Adverse Health Events, MN29). Dit is een taak met een hoge inzet die experts vereist om beslissingen te funderen in juridisch beleid, ontbrekende cruciale feiten te identificeren en zich te onthouden van een binaire beslissing wanneer het beleid ambigu is. Hoewel Large Language Models (LLMs) potentieel bieden voor automatisering, schieten bestaande benchmarks tekort in het adequaat evalueren hiervan. Vorig werk richt zich op geïsoleerde beschrijvende classificatie (bijv. type gebeurtenis, ernst) in plaats van de complexe, op beleid gebaseerde redenering die vereist is voor triage. Bovendien is het genereren van betrouwbare benchmarks voor dit domein uitdagend vanwege de noodzaak van strikte beleidsgetrouwheid, de vereiste van meerzaalige informatievergaring en de noodzaak om met inherent ambigue gevallen om te gaan zonder dure post-hoc menselijke annotatie.

Methodologie
De auteurs stellen PSEBench voor, een controleerbare en verifieerbare benchmark die is geconstrueerd via een beleidsgebaseerde methodologie gecentreerd rond clause cards (clausulekaarten).

1. Constructie van Clause Cards:

   • De kerninnovatie is de "clause card", een gestructureerde besnellingsspecificatie die de regelgevende tekst factoriseert in controleerbare variabelen: type gebeurtenis ($s$), randvoorwaarden ($B$), gebeurteniselementen ($E$), een afbeelding $\rho$ van condities naar elementen, het beoogde oordeel ($y$), juridische basis ($G$) en instantiebeperkingen ($\Phi$).
   • Deze kaarten worden gemaakt via een LLM-ondersteund, human-in-the-loop protocol. LLMs voeren "loyale extractie" uit van de beleidstekst en "gestructureerde conceptie" van kandidaat-kaarten, die vervolgens rigoureus worden geaudit door menselijke experts om te waarborgen dat de randvoorwaarden noodzakelijk en gezamenlijk voldoende zijn voor het oordeel.

2. Controleerbare en Verifieerbare Generatiepijplijn:

   • Anchor-Driven Instantiatie: De-geïdentificeerde klinische incidentrapporten uit de echte wereld (afkomstig van de Japan Council for Quality Health Care) dienen als "anker-materiaal" om klinisch realisme en diversiteit te injecteren.
   • Fase I (Factuele Instantiatie): Een LLM instantieert de gebeurteniselementen ($E$) vanuit het anker-materiaal in een gestructureerd feitelijk verslag. Een geautomatiseerde verifieerder controleert of deze feiten voldoen aan de randvoorwaarden ($B$) en beperkingen ($\Phi$) van de clausulekaart.
   • Fase II (Narratieve Verbalisering): Een tweede LLM zet de geverifieerde feiten om in een vrije klinische narratief.
   • Closed-Loop Verificatie: Een Extractor analyseert de gegenereerde narratief om de onderliggende feiten te herstellen, die vervolgens worden gecontroleerd tegen het oorspronkelijke gestructureerde verslag door een Narratieve Verifieerder. Dit zorgt ervoor dat de narratief de beoogde feiten getrouw weergeeft zonder "silent label drift" (hallucinaties die het oordeel veranderen).

3. Benchmark Varianten:

   • Volledige Gegevens (Complete Cases): Alle beslissingskritische feiten zijn aanwezig.
   • Gegevens ontbreken (Missing-Information Cases): Een subset van beslissingskritische feiten ($E'$) wordt achtergehouden in de narratief, wat de agent vereist om er proactief naar te vragen. De grondwaarheid houdt expliciet bij welke velden ontbreken.
   • Onzekere Gegevens (Gray-Zone Cases): Alle feiten zijn bekend, maar het beleid is zwijgzaam of tegenstrijdig, wat de agent vereist om te escaleren in plaats van een binaire conclusie af te dwingen.

4. Agentic Evaluatieomgeving:

   • De evaluatie simuleert een interactie tussen meerdere rondes tussen een geëvalueerde LLM ($A_{eval}$) en een geautomatiseerde Informatieverstrekker ($A_{info}$).
   • $A_{info}$ fungeert als een stateless oracle die de canonieke feiten bezit, en antwoordt alleen op queries die in lijn zijn met de bekende feiten en verklaart "onbekend" in andere gevallen.
   • $A_{eval}$ moet beslissen wanneer er vragen gesteld moeten worden (ASK) en wanneer er een oordeel geveld moet worden (ANSWER).

Belangrijkste Bijdragen

• PSEBench Dataset: Een dataset van 5.074 gevallen (3.455 volledige, 1.362 met ontbrekende informatie, 257 onzekere) gebaseerd op het MN29-beleid. Elk geval bevat meerdimensionale grondwaarheid (oordeel, clausule, juridische basis, randvoorwaarden en achtergehouden velden) afgeleid door constructie, waardoor handmatige annotatie overbodig is.
• Methodologisch Kader: Een schaalbare, beleidsgebaseerde constructiepijplijn met behulp van clause cards en closed-loop verificatie om hoogwaardige, controleerbare benchmarks te genereren voor regelgevende triage.
• Agentic Evaluatie: Een omgeving met twee rollen die specifelijk is ontworpen om proactieve informatievergaring en principiële onthouding onder onzekerheid te beoordelen, bewegend voorbij statische classificatiemetrieken.

Resultaten
De auteurs evalueerden 15 representatieve LLM's (closed-source frontier, open-source frontier, kleine modellen en medische specialisme-modellen).

• Oordeel Accuraatheid vs. Agentic Readiness: Hoewel top-tier closed-source modellen (bijv. GPT-5.5, Gemini 3.1 Pro) een hoge oordeelsnauwkeurigheid (>90%) bereikten op volledige gevallen, ontstonden er significante prestatiekloven in interactieve gedragingen.
• Informatievergaring: Modellen vertoonden uiteenlopende gedragingen. Sommige (bijv. GPT-5.5) identificeerden actief ontbrekende feiten en stelden gerichte vragen. Anderen (bijv. Llama-3.1-8B) vroegen indiscriminaat, en medische specialisme-modellen (bijv. HuatuoGPT-o1) vroegen bijna nooit, waarbij ze standaard kozen voor "commit-without-asking".
• Omgaan met Onzekerheid: Het vermogen om ambigue gevallen correct te escaleren was de meest gepolariseerde capaciteit. Alleen de sterkste modellen (GPT-5.5, Gemini 3.1 Pro) toonden betekenisvol bewustzijn van onzekerheid. De meeste modellen, inclus_medische specialisme-modellen, vertoonden een "over-reporting" bias, waarbij ze onzekere gevallen dwongen tot een "Meldingsplichtig" oordeel (bijv. MedGemma routeerde 98,4% van de onzekere gevallen naar Meldingsplichtig).
• Bewijsgrondslag (Evidence Grounding): Hoge oordeelsnauwkeurigheid maskeerde vaak fouten in de bewijsvoering; modellen gokten vaak het juiste oordeel om de verkeerde of gehallucineerde redenen, zoals blijkt uit lagere scores in bewiscitatie en boundary condition hit rates.

Betekenis en Claims
Het artikel claimt dat PSEBench de eerste uitgebreide benchmark biedt voor beleidsgebaseerde PSE-triage die gezamenlijk oordelen, juridische bewijsvoering, gerichte informatievergaring en onzekerheidsherkenning evalueert. De resultaten suggereren dat huidige LLM's, zelfs frontier-modellen, nog niet klaar zijn voor autonome inzet in de echte wereld van patiëntveiligheidstriage. De kloof tussen statische classificatieprestaties en de rigoureuze eisen van interactieve, beleidsconforme redenering — met name het omgaan met ontbrekende informatie en beleidsambiguïteit — blijft aanzienlijk. De auteurs positioneren PSEBench als een schaalbare, verifieerbare testomgeving om de ontwikkeling van veiligere, meer beleidsconforme LLM-toepassingen voor klinische veiligheidsworkflows te begeleiden.

Erkende Beperkingen
De auteurs merken op dat hoewel het anker-materiaal het realisme verbetert, de narratieven synthetisch gegenereerd zijn en mogelijk niet volledig de structurele wanorde van ruwe EHR-notities vangen. Daarnaast abstraheert de evaluatie informatievergaring naar een conversationeel protocol, wat niet test hoe een agent door live, ongestructureerde EHR-systemen navigeert. Ten slotte is de benchmark momenteel gebaseerd op het MN29-beleid, hoewel de constructiemethodologie als algemeen toepasbaar op andere regelgevende kaders wordt beschreven.