CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR

Technische Samenvatting van CliniCARE-Bench: Klinische Gecalibreerde Audit van Medisch Redeneren in EHR

Probleemstelling
Hoewel grote taalmodellen (LLM's) sterke prestaties leveren op benchmarks voor medische kennis, vereist hun inzet in klinische settings capaciteiten die verder gaan dan statische vraagbeantwoording. Realistische klinische taken omvatten vaak retrospectieve onderzoeken van heterogene, longitudinale elektronische gezondheidsakten (EHR). In deze scenario's moeten agenten noodzakelijke bewijslast bepalen, gegevens ophalen en reconciliëren tussen gestructureerde data en vrije tekstnotities, conclusies funderen in verifieerbaar bewijs, en herkennen wanneer een dossier onvoldoende is om tot een definitieve conclusie te komen. Bestaande benchmarks falen vaak in het testen van drie veiligheidskritische capaciteiten: negatief redeneren (bevestigen dat een conditie is uitgesloten), diepe longitudinale synthese over meerjarige dossiers, en gekalibreerde onthouding (het onderscheid maken tussen ontbrekend bewijs en echte medische ambiguïteit). Bovendien evalueren weinig benchmarks de verdedigbaarheid van een adjudicatieproces—of een agent de noodzakelijke bewijslast heeft verzameld, de geldende standaarden heeft toegepast en de vereiste procedures heeft gevolgd—in plaats van alleen de juistheid van het uiteindelijke antwoord.

Methodologie
De auteurs introduceren CliniCARE-Bench, een deployment-georiënteerde benchmark voor retrospectieve klinische audit. Het framework is gebouwd op de volgende componenten:

• Data Substraat: De benchmark maakt gebruik van MIMIC-IV v3.1, MIMIC-IV-Note v2.2 en MIMIC-IV-ED v2.2, die gegevens beslaan van de afdelingen spoedeisende hulp, intensive care en algemene verpleegafdeling van een enkel academisch medisch centrum.
• Scenario Constructie: De suite bestaat uit 25 door clinici geautoriseerde scenario's die 14 medische specialismen en 10 redeneercapaciteiten (bijv. tijdgevoelige protocolaudits, cross-modale validatie, longitudinale synthese) beslaan. Deze scenario's worden geïnstantieerd als 750 patiëntspecifieke gevallen.
• Governed Tool Environment: Agenten opereren binnen een reproduceerbare runtime met beheerde, door clinici verifieerbare tools. Ze hebben geen directe toegang tot ruwe databaseschema's, maar moeten geparametriseerde tools gebruiken om specifieke categorieën gegevens op te halen (notities, labs, vitale functies, etc.), expliciete berekeningen uitvoeren in een gesandboxed shell, en toegang krijgen tot een vaste corpus van geldende beleidsregels (bijv. KDIGO, CMS SEP-1). Elke tool-aanroep wordt gelogd, wat een repliceerbare trace creëert.
• Adjudicatie Framework:
  • Verdicts: Agenten moeten één van vier verdicts teruggeven: Ja, Nee, Indeterminaat: Gebrek aan Data, of Indeterminaat: Medisch Ambigu. De laatste twee maken onderscheid tussen gevallen waar meer bewijs de kwestie zou kunnen oplossen versus gevallen die zelfs na volledige beoordeling deskundige interpretatie vereisen.
  • Referentie Labels: Referentieverdicts worden gegenereerd via een multi-model adjudicatie-ensemble (Claude, Codex, Gemini) en gekalibreerd tegen een geblindeerde review door een Clinical Board.
  • Evaluatiemetrieken: Het framework scoort systemen op meerdere assen buiten de ruwe nauwkeurigheid:
    • Verdict Correctheid: Exacte vier-klasse match.
    • Abstention Behavior (Onthoudingsgedrag): Het meten van over-commitment (definitieve verdicts bij indeterminaat gevallen) en over-abstention (overmatige onthouding).
    • Grounding (Fundering): Citatieprecisie (getrouwheid van geciteerd bewijs) en bewijskracht-dekking (volledigheid van de extractie).
    • Policy Grounding: Of agenten de geldende klinische standaarden correct identificeren, citeren en toepassen.
    • Process Adherence (Procesnaleving): Een gewogen rubric van MUST-DO (vereiste acties) en MUST-NOT (verboden shortcuts) criteria.
    • Defect-Free Accuracy: Een metriek die een verdict alleen krediteert als het correct is en vrij van verboden proces-shortcuts.

Belangrijkste Bijdragen

1. Skill- en Specialty-Spanning Scenario Suite: Een reeks van 25 scenario's geïnstantieerd als 750 gevallen, ontworpen om veiligheidskritisch redeneren onder druk te testen over diverse medische domeinen.
2. Governed, Clinician-Verifiable Tool Environment: Een reproduceerbare executie-oppervlakte die query-engineering artefacten isoleert terwijl de heterogeniteit van de dossiers behouden blijft, waardoor agenten gedwongen worden actief bewijs op te halen en te reconciliëren.
3. Grounded, Process-Aware Evaluation Framework: Een strikt vier-weg verdict systeem gekoppeld aan claim-niveau bewijsvoering, beleidscitatie en een proces-rubric die getrouwe onderzoeksprocedures beloont, in plaats van alleen de uiteindelijke juistheid van het antwoord.
4. Schaalbare Protocol voor Clinician-Calibrated Labeling: Een methode die klinisch gevalideerde specificaties combineert met multi-model adjudicatie en geblindeerde board-kalibratie om betrouwbare referentie-labels te produceren op een schaal die onbereikbaar is door volledige handmatige review.

Experimentele Resultaten
De auteurs evalueerden 16 agentische systemen (10 productiegerichte agent CLIs op vendor-modellen en 6 open-weight modellen op een neutrale harness). Belangrijkste bevindingen zijn:

• Accuracy vs. Process: De ruwe vier-weg nauwkeurigheid varieerde van 65,3% tot 76,1%. Echter, de defect-free accuracy (correcte verdicts zonder procesfouten) lag 4,8 tot 14,8 procentpunten lager. Deze kloof herordende de leaderboard; bijvoorbeeld daalde een systeem met een hoge ruwe nauwkeurigheid aanzienlijk wanneer procesdefecten werden bestraft.
• Abstention Behavior: Alle systemen vertoonden systematisch onder-abstention. De snelheid van over-commitment (het geven van een definitief verdict wanneer de referentie uitstel vereiste) overtrof de snelheid van over-abstention aanzienlijk. Systemen over-committen op 21,3% tot 55,3% van de uitstelgevallen.
• Grounding vs. Accuracy: Er was een dissociatie tussen de nauwkeurigheid van het verdict en de kwaliteit van de fundering. Systemen bereikten vaak correcte verdicts zonder de specifieke bewijslast te citeren die hen rechtvaardigde. Claim-niveau precisie varieerde per harness-familie in plaats van modelcapaciteit, wat suggereert dat de retrieval-scaffold de primaire drijfveer is van de kwaliteit van de grounding.
• Policy Grounding: Hoewel systemen met hoge precisie echte beleidsdocumenten citeerden, lieten ze veel geldende documenten weg (lage recall), waarbij ze slechts een subset van toepasbare standaarden citeerden.
• Betrouwbaarheid: Herhaalde pogingen toonden aan dat systemen vaak "stabiel fout" waren in plaats van willekeurig fout; hoge zelfconsistentie garandeerde geen juistheid, vooral bij indeterminaat gevallen.

Betekenis en Claims
Het artikel beweert dat CliniCARE-Bench de eerste deployment-georiënteerde klinische agent benchmark is die gezamenlijk real longitudinale EHR-onderzoeken, claim-niveau bewijsvoering, het gebruik van geldende beleid en procesnaleving, en gekalibreerde onthouding evalueert binnen een gemeenschappelijk patiënt-niveau adjudicatieframework.

De auteurs stellen dat ruwe nauwkeurigheid de kwaliteit van klinisch onderzoek overschat. Een correct eindantwoord kan een defect onderzoek maskeren (bijv. het gebruik van verboden shortcuts of het missen van bewijs). De benchmark legt de "outcome–process gap" bloot, en laat zien dat voor high-stakes klinische audits de verdedigbaarheid van het onderzoeksproces even cruciaal is als het uiteindelijke verdict. De ontwerpprincipes—governed toolgebruik, expliciete adjudatiecriteria, traceerbaar bewijs, en gekalibreerde onthouding—worden gepresenteerd als een algemeen recept voor auditeerbare agent-omgevingen die ook toepasbaar zijn in andere high-stakes domeinen zoals finance en recht. De benchmark is bedoeld om mens-gesuperviseerde deployment te informeren door niet alleen te meten of een agent een geval kan oplossen, maar ook hoe hij dat doet en of die beslissingen transparant en reproduceerbaar zijn.