Technische Samenvatting: Op Weg naar Foutloze Elektronische Gezondheidsdossiers

Probleemstelling

Elektronische Gezondheidsdossiers (EGD's) zijn afhankelijk van de onderlinge afhankelijkheid van twee primaire datamodi: gestructureerde tabellen (bijvoorbeeld vitale tekens, voorschriften, laboratoriumresultaten) en ongestructureerde klinische notities (bijvoorbeeld artsnotities, ontslagrapporten). Hoewel clinici deze bronnen synthetiseren voor besluitvorming, ontstaan er door administratieve systeemarchitecturen en documentatiepraktijken vaak discrepanties. Deze inconsistenties vormen een aanzienlijk risico voor patiëntveiligheid en creëren juridische aansprakelijkheden.

Bestaande geautomatiseerde benaderingen voor het verifiëren van de consistentie tussen notities en tabellen, zoals het eerdere werk EHRCon, vertrouwen voornamelijk op oppervlakkige matching. Deze methoden controleren of specifieke numerieke waarden of discrete gebeurtenissen die in notities worden genoemd, ook in gestructureerde tabellen voorkomen. Ze slagen er echter niet in de redeneringsintensieve aard van real-world klinische documentatie te vangen, die vaak het volgende omvat:

1. Klinische Interpretatie: Notities beschrijven geïnterprebeerde toestanden (bijvoorbeeld "anemie") die vereisen dat wordt geverifieerd of onderliggende metingen (bijvoorbeeld hemoglobineniveaus) voldoen aan specifieke klinische criteria.
2. Gebeurtenisrelaties: Notities beschrijven relaties tussen meerdere gebeurtenissen (bijvoorbeeld een medicijn toegediend vanwege een specifieke lab-trend), wat validatie van gebeurtenisrelaties vereist in plaats van geïsoleerde invoer.
3. Temporele Dynamiek: Notities beschrijven veranderingen in de tijd (bijvoorbeeld "bloeddruk daalde gestaag"), wat de beoordeling van trends en tijdsintervallen vereist in plaats van enkele datapunten.

Het gebrek aan benchmarks en kaders die in staat zijn om deze redeneringsintensieve aspecten te hanteren, beperkt de betrouwbaarheid van geautomatiseerde consistentieverificatie.

Methodologie

1. EHR-ReasonCon: Een Redeneringsintensieve Benchmark

Om de datakloof aan te pakken, introduceren de auteurs EHR-ReasonCon, een hoogwaardige benchmark gebaseerd op de MIMIC-III-dataset.

• Schaal en Samenstelling: De dataset bestaat uit 8.048 geannoteerde entiteiten afgeleid van 105 klinische notities (ontslagrapporten, artsnotities en verpleegkundigennotities) die zijn gekoppeld aan 14 gestructureerde tabellen.
• Annotatieprotocol: Het annotatieproces werd geleid door vier klinische experts en omvatte een rigoureus meerstapsprotocol:
  • Tool-ontwikkeling: Acht gespecialiseerde tools voor tabelverkenning werden ontwikkeld om systematische bewijsopsporing te ondersteunen. Deze tools vallen in drie categorieën: Entiteit-naar-Tabel-item Uitlijning (hantering van lexicale/semantische variaties), Databaseverkenning en Waardenprofielering (begrip van schema en waardenverdelingen), en Temporele en Conditionele Recordopvraging (opvragen van trends en tijdsvensters).
  • Proces: Annotatoren identificeerden ankerentiteiten, gebruikten tools om gestructureerd bewijs op te halen, en voerden redeneringsintensieve verificatie uit die temporele redenering, gezond verstand en medische interpretatie omvatte.
  • Kwaliteitscontrole: Een dubbel-annotatieproces met artsadjudicatie zorgde voor hoge betrouwbaarheid, met scores voor onderlinge overeenstemming van annotatoren van 0,897 voor Named Entity Recognition (NER) en 0,888 voor consistentielabeling.
• Ground Truth: De dataset biedt hoogwaardige labels die onderscheid maken tussen Consistente en Inconsistente entiteiten, met de nadruk op redeneringsintensieve discrepanties (bijvoorbeeld tijdfouten, waardenfouten en ontbrekend bewijs).

2. EHR-INSPECTOR: Een LLM-gebaseerd Kader

De auteurs stellen EHR-INSPECTOR voor, een LLM-gebaseerd kader dat is ontworpen om de menselijke annotatiewerkflow voor consistentieverificatie na te bootsen. Het werkt via vier sequentiële modules:

1. Notitie-segmentatie en Temporele Referentie-extractie: Het kader segmenteert klinische notities in thematisch coherente spannen en lost relatieve temporele uitdrukkingen (bijvoorbeeld "Dag 3 post-operatief") op tot absolute tijdstippen met behulp van globale temporele referenties.
2. Meerstaps LLM-gebaseerde Entiteitsextractie: Om computatieve inefficiëntie door het doorzoeken van de volledige EHR-ontologie (~14.000 items) te voorkomen, hanteert het kader een tweestapsstrategie:
   • Patiëntspecifieke Extractie: Haalt entiteiten op die zijn uitgelijnd met items die al voor de specifieke patiënt zijn geregistreerd.
   • Ontologie-gestuurde Hiërarchische Extractie: Gebruikt een vooraf geconstrueerde hiërarchische ontologie om de zoekruimte voor entiteiten die niet in de specifieke registraties van de patiënt staan, te verkleinen, waarbij eerst relevante hoogwaardige groepen en subgroepen worden geëxtraheerd voordat specifieke items worden geïdentificeerd.
3. Temporele Redenering en Scope-filtering: Entiteiten worden gefilterd om alleen diegenen te behouden die geassocieerd zijn met de huidige ziekenhuisopname (Actief), waarbij historische gegevens en toekomstige plannen worden uitgesloten om valse inconsistentie-alerts te voorkomen.
4. Tool-verrijkte Consistentieverificatie: De LLM communiceert met gestructureerde tabellen via de acht in de benchmark gedefinieerde tools voor tabelverkenning. Om de efficiëntie te verbeteren, bewaart een Validatiecache recent geverifieerde entiteiten en hun bewijs, waardoor gerelateerde entiteiten (bijvoorbeeld "zacht" en "opgezwollen" uit één abdominaal onderzoek) verificatieresultaten kunnen delen en overbodige tooloproepen kunnen vermijden.

3. Evaluatiestrategie

Het kader wordt geëvalueerd met behulp van een LLM-as-a-judge-paradigma, gevalideerd tegen klinische expertoordelen. Er worden twee evaluatiecriteria gebruikt:

• Harsh: Vereist exacte overeenstemming met gouden annotaties.
• Lenient: Aanvaardt klinisch plausibele variaties waar de redenering steekhoudend is, zelfs als de specifieke entiteitsspan of tabeltoewijzing afwijkt van de gouden standaard.

Belangrijkste Resultaten

Prestaties

Geëvalueerd over meerdere modelruggengraten (waaronder Gemini 2.5 Flash, Qwen3 32B, MedGemma 27B en GPT-OSS 20B), bereikt EHR-INSPECTOR consequent state-of-the-art prestaties in vergelijking met de baseline CheckEHR.

• Verbetering: Het kader verbetert zowel recall als precisie aanzienlijk. Bijvoorbeeld, met Gemini 2.5 Flash bereikte EHR-INSPECTOR een Lenient F1-score van 74,75, vergeleken met 67,27 voor CheckEHR.
• Redeneringsvermogen: De prestatiekloof wordt groter bij modellen met sterkere redeneringscapaciteiten, wat suggereert dat het kader effectief gebruik maakt van geavanceerde redenering om complexe consistentiecontroles aan te pakken.
• Generalisatie: EHR-INSPECTOR toont sterke generalisatie, presteert beter dan baselines op de oppervlakkige EHRCon-dataset en behoudt robuuste prestaties op MIMIC-IV en verstoord schema-variaties.

Ablatie en Analyse

• Componentbijdragen: Ablatiestudies bevestigen dat notitie-segmentatie, scope-filtering en de specifieke entiteitsextractiestrategie cruciaal zijn voor de prestaties. Het verwijderen van segmentatie of filtering leidt tot significante dalingen in de F1-score.
• Toolgebruik: Analyse van toolgebruiksporen onthult dat terwijl menselijke annotatoren geoptimaliseerde, conservatieve paden volgen, LLM's de neiging hebben om bredere, meer verspreide paden te verkennen. Interessant genoeg verbeterde het verwijderen van bepaalde "ruimte-reducerende" tools (ontworpen voor beperkingen van het menselijke werkgeheugen) soms de prestaties van LLM's, wat suggereert dat agenten toolsets dynamisch moeten manipuleren.
• Foutanalyse: De meest voorkomende fout bij alle modellen is "Premature Conclusion" (voorbarige conclusie), waarbij modellen de verificatie beëindigen voordat voldoende bewijs is verzameld. Sterkere modellen vertonen minder fouten in de validatiecache, wat wijst op betere tracking van tussenliggende toestanden.

Betekenis en Claims

Het paper claimt dat EHR-ReasonCon en EHR-INSPECTOR een significante stap voorwaarts vertegenwoordigen in het automatiseren van EHR-consistentieverificatie door verder te gaan dan oppervlakkige matching naar redeneringsintensieve verificatie.

• Overbrugging van de Kloof: Het werk adresseert de kritieke kloof tussen de genuanceerde, interpretatieve aard van klinische notities en de rigide structuur van EHR-tabellen, die bestaande methoden niet weten te vangen.
• Betrouwbaarheid: Door expert-gestuurde annotaties en gespecialiseerde tool-verrijkte redenering op te nemen, biedt het kader een betrouwbaarder mechanisme voor het detecteren van discrepanties die patiëntveiligheid in gevaar kunnen brengen.
• Schaalbaarheid: Het gebruik van LLM's met tool-verrijkte workflows biedt een schaalbaar alternatief voor onpraktische handmatige verificatie, dat in staat is complexe temporele en relationele klinische data te verwerken.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van een specifieke dataset (MIMIC-III) die mogelijk niet alle real-world klinische scenario's volledig vertegenwoordigt, en de inherente risico's van modelgedreven bias in LLM-as-a-judge-evaluatie. Zij suggereren dat toekomstig werk zich moet richten op het uitbreiden van data-diversiteit en het integreren van expert-in-the-loop-kaders om de robuustheid verder te versterken.