A Generative Approach for Semantic Auditing of Electronic Health Records

Technische Samenvatting: Een Generatieve Aanpak voor Semantische Audit van Elektronische Gezondheidsdossiers

Probleemstelling
De betrouwbaarheid van klinische kunstmatige intelligentie (AI) is fundamenteel afhankelijk van data van hoge kwaliteit. Elektronische Gezondheidsdossiers (EHR's) vertonen echter vaak inconsistenties met bestaande wetenschappelijke kennis. Huidige methoden voor kwaliteitsbeoordeling zijn beperkt in omvang: ze richten zich voornamelijk op syntactische volledigheid (bijvoorbeeld het waarborgen dat velden niet null zijn of correct zijn opgemaakt) of vertrouwen op arbeidsintensieve, handmatig samengestelde regels om semantische nuances vast te leggen. Deze handmatige benaderingen schalen niet mee met de complexiteit van medische data en slagen er vaak niet in "Semantische Kieren" te detecteren—situaties waarin data syntactisch geldig is maar epidemiologisch onwaarschijnlijk. Bovendien negeren bestaande tools vaak contextuele factoren zoals specifieke populaties, geografieën en tijdsperiodes, wat leidt tot het fenomeen "Zuiver in - Vuil uit", waarbij slechte datakwaliteit downstream onderzoek en de validiteit van klinische modellen ondermijnt.

Methodologie: Medische Data Pecking
Om deze schaalbaarheids- en semantische beperkingen aan te pakken, stellen de auteurs Medische Data Pecking voor, een methodologie die principes van unit-testen uit de software-engineering aanpast voor medische datavalidatie. De kerninnovatie is de introductie van Semantische Data Dekking, die Large Language Models (LLM's) gebruikt om contextbewuste tests te genereren die "pecken" naar inconsistenties tussen waargenomen data en epidemiologisch bewijs.

Het framework, geïmplementeerd als de Medische Data Pecking Tool (MDPT), werkt via een ontkoppelde architectuur om gegevensprivacy en -beveiliging te waarborgen:

1. Generatiemodule: Werkt op studiespecificaties en datadictio's (metadata) zonder toegang tot ruwe patiëntdata. Het gebruikt een LLM om klinische intenties af te beelden op lokale databaseschema's.
2. Retrieval-Augmented Generation (RAG): Het systeem hanteert een tweestapsproces voor testsynthese:
   • Contextuele Parameterextractie: Het systeem identificeert relevante medische concepten en brengt ze in lijn met standaardvocabulaires (bijvoorbeeld OMOP, ICD-9, SNOMED) met behulp van vectorzoekopdrachten.
   • Automatische Grounding: Het haalt epidemiologische statistieken op via webzoekopdrachten (Bing API), met prioriteit voor bronnen met hoge autoriteit (bijvoorbeeld CDC, NIH).
3. Auditor Agent (Dubbele-Pass Verificatie): Om LLM-hallucinaties te mitigeren, voert een secundaire "Auditor Agent" een onafhankelijke, gerichte zoekopdracht uit om de statistieken die in de initiële testmatrix worden voorgesteld, te verifiëren. Deze agent corrigeert discrepanties of verwijdert niet-onderbouwde claims voordat de definitieve testgeneratie plaatsvindt.
4. Testtoepassingsmodule: Bevindt zich binnen de beveiligde omgeving van de gebruiker en voert de gegenereerde testset uit tegen ruwe patiëntdata.

Het framework definieert een hiërarchische taxonomie van Semantische Unit-tests:

• Syntactisch Niveau (Metadata): Verifieert structurele integriteit (aanwezigheid van velden, gegevenstypen).
• Distributieel Semantisch Niveau: Valideert dat populatiemetrics overeenkomen met theoretische of literatuurbaselines (bijvoorbeeld verwachte prevalentiebereiken).
• Contextueel Semantisch Niveau (Subpopulatie): Analyseert intra-groeps patronen (bijvoorbeeld comorbiditeitspercentages binnen specifieke demografieën) om contextspecifieke vertekeningen te detecteren die onzichtbaar zijn voor geaggregeerde analyse.

Statistische validatie hanteert drie criteria: Welch's t-toets voor distributieve equivalentie, Gestandaardiseerd Gemiddeld Verschil (SMD) voor de omvang van het verschil, en Proportionele Tolerantie (15% marge) voor categorische prevalentie.

Belangrijkste Bijdragen

• Generatieve Semantische Audit: Het paper introduceert een schaalbaar framework dat de creatie van semantische unit-tests automatiseert die zijn toegespitst op specifieke cohorten en datasets, en zo voorbijgaat aan statische regelbibliotheken.
• Identificatie van Semantische Kieren: De methodologie slaagt erin discrepanties te identificeren waar data syntactische controles doorstaat maar epidemiologische plausibiliteitscontroles faalt.
• Referentie-implementatie (MDPT): Een werkend hulpmiddel dat een RAG-architectuur gebruikt om medische literatuur om te zetten in uitvoerbare code, met een zelfcorrigerende "Auditor Agent" om de grounding-accuraatheid te verbeteren.
• Taxonomie van Validatie op Drie Niveaus: Een gestructureerde aanpak die onderscheid maakt tussen metadata, distributieel en contextueel semantisch niveau.

Resultaten
De auteurs evalueerden MDPT over vier klinische cohorten: Type 2 Diabetes (T2D) en Chronische Nierziekte (CKD) in de All of Us (AoU)-dataset, Hypertensie (HTN) in SyntheticMass, en Congestief Hartfalen (CHF) in MIMIC-III.

• Testgeneratie: Het framework genereerde autonoom tussen de 55 en 73 unit-tests per cohort. De Auditor Agent corrigeerde ongeveer 39–55% van de initiële tests om ze te laten overeenkomen met klinische referenties, en verwierp slechts 2–10%.
• Referentievaliditeit: De validiteit van uit literatuur afgeleide verwachte waarden varieerde van 35% tot 93% over de cohorten. Bij uitsluiting van tests voor medicijnprevalentie (die lijden onder data-schaarste) steeg de validiteit naar 39–98%.
• Semantische Divergentie: Het framework identificeerde aanzienlijke divergentie in alle datasets. In cohorten waar tests als "correct" werden geverifieerd (geground in betrouwbaar bewijs), waren de faalpercentages hoog: 87,1% voor CHF, 97,3% voor T2D, en 100% voor HTN en CKD. Dit geeft aan dat syntactisch geldige data vaak niet overeenkomt met epidemiologische priors van de algemene populatie.
• Detectie van Vertekening: Als positieve controle merkte MDPT correct demografische anomalieën op in de AoU-dataset (bijvoorbeeld een oververtegenwoordiging van vrouwen) zonder handmatige configuratie.
• Opmaakfouten: In het MIMIC-III CHF-cohort detecteerde het systeem een systematisch opmaakprobleem (weglating van decimale punten in ICD-9-codes) waardoor geldige data semantisch onzichtbaar werd voor standaard fenotype-algoritmen, wat leidde tot een daling van de waargenomen prevalentie tot bijna nul.
• Sensitiviteitsanalyse: Faalpercentages bleken gevoeliger te zijn voor drempelwaarden voor proportionele tolerantie dan voor SMD-cutoffs.

Betekenis en Claims
Het paper positioneert Medische Data Pecking als een noodzakelijke evolutie in kwaliteitsborging van data, met een verschuiving van handmatige, context-agnostische regels naar generatieve, context-sensitieve verificatie. De auteurs claimen dat:

1. Syntactische volledigheid onvoldoende is: Data kan structureel perfect zijn maar semantisch onwaarschijnlijk; verificatie tegen externe bewijslast is vereist om klinisch relevante mismatches aan het licht te brengen.
2. Schaalbaarheid: De generatieve aanpak overwint de schaalbaarheidsbarrières van handmatige regedefinitie, waardoor geautomatiseerde semantische audit voor diverse datasets mogelijk wordt.
3. Onderscheid tussen Fout en Vertekening: Hoge faalpercentages impliceren niet noodzakelijk corrupte data; eerder kwantificeren ze de afstand tussen een specifiek studiekohort (bijvoorbeeld ICU-patiënten) en baselines van de algemene populatie. Dit helpt onderzoekers onderscheid te maken tussen technische datafouten (bijvoorbeeld opmaakproblemen) en geldige effecten van cohortselectie.
4. Operationalisering van Beleid: Het framework biedt een mechanisme om beleidsaanbevelingen op hoog niveau met betrekking tot datakwaliteit en algoritmische vertekening om te zetten in uitvoerbare code, waarmee het probleem "Zuiver in - Vuil uit" in medische AI wordt aangepakt.

De auteurs blijven bescheiden wat betreft beperkingen en erkennen dat de afhankelijkheid van priors van de algemene populatie een "omgekeerde ecologische drogreden" kan introduceren, waarbij geldige klinische divergenties in gespecialiseerde cohorten worden gemarkeerd als fouten. Zij merken ook op dat de huidige implementatie vertrouwen stelt op algemene benchmarks, en dat toekomstige iteraties lokale baselines van gezondheidssystemen kunnen integreren om te dienen als ground truth. Het werk concludeert dat testen, hoewel het de aanwezigheid van bugs kan aantonen, hun afwezigheid niet kan bewijzen, maar wel een kritiek initieel framework biedt voor schaalbare semantische audit.