EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records

Dit artikel introduceert EHRSQL, een nieuw tekst-naar-SQL-benchmark voor elektronische gezondheidsrecords dat is opgebouwd uit vragen van 222 ziekenhuismedewerkers en is ontworpen om modellen te testen op het genereren van SQL-query's, het begrijpen van tijdsuitdrukkingen en het herkennen van niet-beantwoordbare vragen.

De kern

Stel je voor dat een ziekenhuis een gigantische, ingewikkelde bibliotheek is. In deze bibliotheek staan niet alleen boeken, maar miljoenen dossiers met de medische geschiedenis van elke patiënt: welke medicijnen ze kregen, hoe hoog hun koorts was, wanneer ze werden opgenomen en hoeveel het allemaal kostte. Dit noemen we EHR (Elektronische Gezondheidsregistraties).

Het probleem is dat deze bibliotheek zo groot en rommelig is dat alleen de "bibliothecarissen" (de IT-specialisten en artsen) weten hoe ze de juiste dossiers moeten vinden. Als een verpleegkundige of verzekeraar iets wil weten, moeten ze vaak wachten tot iemand een ingewikkelde computercode schrijft om de data op te halen. Dat is als vragen om een boek, maar dan moet je eerst de catalogus in het Latijn leren om te zeggen welke plank je wilt.

EHRSQL is een nieuw project dat dit probleem oplost. Het is als het bouwen van een slimme, praatgrage robot-assistent die direct begrijpt wat je bedoelt, zelfs als je het in gewone taal vraagt.

Hier is hoe het werkt, vertaald in alledaags taal:

1. De Vraag: "Wat willen de mensen eigenlijk weten?"

De onderzoekers gingen niet zomaar zomaar vragen bedenken in een kantoor. Ze gingen naar een universitair ziekenhuis en vroegen aan 222 echte mensen (artsen, verpleegkundigen, verzekeraars): "Wat zijn de vragen die jullie elke dag stellen aan de computer?"

Het resultaat was een enorme lijst met vragen, variërend van simpel tot heel complex:

• Simpel: "Wat is de geboortedatum van patiënt 123?"
• Complex: "Welke vijf diagnoses hebben de laagste overlevingskans na vier jaar?"
• Tijd-gevoelig: "Was de hartslag van deze patiënt gisteren om 12:00 uur lager dan die van vandaag?"

2. De Uitdaging: De "Tijdmachine" en de "Niet-bestaande vragen"

Dit dataset (de verzameling vragen) is uniek omdat het twee moeilijke dingen doet die andere systemen vaak vergeten:

• De Tijdmachine: In de medische wereld is tijd alles. "Vorige maand", "sinds de operatie" of "in 2022" zijn allemaal verschillende manieren om te vragen. EHRSQL leert de computer om deze tijdsraadsels op te lossen, alsof het een tijdmachine is die precies weet naar welke datum je verwijst.
• De "Nee"-knop (Betrouwbaarheid): Stel je vraagt de computer: "Welke medicatie mag ik niet geven tijdens een röntgenfoto?" Als de computer dit niet weet, mag hij niet zomaar een gokje wagen en een verkeerd antwoord geven. Dat zou levensgevaarlijk zijn! EHRSQL bevat ook vragen die niet te beantwoorden zijn met de beschikbare data. Het doel is dat de computer leert om te zeggen: "Ik weet dit niet, vraag het aan een mens," in plaats van een foutief antwoord te geven.

3. De Vertaalkunst: Van Mens naar Machine

De kern van dit project is het vertalen van die menselijke vragen naar SQL. SQL is de taal die computers gebruiken om databases te bevragen. Het is als het vertalen van een verhaal in een boek naar een exacte routebeschrijving voor een robot.

De onderzoekers hebben een enorme verzameling gemaakt van:

1. Een vraag in gewoon Nederlands (of Engels).
2. De perfecte SQL-code die de computer moet uitvoeren om het antwoord te vinden.

Ze hebben dit gedaan voor twee grote, openbare ziekenhuisdatabases (MIMIC-III en eICU), zodat iedereen het kan testen.

4. Waarom is dit belangrijk?

Vroeger waren de tests voor zulke systemen vaak te makkelijk. Ze stelden vragen als: "Hoeveel patiënten zijn er?" (Een simpele teller). Maar in het echte leven zijn vragen veel lastiger: "Hoeveel patiënten van 60+ kregen medicijn X na een diagnose Y, binnen 2 maanden?"

EHRSQL is als een rijbewijstest voor AI in de zorg. Het is niet genoeg om alleen te kunnen rijden op een lege weg (de simpele tests); de auto moet ook kunnen rijden in de regen, met drukke verkeerslichten en onverwachte obstakels (de complexe, tijd-gevoelige en soms onbeantwoorde vragen).

Samenvattend

Dit paper introduceert EHRSQL, een nieuw hulpmiddel om AI-systemen te trainen die kunnen praten met ziekenhuisdatabases. Het zorgt ervoor dat artsen en verpleegkundigen niet meer hoeven te wachten op IT-specialisten, maar gewoon kunnen vragen wat ze nodig hebben, en dat de computer slim genoeg is om te weten wanneer hij het antwoord niet heeft. Het is een grote stap richting een toekomst waar technologie de zorg sneller en veiliger maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records" in het Nederlands.

Probleemstelling

Elektronische Gezondheidsregistraties (EHRs) zijn relationele databases die de volledige medische geschiedenis van patiënten bevatten. Hoewel deze databases een waardevolle kennisbron vormen voor medisch personeel (artsen, verpleegkundigen, verzekeraars), is de toegang tot deze data vaak beperkt. Bestaande systemen vereisen vooraf gedefinieerde regels of gespecialiseerde training om data op te vragen. Dit creëert een knelpunt: niet-technisch personeel kan de volledige potentie van de data niet benutten voor klinische beslissingen.

Bestaande benchmarks voor Text-to-SQL in de gezondheidszorg (zoals MIMICSQL en emrKBQA) blijken ontoereikend voor de praktijk:

1. Ze zijn vaak automatisch gegenereerd met beperkte sjablonen en dekken niet de brede variëteit aan vragen die in een ziekenhuis worden gesteld.
2. Ze missen complexe tijdsafhankelijke vragen, die cruciaal zijn in de zorg.
3. Ze gaan er vaak ten onrechte van uit dat alle vragen beantwoordbaar zijn, wat leidt tot onbetrouwbare systemen die "hallucineren" of onjuiste SQL-query's genereren voor vragen die niet in het schema passen.

Methodologie

De auteurs introduceren EHRSQL, een nieuw, grootschalig Text-to-SQL dataset dat is gebaseerd op de werkelijke behoeften van ziekenhuispersoneel. De opbouw van het dataset omvat de volgende stappen:

1. Dataverzameling (Polling):

   • Er werd een enquête gehouden bij 222 ziekenhuismedewerkers (artsen, verpleegkundigen, verzekeringsteams) van het Konyang University Hospital.
   • Er werden 1.742 uitingen verzameld. Na filtering en templatizatie werden deze omgezet in 230 vraagtemplates (174 beantwoordbaar, 56 niet-beantwoordbaar).
   • De vragen dekken diverse domeinen: demografie, voorschriften, vitale tekens, kosten, overlevingsstatistieken en longitudinale analyses.

2. Tijdssensitiviteit:

   • Een unieke focus ligt op tijdsuitdrukkingen. De auteurs categoriseren tijd in drie filters: global (bijv. "sinds 2020"), within (bijv. "binnen dezelfde ziekenhuisbezoek") en exact (bijv. "laatste meting").
   • Deze worden gecombineerd met uitdrukkingssoorten (absoluut, relatief, gemengd) en eenheden (dag, maand, ziekenhuisbezoek).

3. SQL-annotatie en Database-voorbereiding:

   • De vragen zijn gekoppeld aan twee open-source databases: MIMIC-III en eICU.
   • In tegenstelling tot andere datasets waar JOIN-operaties vaak worden gebruikt, labelden de auteurs de SQL-query's in een geneste structuur (nested queries). Dit is efficiënter voor de enorme tabellen in EHR-databases (bijv. 330 miljoen rijen in MIMIC-III chartevents) en volgt de hiërarchische structuur van de schema's.
   • Een nieuwe "kosten"-tabel werd toegevoegd om administratieve vragen te ondersteunen.
   • De tijd in de databases is verschoven (naar 2100-2105) om relatieve tijdsuitdrukkingen (zoals "gisteren" of "vorige maand") consistent te maken met een "huidige tijd".

4. Onbeantwoordbare Vragen (Trustworthy QA):

   • Een cruciaal onderdeel is de integratie van onbeantwoordbare vragen. Deze ontstaan uit de enquête wanneer een vraag buiten het database-schema valt (bijv. vragen naar externe kennis of onduidelijke vragen).
   • Deze vragen vormen 33% van de validatie- en testsets. Het doel is om modellen te trainen om niet alleen SQL te genereren, maar ook om te herkennen wanneer een vraag niet kan worden beantwoord (Out-of-Domain detectie).

5. Paraphrasing:

   • Om taalkundige diversiteit te vergroten, werden de templates herschreven door mensen en machinelearning-modellen (T5, back-translation), waarna ze werden gefilterd op kwaliteit en betekenisbehoud.

Kernbijdragen

1. EHRSQL Dataset: Het eerste Text-to-SQL dataset voor EHRs dat is afgeleid van echte gebruikersbehoeften in plaats van automatisch gegenereerde sjablonen. Het bevat 24.411 vraag-SQL-paren, verdeeld over twee databases.
2. Vertrouwenswaardige Semantische Parsing: De auteurs definiëren een nieuwe taak: "Trustworthy Semantic Parsing". Een model moet niet alleen de juiste SQL genereren, maar ook een betrouwbaarheidscore berekenen om onbeantwoordbare vragen te weigeren.
3. Tijdcomplexiteit: Het dataset introduceert systematisch complexe tijdsrelaties die realistisch zijn voor de zorgsector, iets wat in bestaande benchmarks ontbreekt.
4. Geneste Query's: De dataset stimuleert het gebruik van geneste SQL-query's in plaats van eenvoudige JOINs, wat beter aansluit bij de prestatie-eisen van grote medische databases.

Resultaten

De auteurs evalueerden het dataset met T5-base modellen (met en zonder schema-serialisatie) en vergeleken ze met state-of-the-art modellen (zoals GAP) die op Spider zijn getraind.

• Prestaties: Modellen presteerden aanzienlijk slechter op EHRSQL dan op Spider of MIMICSQL. Dit komt door de complexiteit van de query's (dieper geneste structuren) en de specifieke tijdsoperatoren.
• Onbeantwoordbare Vragen: De introductie van een drempelwaarde op basis van entropie (onzekerheid) bleek effectief. Een "percentiel-based" drempel (gebaseerd op de verdeling van de validatie-set) leverde de beste resultaten op voor het onderscheiden van beantwoordbare en onbeantwoordbare vragen.
• Cross-Domain Transfer: Zero-shot transfer van modellen getraind op Spider (MIMICSQL) naar EHRSQL faalde grotendeels (slechts ~4.7% correcte uitvoering), wat aantoont dat bestaande modellen niet goed generaliseren naar de specifieke complexiteit van EHR-data.
• Foutanalyse: Veel fouten kwamen voort uit schema-linking (het verkeerd koppelen van woorden aan kolommen) in plaats van het genereren van de SQL-structuur zelf.

Betekenis en Toekomstperspectief

EHRSQL is een mijlpaal in het overbruggen van de kloof tussen academisch Text-to-SQL-onderzoek en de praktische toepassing in de gezondheidszorg.

• Betrouwbaarheid: Door onbeantwoordbare vragen te includeren, dwingt het dataset modellen om "niet te raden", wat essentieel is voor klinische veiligheid.
• Realisme: Het dataset reflecteert de echte complexiteit van ziekenhuisvragen, inclusief tijdsafhankelijkheid en multi-table operaties.
• Toekomst: De auteurs zien potentie voor interactieve QA-systemen, multimodale EHR-datasets en het ontwikkelen van nieuwe modellen die expliciet onzekerheid kunnen kwantificeren.

Samenvattend biedt EHRSQL een robuust testplatform om de volgende generatie AI-systemen voor de gezondheidszorg te ontwikkelen die niet alleen slim, maar ook veilig en betrouwbaar zijn.