HypEHR: Hyperbolic Modeling of Electronic Health Records for Efficient Question Answering

Probleemstelling

Vragen beantwoorden op elektronische gezondheidsdossiers (EHR-QA) wordt momenteel vaak aangepakt met pipelines die gebaseerd zijn op Large Language Models (LLM's). Hoewel deze methoden accuraat kunnen zijn, hebben ze drie belangrijke nadelen:

1. Hoge kosten: Ze vereisen enorme rekenkracht en zijn duur om te implementeren.
2. Privacy en deployability: Ze zijn moeilijk te deployen in strikte privacyomgevingen (zoals ziekenhuizen) vanwege de grootte en het gebrek aan lokale controle.
3. Structuur-ignorantie: Ze negeren vaak de sterke hiërarchische structuur van klinische data (zoals ICD-codes en patiënttrajecten) die inherent hiërarchisch is.

Bestaande methoden vallen vaak in twee uitersten: ofwel traditionele representatiemodellen die de hiërarchie niet optimaal benutten, ofwel zware LLM-pipelines die de structuur van de data over het hoofd zien. De kernvraag is of een compact model, dat expliciet is afgestemd op de intrinsieke geometrie van EHR-data, kan concurreren met miljarden-parameter LLM's.

Methodologie: HypEHR

De auteurs stellen HypEHR voor, een compact model dat gebruikmaakt van hyperbolische ruimte (specifiek het Lorentz-model) om de hiërarchische aard van medische data beter te modelleren dan Euclidische ruimte.

1. Hyperbolische Klinische Sequence Encoder (Stage 1: Pre-training)

• Embedding: Medische concepten (diagnosecodes, procedures, medicijnen) worden ingebed in een Lorentz-hyperbolisch manifold ($H^d_L$) in plaats van een Euclidische vectorruimte.
• Visit Aggregatie: Binnen een bezoek worden code-embeddings geaggregeerd via een hyperbolisch attentiemechanisme om een bezoekrepresentatie te krijgen.
• Lorentz Transformer: Een multi-layer Transformer-encoder verwerkt de sequentie van bezoeken, waarbij zelf-attentie, residual connections en normalisatie zijn aangepast aan de Lorentz-manifold. Dit levert contextuele bezoekstaten en een globale samenvatting ($z_{[CLS]}$) op.
• Trainingsdoelen:
  • Next-visit diagnosis prediction: Voorspellen van de volgende diagnose om de representatie te leren.
  • Hiërarchie-bewuste regularisatie ($L_{hier}$): Een verliesfunctie die de ICD-code-hiërarchie (hoofdstukken $\to$ blokken $\to$ categorieën) respecteert. Codes die een gemeenschappelijke voorouder delen, worden dichter bij elkaar in de hyperbolische ruimte gedwongen dan ongerelateerde codes. Dit omvat een radiale term (diepte) en een relatieve term (scheiding).

2. Hyperbolische EHR-QA Model (Stage 2: Vragen beantwoorden)

• Vraag-Encodering: Een natuurlijke taalvraag wordt eerst geëncodeerd door een biomedische taalmodel (bijv. Bio_ClinicalBERT) in een Euclidische vector, en vervolgens geprojecteerd naar de hyperbolische ruimte via een affiene mapping gevolgd door een exponentiële mapping.
• Hyperbolische Cross-Attention: De vraag-representatie ($z_q$) voert cross-attention uit over de patiëntbezoeken ($z_t$). De attentiescores zijn gebaseerd op de negatieve hyperbolische afstand.
• Aggregatie: Een gewogen Frechét-middelpunt (HypAgg) van de bezochte staten wordt berekend om een vraag-geconditioneerde patiëntsamenvatting te vormen.
• Antwoord Heads: Afhankelijk van het type vraag (Booleaans, Concept, Numeriek, Aantal) worden gespecialiseerde "heads" gebruikt die de hyperbolische representaties verwerken om het antwoord te genereren. Deze heads zijn vaak pointer-mechanismen die verwijzen naar specifieke codes of waarden in de data.

Belangrijkste Bijdragen

1. Geometrische Alignement: HypEHR is het eerste framework dat expliciet de hyperbolische geometrie van EHR-data (patiënttrajecten en medische ontologieën) benut voor vraag-antwoordtaken, in plaats van deze te modelleren in Euclidische ruimte.
2. Efficiëntie: Het model is extreem compact (ongeveer 22 miljoen parameters) vergeleken met LLM-pipelines (die vaak biljoenen parameters hebben), waardoor het geschikt is voor lokale, privacy-bewuste implementaties.
3. Pre-training Strategie: Een nieuwe pre-training methode die next-visit diagnosevoorspelling combineert met hiërarchie-bewuste regularisatie, wat zorgt voor representaties die beter overeenkomen met de ICD-ontologie.
4. Type-specifieke Architectuur: Een flexibel ontwerp dat verschillende antwoordtypes (booleaans, concept, numeriek, telling) efficiënt verwerkt via gespecialiseerde heads.

Resultaten

De auteurs evalueren HypEHR op twee benchmarks gebaseerd op MIMIC-IV: EHRXQA en MIMIC-IV-Ext-Instr.

• Vergelijking met LLM's: HypEHR bereikt prestaties die vergelijkbaar zijn met state-of-the-art LLM-methoden (zoals Llemr, EHRAgent en NeuralSQL met GPT-5.2), maar gebruikt daarvoor een fractie van de parameters.
  • Op EHRXQA bereikt HypEHR 89,53% nauwkeurigheid (tegenover 95,97% voor NeuralSQL met GPT-5.2, maar HypEHR is het beste model zonder grote LLM-frameworks).
  • Op MIMIC-Instr bereikt het 76,02% (tegenover 77,53% voor Llemr).
• Klinische Voorspelling: Het model presteert ook uitstekend op standaard klinische voorspellingstaken (heropname, mortaliteit, fenotype), waarbij het vaak de beste resultaten behaalt of vergelijkbaar is met LLM-baselines.
• Ablatie-studie:
  • Pre-training is cruciaal; zonder pre-training daalt de prestatie aanzienlijk.
  • Het hyperbolische model presteert significant beter dan een Euclidisch equivalent (EucEHR) met dezelfde architectuur, wat aantoont dat de hyperbolische geometrie essentieel is voor deze data.
  • De hiërarchie-verliesfunctie ($L_{hier}$) verbetert de structuur van de embeddings, hoewel het minder invloed heeft op de totale nauwkeurigheid dan de pre-training zelf.
• Geometrie-analyse: Visualisaties tonen aan dat in het Lorentz-model de straal van de embedding (afstand tot de oorsprong) monotoon toeneemt met de diepte in de ICD-hiërarchie. Dit bevestigt dat het model de boom-achtige expansie van medische codes correct vastlegt, terwijl Euclidische modellen hierin faalden (ruis en gebrek aan correlatie met diepte).

Betekenis en Conclusie

HypEHR demonstreert dat het benutten van de intrinsieke geometrie van data (in dit geval hyperbolisch voor hiërarchische structuren) een krachtig alternatief kan zijn voor het simpelweg vergroten van modelgrootte met LLM's.

• Praktische impact: Het biedt een route naar nauwkeurige, privacy-bewuste klinische vraag-antwoordsystemen die lokaal kunnen draaien zonder afhankelijk te zijn van externe API's of enorme rekenclusters.
• Wetenschappelijke impact: Het onderstreept dat voor domeinen met sterke hiërarchische structuren (zoals geneeskunde), hyperbolische deep learning superieur kan zijn aan traditionele Euclidische benaderingen, zelfs bij een veel kleiner modelformaat.

Beperkingen: Het model vereist preprocessing om antwoorden te categoriseren in vooraf gedefinieerde types en is momenteel beperkt tot discriminatieve antwoorden (geen open-ended generatieve tekst). Bovendien zijn hyperbolische neurale netwerken computationeel complexer dan Euclidische tegenhangers.