Automating Clinical Information Retrieval from Finnish Electronic Health Records Using Large Language Models

Titel: Automatisering van Klinische Informatieopvraging uit Finse Elektronische Gezondheidsdossiers met Grote Taalmodellen

1. Het Probleem

Klinici staan dagelijks voor de uitdaging om specifieke patiëntinformatie te vinden in elektronische gezondheidsdossiers (EHR's). Deze dossiers bevatten vaak jarenlange, heterogene en gefragmenteerde documentatie (radiologie, pathologie, chirurgie, medicatie) die voornamelijk in het Nederlands (in dit geval: het Fins) is geschreven, met ingebedde Engelse en Latijnse medische termen.

• Huidige beperkingen: Het handmatig doorzoeken van deze dossiers is tijdrovend, cognitief belastend en vatbaar voor fouten.
• Tekortkomingen van bestaande systemen: Traditionele zoekopdrachten op trefwoorden missen context en kunnen geen longitudinale redenering uitvoeren (bijv. het verbinden van gebeurtenissen die maanden of jaren uit elkaar liggen).
• Privacy en infrastructuur: Veel bestaande AI-oplossingen vereisen data-transmissie naar externe servers, wat in strijd is met strenge privacywetgeving (zoals de AVG/GDPR) en ziekenhuisbeleid. Er is een behoefte aan lokaal deploybare oplossingen die geen data het ziekenhuis verlaten.

2. Methodologie

De auteurs presenteerden een lokaal deploybaar framework voor Clinical Contextual Question Answering (CCQA). Het doel was het beantwoorden van patiëntspecifieke klinische vragen op basis van volledige, longitudinale EHR's zonder data-exfiltratie.

• Dataset:

  • Gebaseerd op de dossiers van 183 patiënten met borstkanker (screening, diagnose of behandeling) uit het Wellbeing Services County of Pirkanmaa (Finland).
  • De dataset bevatte 1.664 door experts geannoteerde vraag-antwoordparen.
  • De teksten waren voornamelijk in het Fins, met medische terminologie in het Engels en Latijn.
  • De dossiers varieerden in lengte van 408 tot 5.508 woorden (median 1.792 woorden), wat overeenkomt met contextvensters tot 26.739 tokens.

• Modellen:

  • Er werden 16 instructie-gefineerde open-source Large Language Models (LLMs) geëvalueerd, variërend van 4 tot 70 miljard parameters.
  • Categorieën: Algemene modellen (Llama-3, Gemma, Qwen), medisch aangepaste modellen (MedGemma), taalspecialisten (Llama-Poro-2 voor Fins) en redeneringsmodellen (DeepSeek R1).
  • Hardware: Alle experimenten werden uitgevoerd in een offline, beveiligde omgeving met twee NVIDIA A100 GPU's (totaal 160 GB VRAM).

• Evaluatie-protocollen:

  • Vragen: Twee semantisch equivalente formuleringen (V1 en V2) per vraag om robustheid tegen taalvariatie te testen.
  • Taken: Vrije tekstgeneratie en meerkeuzevragen (voor kalibratie-analyse).
  • Baselines: Een regelgebaseerde substring-matching methode.
  • Optimalisatie: Evaluatie van kwantisatie (4-bit en 8-bit) om GPU-geheugeneisen te verlagen.
  • Klinische validatie: Een medisch oncoloog beoordeelde foutieve antwoorden op hun klinische significantie.

3. Belangrijkste Bijdragen

• Eerste benchmark voor Finse EHR's: Dit is een van de eerste studies die generatieve LLMs evalueert voor patiëntspecifieke vragen in een niet-Engelse, complexe klinische omgeving.
• Retrieval-vrije aanpak: In plaats van Retrieval-Augmented Generation (RAG), werd de volledige patiëntgeschiedenis direct aan het model gegeven. Dit test de capaciteit van modellen om context te integreren over lange tijdsperiodes zonder voorafgaande selectie van documenten.
• Privacy-preserving implementatie: Demonstreert dat complexe klinische AI-taken lokaal kunnen worden uitgevoerd binnen institutionele grenzen, wat cruciaal is voor de adoptie in de zorg.
• Uitgebreide validatie: Naast nauwkeurigheid werden ook consistentie, kalibratie (betrouwbaarheid van de voorspelde waarschijnlijkheid), latentie, geheugengebruik en klinische veiligheid geanalyseerd.

4. Resultaten

• Nauwkeurigheid:

  • De beste modellen (Llama-3.1-70B, Llama-3.3-70B, DeepSeek-R1-Distill-Llama-70B en Qwen3-30B-A3B-2507) bereikten een nauwkeurigheid van 94,8% tot 95,3% op de primaire vraagvariant.
  • Het Qwen3-30B-A3B-2507 model (30 miljard parameters) presteerde vergelijkbaar met de beste 70B-modellen, maar vereiste aanzienlijk minder geheugen en had een lagere latentie.
  • De regelgebaseerde baseline scoorde slechts 45,4%, wat aantoont dat contextuele interpretatie noodzakelijk is.

• Consistentie en Robustheid:

  • Top-modellen toonden hoge consistentie (97-98%) tussen semantisch equivalente vragen.
  • Echter, in 0,96% van de gevallen leverde een semantisch equivalente vraag een correct antwoord op terwijl de andere variant een klinisch significante fout opleverde. Dit benadrukt het risico van gevoeligheid voor vraagformulering.

• Klinische Veiligheid:

  • Van de foutieve antwoorden van het beste model (Llama-3.1-70B) bleek 2,9% klinisch significant te zijn (kan diagnose of behandeling beïnvloeden).
  • Dit onderstreept dat hoge algehele nauwkeurigheid niet garandeert dat er geen gevaarlijke fouten zijn.

• Hardware en Kwantisatie:

  • 4-bit kwantisatie bleek zeer effectief: het verlaagde het VRAM-gebruik aanzienlijk (bijv. van ~148 GB naar ~53 GB voor Llama-70B) met slechts een kleine daling in nauwkeurigheid (van 95,3% naar 92,1%).
  • 8-bit kwantisatie leidde bij sommige modellen tot ernstige prestatiedalingen (bijv. Llama-3.1-70B daalde naar 65,1%), wat aantoont dat kwantisatie per modelarchitectuur getest moet worden.
  • Redeneringsmodellen (DeepSeek R1) hadden vaak langere inferentietijden (tot 153 seconden per query), wat minder geschikt is voor snelle klinische workflows.

• Specialisatie:

  • Modellen die specifiek waren aangepast voor de medische domein of de Finse taal (MedGemma, Llama-Poro-2) presteerden niet systematisch beter dan algemene instructie-gefineerde modellen van vergelijkbare grootte.

5. Betekenis en Conclusie

De studie concludeert dat lokaal gehoste, open-source LLMs zeer geschikt zijn om klinisch relevante informatie uit complexe, longitudinale Finse EHR's te halen. Dit biedt een haalbare route voor privacy-bewuste, schaalbare besluitvormingsondersteuning in de zorg.

Kernboodschappen voor implementatie:

1. Geen "Zilveren Kogel": Hoewel de nauwkeurigheid hoog is, komen er nog steeds klinisch significante fouten voor. LLM's moeten worden ingezet als ondersteunend hulpmiddel voor de arts, niet als autonome beslisser.
2. Validatie is cruciaal: Voor klinische inzet is het noodzakelijk om niet alleen naar nauwkeurigheid te kijken, maar ook naar consistentie bij verschillende vraagstellingen, kalibratie van vertrouwen en robuustheid tegen kwantisatie.
3. Hardware-efficiëntie: 4-bit kwantisatie maakt de inzet van grote modellen (tot 70B parameters) mogelijk op ziekenhuisinfrastructuur zonder dat data het pand verlaat.
4. Toekomstige stappen: Prospectieve validatie in echte klinische workflows is nodig om te beoordelen of deze systemen daadwerkelijk de cognitieve last verlagen en de patiëntenzorg verbeteren.

De studie vormt een belangrijke stap in het overbruggen van de kloof tussen theoretische AI-prestaties en praktische, veilige toepassing in de medische zorg, specifiek voor niet-Engelse talen.