Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

Deze studie toont aan dat moderne GPT-modellen, met name de 'mini'-varianten, en hun combinatie met regelgebaseerde systemen via late-fusion, kostenefficiënt en nauwkeurig sociale determinanten van gezondheid uit ongestructureerde medische teksten kunnen extraheren, waarbij ze presteren boven traditionele regelgebaseerde methoden.

De kern

De Schatkaart van de Gezondheid: Hoe AI en Regels de Verborgen Feiten in Medische dossiers Vinden

Stel je voor dat een medisch dossier niet alleen een lijstje met medicijnen en diagnoses is, maar een enorme, rommelige schatkamer. In deze kamer zitten de echte sleutels tot de gezondheid van een patiënt: heeft hij of zij genoeg te eten? Is de huur betaalbaar? Heeft de persoon steun van vrienden of zit hij of zij er alleen voor? Dit noemen we Sociale Determinanten van de Gezondheid (SDoH).

Het probleem is dat deze informatie vaak niet in de nette, gestructureerde vakjes staat, maar verstopt zit in de lange, handgeschreven (of getypte) aantekeningen van artsen. Het is alsof je een schatkaart zoekt in een berg losse krantenknipsels.

De auteurs van dit onderzoek wilden weten: Hoe kunnen we die schatten snel en goed vinden? Ze hebben twee methoden getest, alsof ze twee verschillende detectives sturen op zoektocht.

Detective 1: De Regel-Strakke Agent (Het "Rule-Based" Systeem)

De eerste detective is een agent die werkt met een heel streng boekje met regels.

• Hoe het werkt: Deze agent heeft een lijstje met specifieke woorden. Als hij het woord "werkloos" of "honger" ziet, slaat hij een belletje.
• De kracht: Hij is heel streng. Als hij iets vindt, is hij er bijna 100% zeker van dat het waar is. Hij maakt bijna nooit een fout door iets te verwarren.
• De zwakte: Hij is een beetje dom. Als de arts schrijft "De patiënt heeft geen geld voor eten" in plaats van het woord "honger", ziet deze agent het niet. Hij mist veel waardevolle informatie omdat hij niet kan "denken" of begrijpen wat er bedoeld wordt. Hij kijkt alleen naar de letters, niet naar de betekenis.

Detective 2: De Slimme AI-Detective (De "Grote Taalmodellen" of LLM's)

De tweede detective is een superintelligente AI, een soort digitale Sherlock Holmes die alles gelezen heeft wat er bestaat.

• Hoe het werkt: Deze AI leest de tekst en begrijpt de context. Als hij leest dat iemand "geen geld heeft voor de huur", begrijpt hij direct: "Ah, dit is een huisvestingsprobleem!", zelfs zonder dat het woord "huisvesting" erin staat.
• De kracht: Hij is slim en vindt veel meer schatten. Hij ziet verbanden die de eerste detective mist. Hij kan zelfs begrijpen of iets nu waar is of dat het in het verleden gebeurde.
• De zwakte: Soms is hij te enthousiast. Hij denkt misschien dat er een probleem is waar er geen is, of hij mist een subtiele nuance. Hij is sneller, maar maakt vaker kleine foutjes dan de strenge agent.

De Grote Vergelijking: Wie wint er?

De onderzoekers hebben deze twee detectives laten werken op echte medische aantekeningen van 171 patiënten.

1. De AI wint op het vinden van alles: De slimme AI (vooral de nieuwste versies zoals GPT-5 en o4-mini) vond veel meer sociale problemen dan de strenge agent. Ze waren beter in het begrijpen van de menselijke taal.
2. De strenge agent is goed voor de zekerheid: Waar de strenge agent wel iets vond, was dat bijna altijd correct.
3. De Super-Team Oplossing (De "Late Fusion"): Het allerbeste resultaat kregen ze toen ze de twee detectives samenwerkten lieten!
   • Ze lieten de AI het meeste werk doen.
   • Maar als de strenge agent iets zag dat de AI over het hoofd had gezien, pakten ze dat ook mee.
   • Dit team was slimmer dan de som der delen: ze vonden bijna alles (hoge kans op ontdekking) en maakten heel weinig fouten (hoge zekerheid).

Waarom is dit belangrijk?

Vroeger moesten artsen handmatig bladeren door duizenden pagina's om te zien of een patiënt honger heeft of dakloos is. Dat kost te veel tijd. Met deze nieuwe methode kunnen ziekenhuizen automatisch die informatie uit de dossiers halen.

De analogie van de "Mini-Auto":
De onderzoekers ontdekten ook dat je niet altijd de duurste, grootste auto nodig hebt. Ze gebruikten nieuwe, kleinere modellen van de AI (zoals "mini"-versies). Deze waren net zo slim als de grote modellen, maar veel goedkoper en sneller. Het is alsof je met een sportieve, zuinige elektrische auto dezelfde route rijdt als met een dure limousine, maar dan voor een fractie van de prijs.

Conclusie

Dit onderzoek laat zien dat we niet hoeven te kiezen tussen "streng maar dom" en "slim maar foutgevoelig". Door slimme AI te combineren met simpele regels, kunnen we de verborgen schatten in medische dossiers vinden. Dit helpt artsen om niet alleen te kijken naar de ziekte, maar ook naar het leven van de patiënt, zodat ze beter kunnen helpen.

Kortom: We hebben een nieuwe, slimme manier gevonden om de mens achter de patiënt te zien, zonder dat het de bank breekt.

Technische samenvatting

Probleemstelling

Sociale determinanten van gezondheid (SDG of SDoH) zijn cruciale factoren die gezondheidsuitkomsten beïnvloeden en bijdragen aan gezondheidsverschillen. Hoewel deze informatie vaak wordt opgeslagen in ongestructureerde klinische notities in elektronische gezondheidsdossiers (EHR), wordt ze zelden gedocumenteerd in gestructureerde data (zoals ICD-codes). Dit beperkt de bruikbaarheid van EHR-data voor populatieonderzoek en klinische besluitvorming. Bestaande methoden voor het extraheren van SDG uit tekst hebben twee belangrijke nadelen:

1. Regelgebaseerde systemen (RBS): Zijn interpreteerbaar maar lijden vaak onder lage sensitiviteit (recall) vanwege hun afhankelijkheid van vaste, handmatig ontworpen regels en lexicons.
2. Supervised Machine Learning: Vereist grote hoeveelheden hoogwaardige, handmatig geannoteerde trainingsdata, wat kostbaar en arbeidsintensief is.

Er is een behoefte aan schaalbare, kostenefficiënte methoden die geen uitgebreide fine-tuning vereisen en die een breed scala aan SDG-domeinen (inclusief minder onderzochte gebieden zoals sociale steun en verzekering) kunnen extraheren.

Methodologie

De auteurs ontwikkelden en vergeleken twee benaderingen voor het extraheren van SDG uit ongestructureerde klinische tekst (ontslagrapporten en voortgangsnotities) van het Mass General Brigham (MGB) ziekenhuisstelsel.

1. Dataverzameling en Annotatie:

• Er werd een "gold-standard" corpus samengesteld met 226 tekstsegmenten van 171 patiënten.
• Een hiërarchisch classificatieschema werd ontwikkeld met 7 domeinen (bijv. financiële status, werkgelegenheid, huisvesting, gezondheid, voedselzekerheid, sociale hulpbronnen, fysieke activiteit) en 23 subcategorieën.
• Elke annotatie omvatte ook contextuele attributen (temporeel, ervaringspersoon, hypothetische status, onzekerheid) om positieve gevallen van historische of hypothetische vermeldingen te onderscheiden.

2. Regelgebaseerd Systeem (RBS):

• Gebaseerd op medspaCy.
• Gebruikte een lexicon dat werd ontwikkeld via zaadtermen, UMLS-synoniemen en semantische zoekopdrachten met embedding-modellen (MPNet).
• Het systeem voerde zinsdetectie, entiteit-matching en contextdisambiguatie uit.

3. Large Language Model (LLM) Benadering:

• Zeven OpenAI GPT-modellen werden getest via de Azure OpenAI Service: GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini en o3.
• Zero-shot en Few-shot prompting: De modellen werden getest zonder fine-tuning. Bij few-shot werden voorbeelden gebruikt (makkelijk, moeilijk, synthetisch) met en zonder uitleg.
• Prompting-stijlen: Er werden drie stijlen getest: strikt (alleen expliciete bewijzen), gebalanceerd en liberaal (inclusief impliciete bewijzen).
• Pre-screening: Een keyword-based filter werd gebruikt om kandidaat-tekstsegmenten te selecteren voordat deze naar de LLMs werden gestuurd, om kosten te verlagen.

4. Ensemble-methode (Late Fusion):

• Er werd een hybride aanpak ontwikkeld die de output van het RBS en een "GPT-committee" (meerdere prompting-stijlen) combineerde.
• Voor domeinen werd een late-fusion strategie toegepast (bijv. meerderheidsstemming of unie van outputs).
• Voor subcategorieën werd voornamelijk de geaggregeerde GPT-output gebruikt.

Belangrijkste Resultaten

• Prestatievergelijking:
  • Het RBS behaalde een hoge precisie voor domeinen (0,96), maar een aanzienlijk lagere recall (0,68). Het miste veel nuance en semantische betekenis (bijv. het herkennen van "WIC" als voedselonzekerheid).
  • LLM-modellen presteerden consequent beter in recall en F1-scores dan het RBS.
  • De beste prestaties werden behaald door de nieuwste "reasoning"-modellen. GPT-5 en GPT-5-mini (few-shot) behaalden de hoogste F1-scores voor domeinen (0,89). o4-mini (few-shot) behaalde de beste prestatie voor subcategorieën (F1 = 0,88).
• Ensemble-resultaten:
  • De late-fusion ensemble (RBS + GPT-committee) verbeterde de prestaties op domein-niveau aanzienlijk tot een F1-score van 0,92 (precisie 0,93, recall 0,90).
  • Op subcategorie-niveau leverde de ensemble-methode geen verdere verbetering op ten opzichte van de beste LLM alleen; de strikte prompting van o4-mini bleef hier het beste.
• Efficiëntie:
  • De "mini"-modellen (o4-mini, GPT-5-mini) boden vergelijkbare prestaties als de grotere modellen, maar met aanzienlijk lagere inferentiekosten (tot 82% goedkoper) en lagere latentie.
  • ICD-codes (V en Z codes) vonden in vergelijking met de NLP-methoden veel minder SDG-vermeldingen (slechts 11-14 matches per tijdsvenster versus 194-225 voor de NLP-modellen).
• Foutanalyse:
  • RBS-fouten waren vaak gerelateerd aan het niet herkennen van negaties, temporele context of semantische nuance.
  • LLM-fouten betroffen soms het niet herkennen van impliciete bewijzen (bij strikte prompting) of het overinterpretëren van onvoldoende bewijs.

Bijdragen

1. Uitgebreid Taxonomie: De studie introduceert een fijnmazig classificatiesysteem met 7 domeinen en 23 subcategorieën, inclusief vaak verwaarloosde determinanten zoals sociale hulpbronnen en verzekeringsstatus.
2. Vergelijking van State-of-the-Art: Het is een van de eerste studies die de nieuwste reasoning-capable GPT-modellen (GPT-5, o4-mini) systematisch vergelijkt met een geoptimaliseerd regelgebaseerd systeem voor SDG-extractie.
3. Kostenefficiënt Framework: De studie demonstreert dat een combinatie van keyword-pre-screening en prompting van LLMs (zonder fine-tuning) een kosteneffectieve oplossing biedt die de prestaties van fine-tuned modellen benadert.
4. Ensemble Strategie: Het bewijst dat late-fusion van regelgebaseerde en LLM-methoden de recall en precisie op domein-niveau kan optimaliseren, waardoor de sterke punten van beide benaderingen worden gecombineerd.
5. Open Source: De auteurs hebben de code, prompts en lexicons openbaar gemaakt om replicatie en verdere ontwikkeling te stimuleren.

Betekenis en Toekomstperspectief

Deze studie biedt een bewezen, kostenefficiënt kader om de "verborgen" sociale determinanten in klinische notities te ontsluiten. Dit heeft grote implicaties voor:

• Populatiegezondheid: Het mogelijk maken van grootschalig onderzoek naar gezondheidsverschillen.
• Klinische Besluitvorming: Het verbeteren van risicostratificatie en het personaliseren van zorg door rekening te houden met sociale factoren.
• Beleid: Het ondersteunen van evidence-based beleidsinterventies.

De auteurs benadrukken dat toekomstig werk zich moet richten op validatie in andere zorgsystemen, het verbeteren van contextuele begrijpelijkheid (bijv. duur en type van een sociale situatie) en het integreren van deze data in voorspellende modellen voor klinische uitkomsten, zoals suïcidepreventie.