💬 NLP

Retrieval-Augmented Large Language Models for Schema-Constrained Clinical Information Extraction

Dit artikel stelt een modulaire retrieval-augmented generation-pijplijn voor die gebruikmaakt van GPT-5.2 en schema-beperkte prompting om klinische observaties uit transcripties van verpleegkundige-patiëntgesprekken te extraheren en te normaliseren naar een gestructureerd formaat, waarbij een F1-score van 80,36% wordt bereikt en wordt aangetoond dat retrieval-augmentatie en een tweede-pass audit de schema-conformiteit aanzienlijk verbeteren.

Oorspronkelijke auteurs: A H M Rezaul Karim, Ozlem Uzuner

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: A H M Rezaul Karim, Ozlem Uzuner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke verpleegkundige voor die de hele dag met patiënten praat. Deze gesprekken zitten vol belangrijke medische details, maar op dit moment moet een verpleegkundige al die informatie later handmatig intoetsen in een computersysteem. Dit is als proberen een heel filmscript met de hand over te schrijven terwijl de film nog loopt – het is traag, vermoeiend en kost tijd die eigenlijk besteed zou moeten worden aan het helpen van de patiënt.

De MEDIQA-SYNUR-taak is een uitdaging om een robot (een AI) te bouwen die deze gesprekken tussen verpleegkundige en patiënt kan beluisteren en automatisch de belangrijkste feiten in een zeer specifiek, gestructureerd formaat kan vastleggen. Maar er is een addertje onder het gras: het computersysteem waarnaar de AI schrijft, is extreem kieskeurig. Het is als een strenge bibliothecaris die alleen boeken accepteert als ze op het exacte juiste plankje staan, met het exacte juiste etiket, en zonder extra aantekeningen.

Hieronder wordt uitgelegd hoe de onderzoekers van de George Mason University (MasonNLP) hun robot hebben gebouwd om dit probleem op te lossen:

1. De "Spiekbrief"-strategie (Retrieval-Augmented Generation)

In plaats van de AI alleen te vragen het antwoord uit zijn algemene geheugen te "gissen", gaven de onderzoekers hem een Spiekbrief.

De Analogie: Stel je een moeilijk wiskundetoets voor. In plaats van alleen te vertrouwen op wat je hebt gestudeerd, mag je een paar voorbeelden van vergelijkbare problemen en hun oplossingen naast je bekijken.
Hoe het werkt: De AI bekijkt het huidige gesprek, zoekt vergelijkbare eerdere gesprekken uit zijn trainingsdata en gebruikt die voorbeelden om te bepalen hoe de nieuwe informatie correct moet worden opgemaakt. Het onderzoek toonde aan dat het geven van deze "voorbeelden" aan de AI (Retrieval-Augmented Generation, of RAG) deze consequent slimmer en accurater maakte.

2. Het "Menu"-probleem (Schema-beperkingen)

De AI moet kiezen uit een enorm menu van 193 verschillende medische categorieën (zoals "Pijnniveau", "Mobiliteit" of "Misselijkheid").

De Analogie: Stel je vraagt aan een ober: "Wat hebben jullie?" Als je hen een menu geeft met 193 items, kan een kleine, onervaren ober overweldigd raken en het verkeerde bestellen. Maar een zeer ervaren, high-end ober geeft misschien juist de voorkeur aan het zien van het hele menu om de perfecte keuze te maken.
De Ontdekking: De onderzoekers testten twee soorten "obers" (AI-modellen):
- Het kleinere model (Llama-4): Dit model raakte in de war door het volledige menu. Het werkte veel beter wanneer de onderzoekers hem een Gereduceerd Menu gaven – een ingekorte lijst met alleen de meest waarschijnlijke opties. Dit hielp hem zich te focussen en fouten te voorkomen.
- Het grotere model (GPT-5.2): Dit "super-slimme" model presteerde juist slechter met het ingekorte menu. Het had het Volledige Menu nodig om de nuances te begrijpen en de beste beslissingen te nemen.
- De Les: Je kunt niet hetzelfde "menu" gebruiken voor elke AI. Je moet de regels afstemmen op het specifieke brein dat je gebruikt.

3. Het "Tweede Oordeel" (Tweede-pass audit)

Zelfs de beste AI maakt kleine fouten, zoals het schrijven van "3" in plaats van "03" of het kiezen van een waarde die niet op de goedgekeurde lijst staat.

De Analogie: Denk hierbij aan een leraar die een toets nakijkt. De eerste pass is de student die de toets maakt. De tweede pass is de leraar die de antwoorden controleert, diegene doorhaalt die niet aan de regels voldoen, en de opmaak corrigeert.
Het Resultaat: Deze "Tweede-pass audit" herschreef de antwoorden niet volledig, maar maakte de kleine fouten schoon, wat het systeem een licht maar nuttig impuls gaf in nauwkeurigheid.

De Eindscore

Door deze drie ingrediënten te combineren – het gebruik van voorbeelden (RAG), het geven van het juiste menuformaat (Schema) en het toevoegen van een laatste controle (Audit) – bouwde het team een systeem dat een score van 80,36% behaalde op de uitdaging.

Samenvattend:
Het artikel bewijst dat je om rommelige verpleegkundige-gesprekken om te zetten in schone, gestructureerde data, niet alleen kunt vertrouwen op een slimme AI. Je moet:

Eerst vergelijkbare voorbeelden tonen.
Een lijst met opties geven die past bij het intelligentieniveau (korte lijst voor kleinere hersenen, volledige lijst voor grote hersenen).
Een tweede paar ogen laten kijken naar het werk op opmaakfouten.

Deze aanpak helpt de "documentatielast" (de hoofdpijn van het papierwerk) voor verpleegkundigen te verminderen door het vertalen van hun spraak naar de strenge computertaal die ziekenhuizen nodig hebben, te automatiseren.

Technische Samenvatting: MasonNLP bij MEDIQA-SYNUR 2026

Probleemdefinitie

Het artikel behandelt de uitdaging om transcripties van gesprekken tussen verpleegkundigen en patiënten om te zetten in gestructureerde, aan een schema adherente klinische observaties. Hoewel klinische documentatie essentieel is voor de continuïteit van zorg, legt het een aanzienlijke last op op klinici, die substantiële tijd besteden aan taken voor elektronische gezondheidsdossiers (EHR) in plaats van directe patiëntenzorg. De specifieke taak, MEDIQA-SYNUR, vereist dat systemen klinisch relevante observaties uit transcripties extraheren en normaliseren naar een vooraf gedefinieerd schema van 193 observatieconcepten. Dit schema omvat strikte waarde-type beperkingen (numeriek, string, enkel-select, meer-select) en opgesomde geldigheidsvereisten voor categorische waarden. De moeilijkheid ligt in de grote, heterogene outputruimte en de noodzaak voor het model om te voorkomen dat het conceptnamen hallucineert of typebeperkingen schendt, wat veelvoorkomende faalmodi zijn bij grote taalmodellen (LLM's) onder strikte schemacondities.

Methodologie

De auteurs stellen een modulaire, retrieval-versterkte generatie (RAG) pijplijn voor die ontworpen is om LLM-outputs te conditioneren op zowel opgehaalde voorbeelden als schema-beperkingen. Het systeem bestaat uit de volgende componenten:

Retrieval-corpus en Kennisbank:
- De trainingsset dient als het enige retrieval-corpus.
- Elke trainingsinstantie wordt weergegeven door twee tekstuele weergaven: het originele transcript en een "concept-naam samenvatting" afgeleid door gouden-label concept-ID's te mappen naar hun schemanamen.
- Embeddings worden gegenereerd met Sentence-Transformers all-MiniLM-L6-v2 voor de Llama-4 backbone en OpenAI text-embedding-3-large voor de GPT-5.2 backbone.
Exemplar Retrieval (RAG):
- Een kandidatenpool wordt opgehaald via cosinusgelijkenis op transcript-embeddings.
- De pool wordt opnieuw gerangschikt met een gewogen score die transcriptgelijkenis ( $w_t=0,70$ ), concept-naam samenvattingsgelijkenis ( $w_c=0,25$ ) en lexicale overlap via Jaccard-gelijkenis ( $w_l=0,05$ ) combineert.
- De top- $k$ exemplaren (variërende $k \in \{3, 5, 10, 20, 30, 50\}$ ) worden in de prompt ingevoegd als few-shot demonstraties, waarbij het exemplaartranscript wordt gekoppeld aan zijn gouden-label JSON-uitvoer.
Schema-beperkingen:
De studie vergelijkt twee promptstrategieën voor het conditioneren van de LLM op het schema $S$ :
- Volledig Schema Prompting: Het model ontvangt de volledige lijst van 193 concepten, inclusief identificatoren, namen, waarden-types en toelaatbare categorische waarden.
- Gepreindeerde Kandidaat Schema Prompting: Een per-instantie kandidatenset $C(x)$ wordt geconstrueerd door concepten te scoren op basis van lexicale matches met het transcript, semantische gelijkenis met conceptnamen, en retrieval-uitbreiding (het toevoegen van concepten gevonden in opgehaalde exemplaren). Dit beperkt de outputruimte tot een compacte subset van relevante concepten.
Inferentie en Nabewerking:
- De LLM wordt geïnstrueerd om alleen een JSON-lijst van (id, v)-paren uit te voeren.
- Deterministische Uitbreiding: Om hallucinaties van namen of types te voorkomen, verwerkt het systeem de uitvoer na door de canonieke name en value_type op te zoeken voor elke voorspelde id uit het schema.
- Schema-validatie: Voorspellingen worden gevalideerd tegen het schema; onbekende ID's worden verwijderd en waarden worden genormaliseerd (bijvoorbeeld het converteren van numerieke strings naar floats, het afdwingen van opgesomde lijsten voor categorische types).
Tweede-Pas Audit:
Een verfijningsfase waarin een auditor-LLM het originele transcript, het schema en de eerste-pas voorspelling beoordeelt. Het wordt geïnstrueerd om niet-ondersteunde items te verwijderen, schema-adherentieproblemen te corrigeren en alleen duidelijk ondersteunde ontbrekende observaties toe te voegen.

De pijplijn werd geëvalueerd met twee LLM-backbones: Llama-4-Scout-17B-16E-Instruct (open-weight) en GPT-5.2 (closed-weight).

Belangrijkste Resultaten

De experimenten, samengevat in Tabel 2 van het artikel, leveren de volgende prestatie-indicatoren op (F1-scores):

Beste Configuratie: De hoogste prestatie werd bereikt met GPT-5.2 met Volledig Schema prompting, RAG (met $k=30$ exemplaren) en Tweede-Pas Audit, wat resulteerde in een F1-score van 80,36%.
Invloed van RAG: Retrieval-versterking verbeterde de prestaties consistent voor beide modellen en schema-configuraties door false negatives te verminderen en de verwachte JSON-structuur en waarden-normalisatie te versterken.
Schema-interactie:
- Llama-4 (Open-weight): Presteerde het beste met het Gepreindeerde Kandidaat Schema (F1 73,20% met RAG). Het verkleinen van de outputruimte hielp het kleinere model om zich te houden aan beperkingen en zich te focussen op relevante concepten.
- GPT-5.2 (Closed-weight): Presteerde het beste met het Volledige Schema (F1 80,27% met RAG). Het grotere model profiteerde van de volledige context om gerelateerde concepten te ontwarren, terwijl preining leidde tot een daling in precisie (een "checklist-achtige bias" die over-extractie aanmoedigde).
Tweede-Pas Audit: Leverde bescheiden extra winsten op (bijvoorbeeld +0,09 F1 voor GPT-5.2), voornamelijk door residuale schema-adherentie- en normalisatiefouten te corrigeren in plaats van extractiedekking significant te wijzigen.

Foutanalyse

De foutanalyse (Tabel 3 en 4) onthult dat de meeste fouten geen near-miss waarde-afwijkingen zijn, maar eerder:

False Positives (608 instanties): 81,9% waren spurious conceptvoorspellingen (ID's die niet in de ground truth zaten). Veelvoorkomende over-gevoorspelde concepten waren "Secundaire diagnose" en "Patiëntidentificatie", die klinisch plausibel waren maar zelden geannoteerd in de gouden standaard.
False Negatives (485 instanties): 78,8% waren volledig gemiste concepten.
Systematische Problemen: Een aanzienlijk deel van de fouten kwam voort uit mismatches op representatieniveau, zoals leidende nullen in concept-ID's (bijvoorbeeld "03" versus "3") en coderingsverschillen in categorische tokens (bijvoorbeeld temperatuureenheden). Deze kwesties benadrukken de broosheid van strikte stringmatching in heterogene schema's.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen aan het veld van Klinische Informatie-extractie (IE):

Model-bewuste Schema-beperking: De studie toont aan dat de optimale strategie voor het beperken van LLM-outputs niet universeel is, maar afhankelijk is van de schaal en architectuur van het model. Gepreindeerde kandidaat-schema's zijn voordelig voor kleinere open-weight modellen om de beslissingsruimte te verminderen, terwijl grotere closed-weight modellen profiteren van volledige schema-context om hun redeneervermogen te benutten.
RAG en Schema-interactie: Het werk biedt systematisch bewijs dat Retrieval-Augmented Generation de schema-beperkte extractie consistent verbetert, maar dat de effectiviteit wordt gemoduleerd door hoe het schema aan het model wordt gepresenteerd.
Verfijning versus Kerncomponent: De auteurs tonen aan dat tweede-pas audit bescheiden verbeteringen oplevert door residuale normalisatiefouten te fixeren, maar niet de kernmechanismen van RAG en schema-beperkingen vervangt. Het wordt het beste gebruikt als een laatste verfijningsfase.

Over het algemeen suggereren de bevindingen dat effectieve schema-beperkte observatie-extractie een strategie vereist die retrieval- en schema-beperkingbenaderingen gezamenlijk selecteert, afgestemd op de specifieke capaciteiten van de onderliggende LLM.