Representation Before Retrieval: Structured Patient Artifacts Reduce Hallucination in Clinical AI Systems

Dit onderzoek toont aan dat in plaats van hallucinaties te verminderen, traditionele retrieval-augmented generation (RAG) deze in klinische contexten juist verhoogt, terwijl het gebruik van gestructureerde patiëntartefacten met expliciete herkomstvermelding een effectievere aanpak biedt om de betrouwbaarheid en veiligheid van AI-gestuurde medische beslissingen te waarborgen.

De kern

Stel je voor dat een Grote Medische Expert (een kunstmatige intelligentie) een patiënt moet behandelen. Het probleem is dat deze expert soms erg slim klinkt, maar feiten verzonnen die er nooit zijn geweest. In de medische wereld noemen we dit "hallucineren", maar voor de patiënt betekent het gewoon: gevaarlijke onzin.

Deze paper onderzoekt hoe we deze expert kunnen helpen om niet meer te verzinnen. Hier is de uitleg, vertaald naar alledaags taal en met een paar verhelderende vergelijkingen.

1. Het Grote Misverstand: "Meer boeken = Beter antwoord"

Vroeger dachten veel mensen: "Als we de AI toegang geven tot alle medische dossiers van de patiënt (zoals een enorme bibliotheek), dan zal hij de juiste antwoorden vinden en niet meer verzinnen." Dit heet Retrieval-Augmented Generation (RAG).

Wat de onderzoekers ontdekten:
Het tegendeel was waar! Toen ze de AI gewoon een berg ongestructureerde medische teksten gaven, ging hij veel meer verzinnen.

• De analogie: Stel je voor dat je een student vraagt een verslag te schrijven over een patiënt, maar je geeft hem een stapel van 500 losse krantenknipsels, handgeschreven briefjes en rommelige notities. De student raakt in de war, leest de verkeerde stukjes door elkaar en begint feiten te verzinnen om het verhaal "logisch" te laten klinken.
• Het resultaat: De fouten kwamen niet 1 keer per 20 keer voor, maar 1 keer per 2 keer! De AI werd juist onzekerder en onbetrouwbaarder.

2. De Oplossing: De "Gepolijste Dossiermap"

In plaats van de AI de hele rommelige bibliotheek te geven, maakten de onderzoekers eerst een strakke, gestructureerde samenvatting van de patiëntgegevens. Ze haalden de belangrijkste feiten (bloedwaarden, röntgenfoto's, medicijnen) uit de rommel en zetten ze in een duidelijk overzicht, met een labeltje waar het vandaan komt (provenance).

• De analogie: In plaats van de student de stapel kranten te geven, geef je hem nu een perfecte, geordende dossiermap. Alles staat in een tabelletje, met duidelijke kopjes en een verwijzing naar de originele bron.
• Het resultaat: Met deze "dossiermap" maakte de AI veel minder fouten. Het was alsof de student plotseling veel scherper kon nadenken omdat hij niet hoefde te zoeken in de rommel.

3. De Meesterplan: De "Controleur"

De allerbeste methode was een combinatie van die dossiermap én een tweede paar ogen.
De AI schreef het antwoord, en een tweede AI (of een "agent") keek het direct na: "Heeft hij dit echt in de dossiermap staan? Is dit veilig? Zijn er gevaarlijke medicijninteracties?"

• De analogie: Het is alsof je een chef-kok hebt die het gerecht maakt (de AI), maar er is ook een kwaliteitscontroleur die elke schotel inspecteert voordat hij de klant wordt geserveerd. Als de chef een fout maakt, wordt het gerecht teruggestuurd.
• Het resultaat: Dit systeem maakte de minste fouten en was het veiligst voor de patiënt.

De Belangrijkste Les

De kernboodschap van dit onderzoek is verrassend:
Het is niet genoeg om de AI gewoon "meer informatie" te geven. Als die informatie rommelig is, wordt de AI juist dommer en gevaarlijker.

• De metafoor: Het gaat niet om hoeveel informatie je hebt, maar om hoe je die informatie presenteert.
  • Een rommelige berg papier (ruwe data) leidt tot verwarring en leugens.
  • Een strakke, geordende dossiermap (gestructureerde data) leidt tot waarheid en veiligheid.

Kortom: Om een AI veilig te maken voor ziekenhuizen, moeten we eerst de data netjes op orde maken voordat we de AI er zelfs maar bij laten. De kwaliteit van de "voorraad" bepaalt hoe goed de "kok" kan koken.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) tonen veelbelovende resultaten voor klinische besluitvorming, maar hun neiging tot hallucinaties (het genereren van plausible maar niet-onderbouwde beweringen) vormt een aanzienlijk risico voor de patiëntveiligheid. Hoewel Retrieval-Augmented Generation (RAG) algemeen wordt aangenomen als de oplossing om outputs te verankeren in gearchiveerde documenten, is deze aanname onvoldoende getest in klinische contexten. Deze contexten worden gekenmerkt door een unieke combinatie van hoge informatiedichtheid, temporele complexiteit en hoge veiligheidsrisico's. De kernvraag is of standaard RAG daadwerkelijk hallucinaties vermindert of juist verergert in deze specifieke omgeving.

Methodologie

De auteurs ontwikkelden een systeem dat heterogene patiëntdata (elektronische gezondheidsdossiers, draagbare apparaten, genomics en beeldvormingsrapporten) omzet in gestructureerde, machineleesbare artefacten met expliciete provenance-tracking (herkomstregistratie) over zeven klinische domeinen.

De evaluatie vond plaats met 100 synthetische patiëntvignetten, getest met 3 verschillende random seeds, wat resulteerde in een totaal van 1.200 evaluaties (300 per conditie). Vier experimentele condities werden vergeleken:

1. C0 (Baseline): Standaard LLM zonder externe data.
2. C1 (Standaard RAG): RAG over ruwe klinische teksten.
3. C2 (Gestructureerde Artefacten): Artefact-augmentatie met single-pass generatie.
4. C3 (Agent Workflow): Artefact-augmentatie met een multi-stap agent workflow inclusief verificatie.

De prestaties werden gemeten aan de hand van:

• Percentage niet-onderbouwde claims (hallucinaties).
• Feitelijke nauwkeurigheid en temporele consistentie.
• Detectie van contra-indicaties.
• Klinische veiligheidsmetrieken (geadjudiceerd door artsen en beoordeeld door GPT-4o-mini).

Belangrijkste Resultaten

De resultaten weerleggen de heersende aanname over RAG in de kliniek:

• RAG verhoogde hallucinaties: In tegenstelling tot wat verwacht werd, leidde standaard RAG (C1) tot een significante toename van hallucinaties. Het percentage niet-onderbouwde claims steeg van 5,0% bij de baseline naar 43,6% bij RAG. Dit is een 8,7-voudige toename (p < 0,001, Cohen's d = 2,31).
• Gestructureerde representatie werkt: Het gebruik van gestructureerde artefacten (C2) verlaagde het percentage niet-onderbouwde claims naar 8,4%. Dit is een relatieve reductie van 40% ten opzichte van de baseline (p = 0,02).
• Agent Workflow optimalisatie: De multi-stap agent workflow (C3) behaalde 21,1% niet-onderbouwde claims, maar presteerde het beste op veiligheidskritieke metrics: de laagste miss-rate voor contra-indicaties (0,04) en de hoogste scores voor klinische bruikbaarheid.
• Ablatie-analyse: De analyse toonde aan dat citatie-eisen en constraint-checking (controle op beperkingen) de grootste bijdrage leverden aan de veiligheidsverbeteringen.

Belangrijkste Bijdragen

1. Empirische weerlegging van RAG in de kliniek: Het paper biedt hard bewijs dat het toepassen van standaard RAG op ruwe klinische teksten hallucinaties kan verergeren in plaats van verhelpen, waarschijnlijk door de complexiteit en inconsistentie van de ruwe data.
2. Paradigmaverschuiving naar "Representation First": De auteurs stellen dat de kwaliteit van de representatie (gestructureerde artefacten met provenance) cruciaal is en een hogere prioriteit heeft dan het ophalen van data zelf.
3. Nieuw theoretisch kader: Er wordt een informatietheoretisch kader voorgesteld dat uitlegt waarom de kwaliteit van de representatie de bovengrens (ceiling) bepaalt voor feitelijke betrouwbaarheid, terwijl agentische verificatie voornamelijk invloed heeft op het omgaan met onzekerheid en het afdwingen van veiligheidsbeperkingen.

Significantie

De studie heeft grote implicaties voor de ontwikkeling van AI-systemen in de gezondheidszorg. Het suggereert dat de focus moet verschuiven van het simpelweg "meer data ophalen" (RAG) naar het voorgestructureerd maken van patiëntdata voordat deze aan het model wordt gepresenteerd. Voor klinische AI-systemen is het essentieel om machineleesbare artefacten met duidelijke herkomst te gebruiken om de veiligheid te waarborgen. Het negeren van deze representatiekwaliteit kan leiden tot systemen die niet alleen onnauwkeurig zijn, maar actief gevaarlijk voor patiënten door het genereren van ononderbouwde medische adviezen.