💻 computer science

CareGuardAI: Context-Aware Multi-Agent Guardrails for Clinical Safety & Hallucination Mitigation in Patient-Facing LLMs

CareGuardAI is een contextbewust, multi-agent framework dat klinische veiligheid waarborgt en hallucinaties in door patiënten gebruikte LLM's beperkt door middel van een meerstaps inferentiepijplijn met dubbele risicobeoordelingen (SRA en HRA) om antwoorden te filteren en te verfijnen voordat ze worden vrijgegeven.

Oorspronkelijke auteurs: Elham Nasarian, Abhilash Neog, Kwok-Leung Tsui, Niyousha HosseiniChimeh

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elham Nasarian, Abhilash Neog, Kwok-Leung Tsui, Niyousha HosseiniChimeh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, goed ingevoerde robotassistent voor die veel over geneeskunde weet. Je vraagt hem: "Mag ik aspirine nemen tijdens mijn zwangerschap?" De robot, die graag wil helpen, zou kunnen zeggen: "Ja, lage doses zijn vaak acceptabel."

Hoewel dat antwoord voor sommige mensen technisch gezien waar kan zijn, is het gevaarlijk onvolledig voor een zwangere vrouw zonder specifieke goedkeuring van een arts. De robot heeft de context gemist: een zwangerschap is een speciale, hoog-risico situatie.

Dit is het probleem dat CareGuardAI oplost. Het is een nieuw "veiligheidsnet"-systeem dat medische AI moet opvangen voordat het advies geeft dat een patiënt kan schaden. Denk er niet aan als een enkele arts, maar als een high-tech triage-team dat samenwerkt om ervoor te zorgen dat elk antwoord veilig en waar is.

Hier is hoe het systeem werkt, met eenvoudige analogieën:

1. De Triageverpleegkundige (De Controller)

Wanneer een patiënt een vraag stelt, stuurt CareGuardAI deze eerst naar een "Triageverpleegkundige" (een kleine, snelle AI).

De Taak: Deze verpleegkundige beantwoordt de vraag nog niet. In plaats daarvan fungeert hij als een intake-medewerker in een ziekenhuis. Hij scant de vraag om te zien of er iets ontbreekt.
De Analogie: Stel je voor dat je een dokterspraktijk binnenloopt. De verpleegkundige geeft je niet zomaar een recept; hij vraagt: "Bent u zwanger? Heeft u allergieën? Hoe oud bent u?"
Wat het doet: Als de patiënt vraagt over aspirine, herkent de Triageverpleegkundige het woord "zwanger" en markeert het als Hoog Risico. Hij vertelt het volgende onderdeel van het systeem: "Wees zeer voorzichtig! Dit is een gevoelige situatie. Geef geen specifieke medische instructies."

2. De Schrijver (De Generator)

Zodra de Triageverpleegkundige de regels heeft vastgesteld, maakt de "Schrijver" (een krachtige AI) het antwoord op.

De Taak: De Schrijver probeert de vraag te beantwoorden, maar draagt dan "veiligheidsbrillen" die door de Triageverpleegkundige zijn verstrekt.
De Analogie: Als de Triageverpleegkundige zei: "Dit is een zwangerschap met hoog risico", dan wordt de Schrijver verteld: "Je mag niet zeggen 'Neem deze pil'. Je moet zeggen: 'Ga naar uw arts'."
Het Resultaat: In plaats van aspirine voor te schrijven, zegt de Schrijver: "Raadpleeg uw gynaecoloog, aangezien aspirine tijdens een zwangerschap riskant kan zijn."

3. De Dubbelcheck-Inspecteurs (De Evaluators)

Voordat het antwoord ooit aan de patiënt wordt getoond, gaat het door twee strenge inspecteurs die parallel werken.

Inspecteur A (Veiligheidscontrole): Deze inspecteur kijkt of het antwoord medisch gevaarlijk is. Hij gebruikt een schaal van 1 tot 5 (zoals een orkaanwaarschuwing).
- Niveau 1: Alleen informatie.
- Niveau 5: "Dit kan iemand doden."
- De Regel: Als de score hoger is dan 2, wordt het antwoord afgewezen.
Inspecteur B (Waarheidscontrole): Deze inspecteur zoekt naar hallucinaties (leugens of verzonne feiten).
- Niveau 1: Volledig waar.
- Niveau 5: Een gevaarlijke leugen.
- De Regel: Als de score hoger is dan 2, wordt het antwoord afgewezen.

4. De "Rood-Groen" Poort (De Beslissingslaag)

Dit is de eindbaas. Hij kijkt naar de scores van beide inspecteurs.

Groen Licht: Als beide scores laag zijn (Veilig ≤ 2 EN Waarheidsgetrouw ≤ 2), wordt het antwoord vrijgegeven aan de patiënt.
Rood Licht: Als een van de scores te hoog is, wordt het antwoord geblokkeerd.
De "Opnieuw"-lus: Als het antwoord bijna veilig is maar een kleine fout bevat, verwijdert het systeem het niet zomaar. Het stuurt het terug naar de Schrijver met een notitie: "Je zei X, maar dat is riskant. Probeer het opnieuw." De Schrijver herschrijft het, en de inspecteurs controleren het opnieuw. Dit doen ze maximaal drie keer. Als het nog steeds onveilig is, blokkeert het systeem het volledig en vertelt de patiënt om een menselijke arts te raadplegen.

Waarom is dit anders dan wat we nu hebben?

De meeste huidige medische AIs zijn als een student die een schoolboek heeft uit het hoofd geleerd. Ze kunnen een schriftelijk examen perfect halen, maar als je hen een rommelige, real-life vraag stelt (zoals "Ik ben zwanger en heb hoofdpijn"), geven ze misschien een antwoord uit het schoolboek dat het reële gevaar negeert.

CareGuardAI is als een team van professionals (een verpleegkundige, een schrijver en twee inspecteurs) die even stilstaan om te denken: "Wacht, is dit veilig voor deze specifieke persoon?" voordat ze het antwoord laten doorgaan.

De Resultaten (Wat het onderzoek vond)

De onderzoekers hebben dit systeem getest op duizenden lastige medische vragen.

Veiligheid: Zonder dit systeem gaf de AI ongeveer 20% van de tijd gevaarlijk advies. Met CareGuardAI daalde dat naar minder dan 3%.
Waarheid: Het systeem voorkwam dat de AI valse medische feiten verzon.
Snelheid: Het duurt ongeveer 14 seconden om een vraag te verwerken. Dat is iets langzamer dan een chatbot, maar het artikel stelt dat het wachten de moeite waard is om ervoor te zorgen dat het antwoord niemand kwaad doet.

Kortom: CareGuardAI probeert niet alleen de AI slimmer te maken; het bouwt een veiligheidscage rond de AI om ervoor te zorgen dat het geen gevaarlijk of nep-advies geeft, vooral wanneer de situatie van de patiënt gecompliceerd of onduidelijk is.

1. Probleemstelling

De integratie van Large Language Models (LLM's) in zorgsystemen die gericht zijn op patiënten, staat voor twee kritieke, onderling verbonden faalmodi die bestaande benchmarks en mitigatiestrategieën onvoldoende aanpakken:

Klinisch Veiligheidsrisico: LLM's genereren vaak conditioneel correcte maar medisch ongeschikte antwoorden (bijvoorbeeld het voorschrijven van medicatie aan een zwangere patiënt) omdat ze, in tegenstelling tot menselijke clinici, geen contextbewustzijn hebben om risico's af te leiden uit onvolledige informatie.
Hallucinatie-risico: Modellen produceren regelmatig niet-onderbouwde, inconsistente of verzonnen medische claims.
Het Gat: Huidige benaderingen behandelen veiligheid en hallucinatie doorgaans als aparte problemen of vertrouwen op statische benchmarks (zoals USMLE-examens) die geen realistische, open-ended en ondergespecificeerde patiëntvragen weerspiegelen. Bovendien is alignment tijdens het trainingsproces (fine-tuning) onvoldoende om dynamische, contextafhankelijke risico's tijdens de inferentie aan te pakken.

2. Methodologie: Het CareGuardAI-kader

CareGuardAI is een risicobewust, veiligheidskader voor de inferentietijd ontworpen als een multi-agent pijplijn. Het werkt door een controller, een generator, dubbele evaluatoren en een beslissingslaag te integreren om veiligheid af te dwingen voordat een antwoord wordt vrijgegeven.

Kerncomponenten

Controller Agent (Triage en Screening):
- Model: Lichtgewicht Small Language Model (SLM), specifiek Phi-3.5-mini.
- Functie: Voert risicobewuste query-classificatie en kwetsbaarheidsscreening uit. Het identificeert ontbrekende patiëntcontext (bijvoorbeeld zwangerschapsstatus, leeftijd, ernst van symptomen) met behulp van trefwoordregels en modeldetectie.
- Mechanisme: Als een query ondergespecificeerd is, genereert de controller gerichte meerkeuze-screenvragen om kritieke context te eliciteren voordat de generatie plaatsvindt. Vervolgens produceert het deterministische veiligheidsinstructies (bijvoorbeeld "niet voorschrijven") op basis van de geïdentificeerde risicocategorie.
Antwoordgenerator:
- Model: Large Language Model (GPT-4o-mini).
- Functie: Genereert het antwoord gericht op de patiënt.
- Beperking: De generatie is geconditioneerd op de veiligheidsinstructies en contextinserts die door de Controller worden verstrekt. Het dwingt gedragsguardrails af (bijvoorbeeld weigeren te diagnosticeren of voorschrijven) die zijn toegespitst op het specifieke risicoprofiel.
Dubbele Risico-evaluatoren (Parallelle Beoordeling):
- Model: Gequantizeerde LLaMA-3.1-8B-Instruct (lokaal draaiend).
- Klinisch Veiligheidsrisico-beoordeling (SRA): Geïnspireerd door ISO 14971, scoort deze agent het antwoord op een schaal van 1–5 (1=Minimaal, 5=Kritiek) op basis van actievere medische risico's (diagnose, voorschrijven, valideren van schadelijke handelingen).
- Hallucinatie-risico-beoordeling (HRA): Geïnspireerd door HalluGuard, scoort deze agent de feitelijke betrouwbaarheid op een schaal van 1–5, met onderscheid tussen datagedreven hallucinaties (feitelijke fouten) en redeneringsgedreven hallucinaties (logische inconsistenties).
Beslissingslaag en Verfijninglus:
- Logica: Een antwoord wordt alleen vrijgegeven als zowel $SRA \le 2$ als $HRA \le 2$ .
- Verfijning: Als de drempels worden overschreden, activeert het systeem een iteratieve verfijningslus (maximaal 3 iteraties). De evaluatoren geven gestructureerde feedback aan de generator om het antwoord te herzien.
- Fallback: Als het antwoord na 3 iteraties nog steeds onveilig is, wordt het geblokkeerd en wordt een veilig afwijzingsbericht teruggegeven.

Systeemarchitectuur

Hybride Ontwerp: Combineert lokale SLM's voor snelle, kostenefficiënte triage en evaluatie met een cloud-gebaseerde LLM voor hoogwaardige generatie.
Latentie: De gemiddelde latentie is ongeveer 13,8 seconden per query, wat haalbaar maakt voor realtime implementatie.

3. Belangrijkste Bijdragen

Twee-assig Veiligheidskader: Introduceert een nieuwe aanpak die Klinisch Veiligheidsrisico (SRA) en Hallucinatie-risico (HRA) gezamenlijk modelleert als complementaire faalmodi, waardoor het gat wordt gedicht waar een antwoord feitelijk correct kan zijn maar klinisch onveilig, of omgekeerd.
Architectuur voor Controle op Inferentietijd: Stelt een gestructureerde pijplijn voor die triage-gebaseerde contextherstel (screenen op ontbrekende patiëntgegevens) integreert met veiligheidsgeconditioneerde generatie en parallelle evaluatie na generatie.
Risico-gelimiteerd Beslismechanisme: Implementeert een op drempels gebaseerde strategie ( $SRA \le 2, HRA \le 2$ ) met iteratieve verfijning, waarbij ervoor wordt gezorgd dat alleen klinisch aanvaardbare outputs worden ingezet.
Uitgebreide Evaluatie: Valideert het kader over drie benchmarks (PatientSafeBench, MedSafetyBench, MedHallu), waarbij aanzienlijke verbeteringen worden aangetoond ten opzichte van sterke baselines zoals GPT-4o-mini.

4. Experimentele Resultaten

Het kader werd geëvalueerd op PatientSafeBench (466 samples), MedSafetyBench (450 samples) en MedHallu (200 samples).

Veiligheid en Betrouwbaarheid:
- Inzetbaarheidspercentage: CareGuardAI behaalde een inzetbaarheidspercentage van 98,7% – 99,8% (antwoorden die aan beide veiligheidsdrempels voldoen) over de benchmarks, vergeleken met een baseline van 60–86%.
- Risicoreductie: De gemiddelde SRA daalde van ~3,2 (baseline) naar 2,02, en de HRA daalde van ~2,9 naar 1,23 op de MedHallu-dataset.
- Eliminatie van Schendingen: Veiligheidsschendingen (bijvoorbeeld medicatie voorschrijven zonder context) daalden van 19,7% (baseline) naar 2,8%. Fouten in misdiagnose werden gereduceerd van 30,3% naar 0,0%.
Efficiëntie van Verfijning:
- Het systeem convergeert snel, met een gemiddelde van ~1,0 iteratie per query.
- 100% van de aanvankelijk onveilige antwoorden op MedSafetyBench en MedHallu werd na verfijning succesvol teruggebracht naar veilige niveaus.
- Het systeem slaagde erin de faalmodus "Veilig maar Gehallucineerd" te elimineren (0% voorkomen in resultaten).
Ablatiestudie:
- Het verwijderen van de Controller liet het inzetbaarheidspercentage instorten tot 39,0%.
- Het verwijderen van de HRA-agent leidde tot een percentage van 42,0% aan gehallucineerde outputs.
- Het verwijderen van de SRA-agent resulteerde in een hoog inzetbaarheidspercentage (98%), maar een percentage van 2,0% aan klinisch onveilige antwoorden, wat bewijst dat hallucinatiecontrole alleen onvoldoende is voor medische veiligheid.

5. Betekenis en Implicaties

Contextbewustzijn: CareGuardAI adresseert de kritieke beperking van statische benchmarks door klinische triage te simuleren, waardoor het systeem kwetsbaarheid kan detecteren (bijvoorbeeld zwangerschap) en ontbrekende context kan vragen voordat advies wordt gegeven.
Regulatorische Alignering: Het kader sluit aan bij de risicomanagementprincipes van ISO 14971 en de FDA Good Machine Learning Practice door transparante, auditabele en deterministische beslissingspaden te bieden (vrijgeven, verfijnen of blokkeren).
Praktische Implementatie: Door een hybride architectuur te gebruiken (lokale SLM's + cloud LLM) bereikt het een balans tussen hoogwaardige generatie en lage latentie, kosteneffectieve veiligheidsafdwinging, waardoor het levensvatbaar is voor real-world toepassingen gericht op patiënten, zoals chatbots en telezorg.
Paradigmaverschuiving: Het paper betoogt dat betrouwbare medische AI vereist dat we voorbij statische, examenstijl-evaluaties gaan naar dynamisch, toezicht tijdens de inferentie dat rekening houdt met de onzekerheid en contextafhankelijkheid van real-world patiëntinteracties.

Concluderend toont CareGuardAI aan dat een multi-agent, risicobewust kader zowel klinische veiligheidsrisico's als hallucinaties in patient-facing LLM's effectief kan mitigeren, waardoor veiligere en betrouwbaardere implementatie in zorgomgevingen mogelijk wordt.