Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

Technische Samenvatting: Vertrouw maar Controleer – Mitigeren van Medische Hallucinaties via Post-Hoc Adversariële Audit en Multi-Agent Feedbackloops

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet in de gezondheidszorg voor klinische besluitvormingsondersteuning, maar hun probabilistische aard leidt tot "hallucinaties" die ernstige veiligheidsrisico's met zich meebrengen. Een kritieke, vaak over het hoofd geziene foutmodus is regulatieve kennisveroudering: LLM's bevelen regelmatig farmaceutica aan die historisch gezien correct waren, maar nu verboden, ingetrokken of voorzien van black box-waarschuwingen zijn door regelgevende instanties (bijv. FDA, EMA). Het artikel benadrukt dat zelfs state-of-the-art (SOTA) modellen uitgerust met Retrieval-Augmented Generation (RAG) en webbrowsing-capaciteiten er niet in slagen om actuele veiligheidsbeperkingen te prioriteren boven parametrische trainingsdata, wat leidt tot gevaarlijke klinische aanbevelingen. Bestaande mitigatiestrategieën, zoals statische semantische guardrails of eenvoudige RAG, missen vaak de actieve, adversariële verificatie die vereist is om deze temporele kenniskloven te detecteren.

Methodologie
De auteurs stellen een modulaire, vijf-agent architectuur voor getiteld "Trust but Verify" (Vertrouw maar Controleer), ontworpen om regelgevende naleving af te dwingen via een post-hoc adversariële auditloop. Het systeem maakt gebruik van een enkele LLM-backbone (getest op GPT-OSS, Llama-3 en Falcon-3 families), maar differentieert agenten via prompt-gebaseerde persona-redirection in plaats van heterogene modelgewichten.

De workflow bestaat uit vijf functionele rollen:

1. Router Agent: Classificeert queries als "Medisch" of "Algemeen". Alleen medische queries triggeren de veiligheidspipeline, wat latentie en kosten optimaliseert.
2. Medical Clinical Agent: Fungeert als de primaire redeneermotor en genereert kandidaat-behandelingsaanbevelingen op basis van de inputquery.
3. Entity Extractor Agent: Parseert de natuurlijke taaloutput van de klinische agent naar een gestructureerd JSON-formaat (extraheert medicijn en conditie) om machine-leesbare verificatie te faciliteren.
4. Safety Auditor Agent: De kern van de veiligheidscomponent. Deze voert real-time web-gegronde zoekopdrachten uit (via de Tavily API) tegen autoritaire regelgevende bronnen (FDA, NIH) om de huidige status van het geëxtraheerde medicijn te verifiëren. Als een medicijn wordt gemarkeerd als verboden of ingetrokken, triggert de auditor een feedbackloop, die de overtreding terugstuurt naar de Clinical Agent om een herhaalde poging of een veilige weigering af te dwingen.
5. General Chat Agent: Behandelt niet-kritieke interacties om middelen te besparen.

Het systeem staat maximaal drie herhalingspogingen toe. Als er geen veilig alternatief wordt gevonden onder de opties, is het systeem ontworpen om een "veilige weigering" uit te geven in plaats van een hallucinerende aanbeveling.

Experimentele Opzet
De studie maakte gebruik van een gecureerde adversariële dataset van 103 klinische Multiple Choice Questions (MCQs). In deze vragen komt het historisch correcte antwoord overeen met een medicijn dat sindsdien is ingetrokken of verboden. De dataset is geconstrueerd met behulp van DrugBank, waarbij het "correcte" label in de context van de trainingsdata feitelijk een veiligheidschending is in de huidige regelgevende context.

Drie experimentele configuraties werden geëvalueerd:

• Experiment I (Vanilla): Single-shot inferentie waarbij de LLM fungeert als een klinische expert zonder externe auditing.
• Experiment II (Agentic): De voorgestelde vijf-agent pipeline met de adversariële feedbackloop.
• Experiment III (SOTA Evaluatie): Testen van leidende propriëtaire modellen (ChatGPT-5.1/5.3, Gemini 3 Flash/3.1 Pro) met ingeschakelde native browsing om te beoordelen of huidige commerciële oplossingen deze specifieke foutmodus mitigeren.

Kernmetrieken
Prestaties werden geëvalueerd met behulp van:

• Label Accuracy: Standaard correctheid tegen de grondwaarheid van de dataset (die inherent onveilig is in deze adversariële setup).
• Pointwise Score (PS): Een gespecialiseerde metriek die definitieve aanbevelingen voor verboden medicijnen bestraft (-0,25), veilige weigeringen beloont (0,0) en veilige correcte voorspellingen beloont (+1,0).
• Hallucination Error Rate (HER): De frequentie van definitieve aanbevelingen voor ingetrokken substanties.
• Component Fidelity (CF): De ratio van succesvolle functionele outputs ten opzichte van het totaal aantal agent-invocaties, wat de betrouwbaarheid van de multi-agent orchestratie meet.

Resultaten

• Vanilla Performance: Alle geteste open-access modellen vertoonden een hoge "accuracy" (het matchen van het verboden medicijn) maar evenredig hoge HER's (variërend van 90,29% tot 99,03%). De Pointwise scores clusterden nabij -0,25, wat wijst op maximale veiligheidsstraf.
• Agentic Performance: De voorgestelde architectuur verminderde de HER's over alle modellen heen aanzienlijk met gemiddeld 53% (bijv. Llama-3-70B daalde van 99,03% naar 37,86%). Hoewel de ruwe label accuracy daalde (omdat het systeem de verboden "correcte" optie correct weigerde), verschoof de Pointwise Score van -0,25 naar 0,0, wat duidt op een succesvolle transitie naar veilige weigeringen.
• SOTA Failure: Experiment III toonde aan dat zelfs propriëtaire modellen met geavanceerde redeneer- en browsing-capaciteiten er niet in slaagden om de aanbeveling van verboden medicijnen te voorkomen. Deze modellen erkenden vaak de status van intrekking in hun zoekresultaten, maar gaven uiteindelijk de voorkeur aan hun parametrische kennis om het verboden medicijn als antwoord te selecteren, wat duidt op een "klinische veiligheidsregressie".
• Systeemintegriteit: De Component Fidelity scores voor de agentic pipeline varieerden tussen 73,82% en 85,71%, wat de robuustheid van de multi-agent orchestratie bevestigt.

Betekenis en Claims
Het artikel beweert een praktische, model-agnostische aanpak te hebben gedemonstreerd voor de inzet van autonome AI in veiligheidskritische zorgomgevingen. De belangrijkste bijdragen zijn:

1. Identificatie van een Kritieke Kloof: Het benadrukken dat huidige RAG en SOTA-modellen er niet in slagen om real-time regelgevende data effectief te integreren, wat leidt tot de aanbeveling van verboden stoffen.
2. Architecturale Innovatie: Het voorstellen van een niet-lineaire, adversariële auditloop die veiligheid behandelt als een deterministisch verificatieproces in plaats van een probabilistische generatietaak. Door klinische redenering (LLM) te ontkoppelen van feitelijke waarheid (real-time auditor), waarborgt het systeem naleving zonder dat modelhertraining nodig is.
3. Veiligheid boven Vloeiendheid: Het framework geeft prioriteit aan patiëntveiligheid door gevaarlijke aanbevelingen om te zetten in passende weigeringen, waardoor het doel van het systeem verschuift van "correct antwoorden" naar "veilig antwoorden".
4. Schaalbaarheid: Het gebruik van een enkele backbone met prompt-gebaseerde agent-differentiatie biedt een schaalbare oplossing die geen parameter-expansie of dure hertraining vereist.

De auteurs concluderen dat hoewel de multi-agent aanpak extra inferentie-latentie introduceert, deze trade-off noodzakelijk is voor deterministische veiligheid in klinische omgevingen met een hoog risico. Zij positioneren dit werk als een stap naar de integratie van real-time regelgevende data in LLM-pipelines om klinische besluitvorming te ondersteunen, in plaats van te vervangen.