💬 NLP

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

Dit paper introduceert EvidenceRL, een versterkingsleerframework dat hallucinaties in grote taalmodellen vermindert door tijdens het trainingsproces de consistentie met bewijsmateriaal te versterken, wat leidt tot aanzienlijk betrouwbaardere en meer gefundeerde antwoorden in hoog-risicodomeinen zoals cardiologische diagnose en juridisch redeneren.

Oorspronkelijke auteurs: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat overdreven fantasierijke assistent hebt. Deze assistent (een Large Language Model of LLM) kan prachtige zinnen schrijven en klinkt altijd heel zeker van zijn zaak. Maar hier zit de adder onder het gras: hij verzonnt vaak feiten. Hij zegt dingen die klinken als waarheid, maar die eigenlijk nergens op gebaseerd zijn. Dit noemen we "hallucinaties".

In normale gesprekken is dat misschien grappig. Maar in levensbelangrijke situaties, zoals bij een hartaanval of een juridisch geschil, is dit dodelijk. Je wilt een arts die zijn diagnose baseert op de echte medische gegevens van de patiënt, niet op iets wat hij uit zijn hoofd heeft bedacht. En je wilt een advocaat die zijn argumenten baseert op de echte wet, niet op een verzonnen regel.

De auteurs van dit paper hebben een oplossing bedacht die ze EvidenceRL noemen. Laten we uitleggen hoe dit werkt met een paar simpele metaforen.

Het Probleem: De "Slimme" Leugenaar

Stel je voor dat je een student examens laat maken.

De oude manier (RAG): Je geeft de student een boekje met de juiste antwoorden (retrieved evidence) en zegt: "Gebruik dit." De student leest het boekje, maar schrijft zijn antwoord toch op basis van wat hij al wist. Soms klopt het antwoord toevallig, maar de student heeft het boekje genegeerd. Hij "plakt" er wel een verwijzing naar het boekje bij, maar hij heeft er niet echt naar gekeken.
Het gevolg: Het antwoord lijkt goed, maar de redenering is vals.

De Oplossing: EvidenceRL (De "Eerlijkheids-Trainer")

EvidenceRL is een nieuwe manier om deze studenten (de AI-modellen) te trainen. In plaats van ze alleen te belonen voor het antwoord, kijken ze nu ook naar het bewijs.

Ze gebruiken een techniek genaamd Versterkend Leren (Reinforcement Learning). Denk hierbij aan het trainen van een hond, maar dan voor een computer.

De Oefening: De AI krijgt een vraag (bijv. "Wat is de diagnose?") en een stapel documenten (de bewijzen).
De Beoordeling (De Scorebord): De AI probeert een antwoord te geven. Een speciale "scheidsrechter" (een andere AI) kijkt dan niet alleen of het antwoord klopt, maar vooral: Is dit antwoord echt gebaseerd op de documenten?
- Als de AI zegt: "Het is hartfalen, want de patiënt heeft kortademigheid en de echo toont een zwakke hartspier," en dit staat echt in de documenten, krijgt hij een gouden ster (een hoge score).
- Als de AI zegt: "Het is hartfalen, want dat heb ik ergens gelezen," maar het staat niet in de documenten, krijgt hij een rode kaart (een lage score), zelfs als het antwoord toevallig waar is.
De Focus-Then-Verify (De "Lupen-methode"):
Soms zijn de documenten heel lang en rommelig. De oude methoden keken naar de hele stapel papier en werden erdoor overweldigd.
EvidenceRL gebruikt een slimme truc: "Eerst focussen, dan controleren."
- De AI pakt één stukje bewijs (bijv. de bloeddrukmeting) en één stukje van zijn eigen antwoord.
- De scheidsrechter kijkt: "Past dit stukje bewijs bij dit stukje antwoord?"
- Dit doet hij voor elk stukje bewijs apart. Zo weet hij zeker dat de AI niet zomaar wat roept, maar echt elke stelling onderbouwt.

Wat leverde dit op?

De auteurs hebben dit getest in twee zeer serieuze gebieden: Hartgeneeskunde en Recht.

Voor de Hartarts:
- Voorheen: De AI gaf vaak een goed antwoord, maar baseerde het op niets (een "gelukkige gok"). Of hij verzon een diagnose die niet in de patiëntgegevens stond.
- Na EvidenceRL: De AI begon veel vaker zijn antwoorden te baseren op de echte patiëntgegevens. Het aantal "verzonnen diagnoses" (hallucinaties) daalde met 5 keer. Tegelijkertijd werd hij ook slimmer in het geven van het juiste antwoord.
- Metafoor: Het is alsof de arts stopt met gokken en begint met echt meten en tellen.
Voor de Advocaat:
- Voorheen: De AI citeerde wetten die er niet waren.
- Na EvidenceRL: De AI begon alleen te redeneren met de wetten die daadwerkelijk in de tekst stonden. De "trouw" aan de feiten (faithfulness) verdubbelde bijna.

Waarom is dit zo belangrijk?

Tot nu toe probeerden mensen AI's te fixen door ze na het antwoord te controleren (zoals een leraar die een proefwerk nakijkt). Maar dat verandert niet hoe de AI denkt. De AI blijft gewoon gissen.

EvidenceRL verandert de denkstijl van de AI tijdens het leren. Het leert de AI dat "goed antwoord geven" niet genoeg is; je moet ook kunnen bewijzen waarom je het zegt.

Kort samengevat:
EvidenceRL is als een strenge maar eerlijke coach die een AI leert: "Je mag niet zomaar iets zeggen dat klinkt als waarheid. Als je het zegt, moet je kunnen laten zien waar je het vandaan hebt gehaald. Anders krijg je geen punten." Hierdoor worden AI's betrouwbaarder voor zaken waar mensenlevens van afhangen.

Probleemstelling

Grote Taalmodellen (LLMs) zijn vloeiend in het genereren van tekst, maar lijden vaak aan hallucinaties: ze produceren antwoorden die plausibel klinken maar niet worden ondersteund door beschikbare bewijsvoering. Dit is een kritiek probleem in hoog-risicodomeinen zoals gezondheidszorg (bijv. hartdiagnoses) en juridische redenering, waar beslissingen moeten worden gerechtvaardigd door verifieerbare informatie.

Bestaande oplossingen zoals Retrieval-Augmented Generation (RAG) proberen hallucinaties te verminderen door generatie te conditioneren op opgehaalde documenten. Echter, RAG garandeert niet dat het output daadwerkelijk uit het bewijs is afgeleid; modellen vertonen vaak een "context-geheugenconflict" waarbij ze vertrouwdheid met interne kennis prefereren boven de opgehaalde context. Bestaande methoden voor verificatie of post-hoc filtering veranderen de onderliggende generatiebeleid van het model niet, waardoor het model blijft vertrouwen op onondersteunde redenering.

Methodologie: EvidenceRL

De auteurs introduceren EvidenceRL, een reinforcement learning (RL) framework dat bewijsaansluiting (evidence grounding) dwingt af tijdens het trainingsproces, in plaats van dit achteraf te controleren.

1. Beloningssysteem (Reward Function)
Het framework optimaliseert een generator met behulp van drie gecombineerde beloningscomponenten:

Format Reward ( $r_f$ ): Een binaire beloning voor het produceren van geldige gestructureerde output (JSON), wat vereist is voor het parsen van redeneringen.
Correctness Reward ( $r_c$ ): Meet de semantische overeenstemming met de referentieantwoorden. Voor open-ended taken (zoals medische diagnoses) wordt dit berekend via cosine-相似iteit van embeddings; voor meerkeuzevragen (juridisch) via exacte matching.
Grounding Reward ( $r_g$ ): Dit is de kerninnovatie. In plaats van het hele document te scannen, gebruikt EvidenceRL een "Focus-Then-Verify" architectuur:
- Het bouwt gefocuste premisse-hypothese paren door een "ankercontext" (bijv. hoofdklacht) te combineren met individuele bewijsstukken.
- Een bevroren NLI-model (Natural Language Inference, specifiek PubMedBERT voor medische en DeBERTa voor juridische taken) evalueert per zin of de redenering een entailment (afleiding), contradiction (tegenspraak) of neutral is ten opzichte van het bewijs.
- De score is gebaseerd op de sterkste ondersteuning of tegenspraak, wat signaaldilutie in lange documenten voorkomt.

2. Optimalisatie: GRPO
Het model wordt getraind met Group Relative Policy Optimization (GRPO). In plaats van een enkele output te evalueren, samplet het systeem een groep van $G$ antwoorden per input. De beloningen worden genormaliseerd binnen deze groep om voordelen (advantages) te berekenen, waarna het beleid wordt geüpdatet via een afgekapte policy-gradient met KL-divergentie regularisatie ten opzichte van een referentiebeleid. Dit elimineert de noodzaak voor menselijke voorkeurannotaties.

Belangrijkste Bijdragen

EvidenceRL Framework: Een RL-framework dat bewijsaansluiting als een differentieerbaar trainingsdoel implementeert, gebruikmakend van geautomatiseerde NLI- en LLM-judge beloningen.
Focus-Then-Verify Architectuur: Een innovatieve beloningsstructuur die zinsniveau-entailment evalueert binnen gefocuste contextvensters, waardoor het probleem van signaaldilutie bij documentniveau-scoring wordt opgelost.
Prestaties over Schaal: Het bewijst dat EvidenceRL de nauwkeurigheid en bewijsaansluiting verbetert over verschillende modelgroottes (van 3B tot 120B parameters) en domeinen, zonder menselijke annotatie.

Resultaten

De methode werd geëvalueerd in twee hoog-risicodomeinen:

Medisch (MIMIC-IV-Ext, Hartdiagnoses):
- Op het Llama-3.2-3B model steeg de F1@3 score van 37,0 naar 54,5.
- De gronding (Gmax@3) verbeterde drastisch van 47,6 naar 78,2.
- Hallucinaties daalden met bijna een factor 5, en het percentage op bewijs gebaseerde diagnoses steeg van 31,8% naar 61,6%.
- Faithfulness (het aandeel correcte antwoorden dat echt door bewijs wordt ondersteund) steeg naar 87,5%.
Juridisch (BarExam MBE):
- Op Llama-3.1-8B steeg de Faithfulness van 32,8% naar 67,6%.
- Het percentage op bewijs gebaseerde redenering (Evidence-Based rate) verdubbelde van 18,8% naar 41,0%.

Vergelijking met Baselines:

SFT (Supervised Fine-Tuning): Verbeterde de nauwkeurigheid, maar liet de gronding instorten (modellen leerden de vorm van citaten te kopiëren zonder de semantische relatie te begrijpen).
Inference-time controles (Self-RAG, Self-Consistency): Leverden geen consistente verbetering in zowel nauwkeurigheid als gronding; ze herschikken alleen de output binnen het bestaande, vaak onbetrouwbare, beleid.
fDPO (Faithful DPO): Verbeterde gronding, maar deed dit vaak ten koste van de nauwkeurigheid of door imitatie van sterkere modellen (distillatie), terwijl EvidenceRL zowel nauwkeurigheid als gronding simultaan optimaliseert.

Betekenis en Conclusie

EvidenceRL toont aan dat het fundamenteel mogelijk is om het redeneergedrag van LLMs te veranderen door bewijsaansluiting direct te belonen tijdens het trainingsproces. In tegenstelling tot inference-time methoden die alleen outputs filteren, herschikt EvidenceRL het beslissingsbeleid van het model zodat het evidence-supported reasoning prefereert boven parametrisch geheugen.

Dit biedt een rekenkracht-efficiëntere route naar betrouwbare AI in kritieke domeinen, waarbij kleinere modellen (zoals 3B) na training zelfs betere prestaties kunnen leveren dan grotere, niet-getrainde modellen. De studie benadrukt echter dat dit een onderzoeksmethode is en dat menselijke toezicht en validatie essentieel blijven voor daadwerkelijke inzet in de praktijk, vooral omdat de kwaliteit van de bronbewijzen zelf niet door het framework wordt verifieerd.