💬 NLP

Pause or Fabricate? Training Language Models for Grounded Reasoning

Dit paper introduceert GRIL, een interactief versterkingsleerframework dat taalmodellen leert om bij onvolledige informatie proactief te pauzeren en verduidelijking te vragen in plaats van te hallucineren, wat leidt tot aanzienlijk betere prestaties en kortere antwoorden.

Oorspronkelijke auteurs: Yiwen Qiu, Linjuan Wu, Yizhou Liu, Yuchen Yan, Jin Ma, Xu Tan, Yao Hu, Daoxin Zhang, Wenqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiwen Qiu, Linjuan Wu, Yizhou Liu, Yuchen Yan, Jin Ma, Xu Tan, Yao Hu, Daoxin Zhang, Wenqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stop of Verzinnen? Hoe AI leert om eerlijk te zijn als het niet genoeg weet

Stel je voor dat je een detective bent die een mysterie moet oplossen. Je krijgt een dossier van je chef, maar er ontbreekt een cruciaal stukje informatie: je weet niet hoe oud de verdachte was op het moment van de misdaad.

Een gewone, ongetrainde AI (zoals de oude versies van grote taalmodellen) zou in deze situatie waarschijnlijk doen alsof het een genie is. Het zou denken: "Oké, ik heb geen leeftijd, maar ik ga gewoon een getal verzinnen, bijvoorbeeld 30. Dan ga ik mijn hele redenering opbouwen rond die 30, en ik zal het antwoord heel zelfverzekerd geven."

Dit noemen de auteurs van dit paper "ongegrond redeneren". Het is alsof je een huis bouwt op een fundering die je hebt verzonnen. Het ziet er misschien mooi uit, maar het staat op instorten zodra je de echte waarheid kent. Het probleem is niet dat de AI niet slim genoeg is om te rekenen; het probleem is dat het niet weet wanneer het moet stoppen en moet zeggen: "Hé, ik heb meer info nodig!"

De Oplossing: GRIL (De Slimme Detective)

De onderzoekers van de Universiteit van Zhejiang en Tencent hebben een nieuwe methode bedacht, genaamd GRIL. Ze hebben de AI getraind om te leren tussen twee opties te kiezen:

Doorgaan met redeneren (als je alle stukjes van de puzzel hebt).
Stoppen en vragen stellen (als je merkt dat er stukjes ontbreken).

Ze hebben dit gedaan met een soort "virtuele trainingsomgeving" die werkt als een spelletje:

De "Stop en Vraag" fase: Als de AI een vraag krijgt met ontbrekende info, krijgt ze een beloning als ze snel stopt en vraagt: "Ik heb meer info nodig." Als ze toch doorgaat en iets verzint, krijgt ze een straf.
De "Oplossing" fase: Pas als de AI de ontbrekende info heeft gekregen (bijvoorbeeld van de "trainer"), mag ze het probleem oplossen. Als het antwoord dan klopt, krijgt ze een grote beloning.

Waarom is dit zo slim? (De Analogie van de Bakker)

Stel je voor dat je een bakker bent die een taart moet maken.

De oude AI: Je vraagt: "Hoeveel suiker moet ik doen?" De AI zegt: "Geen idee, maar ik ga 500 gram doen en dan bak ik de taart." De taart is een ramp, maar de AI zegt: "Kijk, ik heb een taart gemaakt!"
De nieuwe AI (met GRIL): Je vraagt: "Hoeveel suiker moet ik doen?" De AI zegt: "Wacht even, in het recept staat dat niet. Ik kan geen taart bakken zonder dat ik weet hoeveel suiker er in moet. Kunnen we dat eerst checken?"

Zodra je zegt: "Ah, het zijn 200 gram!", zegt de AI: "Oké, nu weet ik het. Ik ga de taart bakken." En deze taart is perfect.

Wat levert dit op?

De resultaten van het paper zijn indrukwekkend:

Minder verzinnen: De AI leert dat het beter is om te zeggen "Ik weet het niet" dan om een onzinverhaal te vertellen. Ze worden veel beter in het detecteren van ontbrekende info (soms wel tot 90% beter!).
Sneller en korter: Omdat ze niet meer urenlang (of in dit geval: duizenden woorden) doorgaan met het verzinnen van een oplossing die onmogelijk is, worden hun antwoorden korter en efficiënter. Ze verspillen geen tijd aan "hallucinaties".
Beter op de echte wereld: In het echte leven krijgen we vaak onvolledige vragen. Mensen zeggen dingen als "Ik wil een auto kopen, maar ik heb geen budget." Een oude AI zou zeggen: "Koop dan een Ferrari!" (verzonnen budget). Een GRIL-AI zegt: "Wat is je budget?"

Conclusie

Dit paper laat zien dat het grootste probleem van AI niet altijd is dat ze "dom" zijn, maar dat ze te zelfverzekerd zijn. Ze willen graag een antwoord geven, zelfs als ze niet genoeg informatie hebben.

GRIL leert de AI de kunst van het nederig zijn. Het leert ze dat het slimste wat je kunt doen, soms niet het antwoord geven is, maar het erkennen dat je meer informatie nodig hebt voordat je überhaupt begint met denken. Het is een stap in de richting van AI die niet alleen slim is, maar ook betrouwbaar.

1. Het Probleem: Ongrounded Reasoning (Niet-gegronde Redenering)

Hoewel grote taalmodellen (LLMs) indrukwekkende prestaties leveren bij complexe redeneertaken, vertonen ze een kritieke foutmodus wanneer de invoer onvolledig is. In plaats van te stoppen of om verduidelijking te vragen, fabriceren ze vaak ontbrekende informatie en bouwen ze daarop lange, overtuigende maar onbetrouwbare redeneerketens op.

De auteurs noemen dit fenomeen "ungrounded reasoning".

Oorzaak: Het probleem ligt niet in een gebrek aan redeneervermogen, maar in een gebrek aan bewustzijn van inferentiële grenzen (de capaciteit om te herkennen wanneer de noodzakelijke premissen ontbreken).
Gedrag: Modellen tonen vaak vroege onzekerheid (bijv. "we moeten weten..."), maar onderdrukken deze signalen vervolgens en gaan door met het verzonnen van aannames ("laten we aannemen...").
Metriek: De auteurs introduceren GapRatio, de verhouding van tokens die gegenereerd worden na het eerste teken van onzekerheid. Een hoge GapRatio duidt op ernstige hallucinatie.

2. Methodologie: GRIL (Grounded Reasoning via Interactive Reinforcement Learning)

Om dit probleem op te lossen, stellen de auteurs GRIL voor, een multi-turn reinforcement learning (RL) framework dat modellen leert om te onderscheiden tussen situaties waarin redeneren mogelijk is en situaties waarin verduidelijking nodig is.

Kernarchitectuur

GRIL decomposeert het redeneerproces in twee distincte fasen, geïmplementeerd binnen een interactieve omgeving:

Fase 1: Clarify and Pause (Verduidelijken en Pauzeren)
- Het model analyseert de invoer op onvolledigheid.
- Acties: Het model kan kiezen voor Solve (proberen op te lossen) of Clarify (ontbrekende premissen opvragen).
- Beloning: Als het model correct ontdekt dat informatie ontbreekt en stopt om verduidelijking te vragen, ontvangt het een detectiebeloning ( $R_{detect}$ ). Deze beloning ondergaat een tijdsverval (time-decay), wat het model prikkelt om zo vroeg mogelijk te stoppen in plaats van eerst veel tokens te genereren.
- Feedback: Als het model probeert op te lossen zonder voldoende info, krijgt het negatieve feedback en geen beloning.
Fase 2: Grounded Reasoning (Gegronde Redenering)
- Zodra het model correct heeft gestopt en de omgeving de ontbrekende premissen levert, schakelt het model over naar deze fase.
- Het model lost het probleem op met de nu volledige context.
- Beloning: Het ontvangt een oplossingbeloning ( $R_{solve}$ ) alleen als het antwoord correct is.

Beloningsfunctie en Training

De totale beloning combineert de detectie en de oplossing, met een specifieke straf voor onnodige verduidelijking bij complete problemen. Het model wordt getraind met Proximal Policy Optimization (PPO) met een KL-straf om te voorkomen dat het beleid te veel afwijkt van het referentiemodel.

3. Belangrijkste Bijdragen

Identificatie van een nieuwe foutmodus: De auteurs definiëren en kwantificeren "ungrounded reasoning" als een specifiek falen van inferentiële controle, niet van redeneercapaciteit.
Reformulering als sequentiële besluitvorming: Redeneren onder onzekerheid wordt omgezet in een keuze tussen "redeneren" of "pauzeren/verduidelijken".
GRIL Framework: Een multi-turn RL-aanpak met fasenspecifieke beloningen die hallucinaties bestraffen en proactief stoppen belonen.
Empirische validatie: Uitgebreide experimenten tonen aan dat GRIL niet alleen hallucinaties reduceert, maar ook de algehele prestaties op standaard benchmarks verbetert.

4. Resultaten

De prestaties zijn getest op benchmarks met systematisch verwijderde premissen (GSM8K-Insufficient en MetaMATH-Insufficient) over verschillende modelgroottes (van 0.6B tot 3B parameters).

Verbeterde Detectie: GRIL verhoogt de Premise Detection Rate drastisch. Bijvoorbeeld, bij Qwen2.5-1.5B steeg de detectie van 4,6% (basis) naar 90,8%.
Toename in Succes: De Success Rate (oplossing na verduidelijking) steeg van 1,8% naar 61,6% voor het 1.5B model.
Efficiëntie: De responslengte nam aanzienlijk af (bijv. -41% voor Qwen2.5-1.5B), wat aangeeft dat modellen eerder stoppen met onnodige, ongegronde redenering.
Superioriteit t.o.v. SFT: GRIL presteert significant beter dan Supervised Fine-Tuning (SFT) op dezelfde data, wat aantoont dat het leren van feedback na een keuze cruciaal is.
Generalisatie: GRIL behoudt of verbetert de prestaties op volledige problemen (standaard GSM8K) en generaliseert goed naar uitdagingen buiten de wiskunde (zoals HotpotQA en CommonsenseQA).
Robuustheid: Het model blijft effectief zelfs bij ruis in de gebruikersantwoorden of wanneer gebruikers geen informatie geven.

5. Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe we LLM's trainen voor redeneren:

Van "Antwoorden" naar "Beheer": Het benadrukt dat het vermogen om te weten wanneer je niet moet antwoorden (of moet wachten op meer info) even belangrijk is als het vermogen om het antwoord te vinden.
Praktische Toepassing: In real-world scenario's waar gebruikers vaak onvolledige informatie geven, voorkomt GRIL dat modellen zelfverzekerd maar foutieve conclusies trekken.
Efficiëntie: Door het stoppen van hallucinaties wordt de token-productie en rekentijd aanzienlijk gereduceerd.

Samenvattend introduceert GRIL een mechanisme om taalmodellen "bescheiden" te maken in de zin van hun eigen kennis grenzen, waardoor ze proactief om verduidelijking vragen in plaats van te hallucineren, wat leidt tot betrouwbaardere en efficiëntere AI-systemen.