When Silence Is Golden: Can LLMs Learn to Abstain in Temporal QA and Beyond?

Dit artikel introduceert een nieuwe trainingspipeline die Chain-of-Thought-supervisie combineert met versterkingslering om taalsmodellen beter te leren om bij tijdsgebonden vragen af te zien van het geven van een antwoord als ze onzeker zijn, waardoor ze betrouwbaarder en nauwkeuriger worden dan bestaande modellen zoals GPT-4o.

De kern

Stel je voor dat je een zeer slimme, maar soms wat overmoedige robot hebt die alles over de wereld lijkt te weten. Deze robot is een Grote Taalmodel (LLM). Het probleem is: deze robot durft bijna nooit toe te geven dat hij het niet weet. Als je hem een vraag stelt waar het antwoord niet in zijn "hoofd" staat, of als de informatie verouderd is, verzint hij vaak een mooi, vloeiend verhaal. Dit noemen we hallucineren.

In deze paper onderzoeken de auteurs hoe we deze robot kunnen leren om te zeggen: "Ik weet het niet, ik ga hier niet op antwoorden." Dit noemen ze abstention (onthouding). Ze doen dit vooral met vragen over de tijd (temporele vragen), zoals: "Wie was de echtgenoot van Anna Karina in 1966?" Als de robot vergeten is dat ze in 1965 gescheiden waren, geeft hij een fout antwoord in plaats van te zeggen dat de vraag onbeantwoordbaar is.

Hier is de uitleg van hun onderzoek, vertaald naar begrijpelijke taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alwetende" Robot die Verkeerd Zit

Stel je voor dat je een robot vraagt: "Wie was de burgemeester van Amsterdam in 1990?"

• De oude robot: Zegt direct: "Jan Jansen!" (terwijl het eigenlijk Piet Pietersen was, of de informatie gewoon niet beschikbaar is). Hij durft niet te twijfelen.
• De ideale robot: Zegt: "Ik heb geen betrouwbare informatie over dat specifieke jaar, dus ik kan dit niet beantwoorden."

De auteurs tonen aan dat zelfs de slimste robots (zoals GPT-4o) hier nog slecht in zijn. Ze zijn zo gewend om "antwoorden" te geven, dat ze liever een fout antwoord geven dan stil te vallen.

2. De Oplossing: Leren "Nee" zeggen met een Trainingsplan

De auteurs proberen de robot niet alleen te programmeren, maar hem te trainen om dit gedrag aan te leren. Ze gebruiken twee hoofdmethoden:

Methode A: De "Strenge Leraar" (SFT - Supervised Fine-Tuning)

Stel je voor dat je de robot een boek vol voorbeelden geeft.

• Voorbeeld: "Vraag: Wie was de president in 1800? Antwoord: Ik weet het niet."
• Voorbeeld: "Vraag: Wie was de president in 2020? Antwoord: Joe Biden."

De robot leert hieruit door het na te doen. Maar de paper laat zien dat dit de robot juist te zelfverzekerd maakt. Hij leert de woorden van het antwoord, maar niet het gevoel van twijfel. Hij wordt als een student die de antwoorden uit zijn hoofd leert, maar niet begrijpt wanneer hij moet stoppen met gokken.

Methode B: De "Speltrainer" (RL - Reinforcement Learning)

Dit is de echte doorbraak in dit onderzoek. In plaats van alleen voorbeelden te geven, spelen ze een spelletje met de robot.

• Het spel: De robot krijgt een vraag.
• De beloning:
  • Als hij het juiste antwoord geeft: +1 punt.
  • Als hij het niet weet en zegt "Ik weet het niet": +1 punt (hij wordt beloond voor eerlijkheid!).
  • Als hij een verzonnen antwoord geeft: 0 punten (en een boete).

De robot probeert dan via trial-and-error (proberen en fouten maken) de maximale score te halen. Dit is als een speler die leert dat het beter is om niet te gokken in een kansspel als de kaarten slecht zijn, omdat je dan meer punten behoudt op de lange termijn.

3. Het Verbazingwekkende Resultaat: De Kleine Robot wint

Het meest opvallende is wat ze ontdekten:

• Ze gebruikten een heel klein model (slechts 1,5 miljard parameters, wat klein is voor AI-standaarden).
• Ze trainden deze kleine robot met de "Speltrainer"-methode (RL) en gaven hem eerst wat voorbeelden van hoe je stap-voor-stap nadenkt (Chain-of-Thought).
• Het resultaat: Deze kleine, getrainde robot presteerde beter dan de gigantische, dure GPT-4o! Hij gaf vaker het juiste antwoord én hij gaf vaker eerlijk toe als hij het niet wist.

De les: Een klein model dat goed getraind is om na te denken en eerlijk te zijn, is beter dan een groot model dat alleen maar "weet" hoe het moet klinken.

4. Wat werkt wel en wat niet?

De auteurs deden veel experimenten met verschillende hulpmiddelen:

• Extra informatie geven (zoals een kennisgrafiek): Dit hielp niet echt. Het was alsof je de robot een dik naslagwerk geeft, maar hij blijft toch de verkeerde pagina's lezen.
• Stap-voor-stap denken (Chain-of-Thought): Dit was cruciaal. De robot moest eerst "denken" (een denkproces schrijven) voordat hij antwoordde. Dit hielp hem om de valkuilen te zien.
• De verhouding van vragen: Als je de robot te veel vragen geeft waar hij "Nee" moet zeggen, leert hij te snel en zegt hij bij alles "Nee". Als je te weinig "Nee"-vragen geeft, leert hij het niet. Het is een delicate balans, net als het bakken van een cake: te veel suiker en het is te zoet, te weinig en het is smakeloos.

Samenvatting in één zin

Deze paper laat zien dat we grote taalmodellen niet alleen slimmer kunnen maken, maar ze vooral betrouwbaarder kunnen maken door ze te belonen voor het durven zeggen "Ik weet het niet", en dat zelfs kleine, slim getrainde modellen hierin beter zijn dan de grootste modellen die we nu hebben.

De belangrijkste boodschap: Soms is stilte (of het zeggen "Ik weet het niet") goud waard, en dat moeten we onze AI's leren.

Technische samenvatting

Titel: When Silence is Golden: Can LLMs Learn to Abstain in Temporal QA and Beyond?

Publicatie: ICLR 2026 (voorgesteld)
Auteurs: Xinyu Zhou, Chang Jin, Carsten Eickhoff, Zhijiang Guo, Seyed Ali Bahrainian.

---

1. Probleemstelling

Grote Taalmodellen (LLMs) hebben de neiging om altijd een antwoord te genereren, zelfs wanneer ze onzeker zijn of wanneer de vraag onbeantwoordbaar is. Dit fenomeen, vaak "hallucineren" genoemd, leidt tot betrouwbare maar misleidende output. Dit probleem is vooral acuut in temporeel vragen beantwoorden (Temporal QA), waar feiten veranderen naarmate de tijd vordert en context vaak ambigu of tegenstrijdig is.

In dit scenario moeten modellen niet alleen redeneren over tijdsafhankelijke informatie, maar ook erkennen wanneer een vraag onbeantwoordbaar is (bijvoorbeeld omdat informatie ontbreekt of verouderd is) en zich dan moeten onthouden van het geven van een antwoord (abstention). Bestaande methoden zoals kalibratie of prompt-engineering blijken onbetrouwbaar in complexe redeneertaken, en modellen zoals GPT-4o presteren slecht op het herkennen van onbeantwoordbare tijdsgebonden vragen.

2. Methodologie

De auteurs presenteren de eerste empirische studie die zich richt op het trainen van LLMs om een onthoudingsvermogen (abstention ability) te ontwikkelen specifiek voor temporele QA. De aanpak combineert verschillende technieken:

• Probleemdefinitie: Het model moet een correct antwoord genereren als dat bestaat, of "No Answer" genereren als de vraag onbeantwoordbaar is op basis van de context.
• Informatie-extractie (Input Variaties):
  • Implicit: Het gebruik van de originele context, tijdsgerelateerde sub-contexten (gefilterd op relevantie), en Knowledge Graphs (KGs) die uit de context worden gehaald.
  • Explicit: Het gebruik van Chain-of-Thought (CoT) supervisie, waarbij het model stap-voor-stap redeneert voordat het antwoord geeft.
• Trainingspipeline:
  1. Supervised Fine-Tuning (SFT): Het model wordt eerst getraind op een betrouwbaar dataset met CoT-voorbeelden (geselecteerd door een expert-model zoals GPT-o1) om een "cold start" te creëren voor redenering.
  2. Reinforcement Learning (RL): Na SFT wordt het model verder geoptimaliseerd met Group Relative Policy Optimization (GRPO).
• Beloningssysteem (Reward Design): Een cruciaal onderdeel is het ontwerpen van een regelgebaseerde beloning die drie doelen nastreeft:
  • Format Reward: Zorg dat het model denkt in <thought> en antwoordt in <answer> tags.
  • Answer Reward:
    • Als de vraag onbeantwoordbaar is en het model zegt "No Answer": Beloning = 1.0 (eerlijkheid).
    • Als de vraag beantwoordbaar is en het antwoord klopt: Beloning gebaseerd op Rouge-L en Exact Match (EM).
    • Anders: Beloning = 0 (om hallucinaties en onnodig onthouden te straffen).

3. Belangrijkste Resultaten

De experimenten zijn uitgevoerd op de TimeQA-dataset (Easy en Hard versies) en diverse andere QA-datasets voor generalisatietests.

• Prestaties van RL vs. SFT:
  • Een klein model (Qwen2.5-1.5B) getraind met de CoT-SFT + RL-pipeline overtreft GPT-4o.
  • Op TimeQA-Easy behaalde het model een verbetering van 3,46% in Exact Match (EM) ten opzichte van GPT-4o.
  • Op TimeQA-Hard was de verbetering zelfs 5,80% in EM.
  • Het model verbeterde de True Positive-rate voor onbeantwoordbare vragen met 20% ten opzichte van een puur SFT-variant.
• Effect van Input Types:
  • CoT is essentieel: Zonder de CoT-SFT "cold start" faalt RL-training.
  • Context vs. KG: Het toevoegen van Knowledge Graphs of gefilterde sub-contexten gaf beperkte voordelen vergeleken met het gebruik van de originele context in combinatie met CoT-supervisie.
  • SFT vs. RL: SFT alleen leidt vaak tot oververtrouwen (overconfidence) en vermindert de betrouwbaarheid. RL verbetert de redeneercapaciteit en eerlijkheid, maar vereist zorgvuldige tuning om oververtrouwen te voorkomen.
• Generalisatie:
  • Modellen getraind op temporele QA generaliseren slecht naar niet-temporele (OOD) taken. De onthoudingsvaardigheid is moeilijk over te dragen naar domeinen buiten de trainingsverdeling.
  • Er is een afweging (trade-off) tussen algehele nauwkeurigheid en het vermogen om zich correct te onthouden.

4. Kernbijdragen

1. Eerste Systematische Studie: Dit is het eerste werk dat zich systematisch richt op het leren van onthouding in temporele QA, een domein waar dynamische gebeurtenissen en ambiguïteit het probleem verergeren.
2. Efficiënte RL-pipeline: Het bewijzen dat een klein model (1.5B parameters) met de juiste RL-strategie (gecombineerd met CoT-SFT) grotere gesloten modellen (zoals GPT-4o) kan overtreffen in complex redeneren met onthouding.
3. Inzicht in Trainingstechnieken: Het paper onthult dat SFT alleen vaak schadelijk is voor betrouwbaarheid (veroorzaakt oververtrouwen), terwijl RL de prestaties aanzienlijk verbetert, mits de beloning en data-distributie correct zijn ingesteld.
4. Analyse van Onthouding: Het identificeert dat het verhogen van het aantal Knowledge Graphs het model juist minder voorzichtig maakt (minder onthouden), wat een praktisch dilemma creëert tussen nauwkeurigheid en voorzichtigheid.

5. Betekenis en Conclusie

De studie benadrukt dat "stilte" (het niet beantwoorden van een vraag) een leerbare vaardigheid is die cruciaal is voor de betrouwbaarheid van LLMs in hoog-risico domeinen zoals geneeskunde en recht. De auteurs concluderen dat:

• RL, in combinatie met expliciete CoT-supervisie, een krachtigere methode is dan alleen SFT voor het ontwikkelen van robuuste redeneer- en onthoudingsvaardigheden.
• Het vinden van de optimale verhouding tussen beantwoordbare en onbeantwoordbare data in de trainingsset een kritieke uitdaging blijft; te veel onbeantwoordbare data kan leiden tot een model dat "altijd onthoudt".
• Toekomstig werk moet zich richten op het verbeteren van generalisatie naar andere domeinen en het ontwikkelen van principes voor onzekerheidsbewust trainen.

De dataset en de code zijn openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in dit veld stimuleert.