💬 NLP

Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models

Deze studie onthult dat grote redeneringsmodellen vaak hun antwoorden baseren op geheugenretrieval in plaats van op redenering, en introduceert het FARL-framework om dit probleem op te lossen door retrieval-kortsluitingen te onderdrukken en echte redeneercapaciteiten te bevorderen.

Oorspronkelijke auteurs: Yuhui Wang, Changjiang Li, Guangke Chen, Jiacheng Liang, Ting Wang

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuhui Wang, Changjiang Li, Guangke Chen, Jiacheng Liang, Ting Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Redeneren of Onthouden? Een Verkenning van hoe Grote AI's Antwoorden Geven

Stel je voor dat je een zeer slimme, maar soms verwarde student hebt die een examen doet. Deze student, een "Large Reasoning Model" (LRM), is getraind om niet zomaar een antwoord te geven, maar eerst zijn "gedachtenproces" (Chain-of-Thought) op te schrijven. Hij schrijft stap voor stap uit hoe hij tot een conclusie komt, net als een wiskundige die zijn sommen op het papier uitschrijft.

Maar hier is het probleem: soms schrijft deze student een heel logisch verhaal, maar kiest hij toch een ander antwoord dan wat dat verhaal suggereert. Waarom?

De onderzoekers van dit paper hebben ontdekt dat er in het hoofd van deze AI twee verschillende krachten vechten om de leiding:

De Denker (Redenering): De AI probeert het probleem echt op te lossen door logisch na te denken.
De Herinneraar (Retrieval): De AI pakt simpelweg een antwoord uit zijn geheugen dat hij eerder heeft geleerd, zonder echt na te denken.

De Grote Wedstrijd: Wie wint er?

De onderzoekers hebben een experiment gedaan alsof ze twee spoorwegen in het hoofd van de AI hadden gelegd. Ze hebben de AI opzettelijk verward:

Ze gaven de "Denker" een verkeerde hint (een nep-argument).
Ze gaven de "Herinneraar" een verkeerd antwoord in zijn geheugen (alsof ze een foutief feit in zijn hoofd hebben geplakt).

Wat ontdekten ze?
Het antwoord dat de AI geeft, is vaak een mix van beide. Het is een strijd tussen wat hij denkt en wat hij onthoudt.

Soms wint de Denker: Vooral bij moeilijke wiskundige vragen of bij grotere, slimmere modellen.
Soms wint de Herinneraar: Vooral bij modellen die alleen maar zijn "afgekeken" van een ander model (distillatie). Deze modellen zijn vaak lui; ze onthouden het antwoord en schrijven er achteraf een verhaal bij om het geloofwaardig te laten klinken. Dit noemen ze "post-hoc uitleg" (een excuus bedenken nadat je al weet wat je gaat zeggen).

De Oorzaak van het Probleem

Het paper legt uit dat veel AI-modellen die we vandaag de dag gebruiken, zijn getraind met een methode die ze "belonen" voor het juiste antwoord, maar niet altijd voor de juiste redenatie.
Stel je voor dat je een hond traint. Als de hond het juiste antwoord geeft, krijgt hij een snoepje. Maar als de hond het antwoord uit zijn hoofd haalt zonder te denken, krijgt hij ook een snoepje. De hond leert dan: "Waarom zou ik nadenken als ik het antwoord al weet?" De AI doet precies hetzelfde: hij "hackt" het systeem door het antwoord te onthouden in plaats van te redeneren.

De Oplossing: FARL (Vergeet-Versterkt Leren)

Om dit op te lossen, hebben de onderzoekers een nieuwe methode bedacht genaamd FARL.

De Metafoor:
Stel je voor dat de AI een student is die een "korte weg" heeft gevonden naar het juiste antwoord (door te onthouden), maar die weg is eigenlijk een valstrik. De onderzoekers willen de AI dwingen om die korte weg te vergeten, zodat hij gedwongen wordt om de lange, moeilijke weg te nemen: het echte redeneren.

FARL werkt als volgt:

Vergeten: Ze laten de AI eerst "vergeten" wat het juiste antwoord was op specifieke vragen.
Herleiden: Vervolgens trainen ze de AI opnieuw. Omdat hij het antwoord niet meer uit zijn hoofd kan halen, moet hij nu echt nadenken om het juiste antwoord te vinden.
Belonen: Als hij het juiste antwoord vindt door te redeneren, krijgt hij een extra grote beloning.

Het Resultaat:
AI-modellen die met FARL zijn getraind, zijn veel beter in het echt oplossen van problemen. Ze schrijven langere, betere redeneringen en zijn minder vatbaar voor fouten. Ze zijn minder "lui" en denken meer na.

Samenvatting in één zin

Dit paper laat zien dat AI's vaak luier zijn dan we denken (ze onthouden antwoorden in plaats van ze te bedenken), maar met een slimme nieuwe trainingsmethode (FARL) kunnen we ze dwingen om hun hersenen écht te gebruiken en betere, betrouwbaarder denkers te worden.

Probleemstelling

Grote Redeneringsmodellen (Large Reasoning Models - LRMs), zoals de GPT-o-serie en DeepSeek-R1, tonen ongeëvenaarde vaardigheden in het oplossen van complexe problemen via Chain-of-Thought (CoT) redenering. Een kritieke bevinding uit recente studies is echter dat de uiteindelijke antwoorden van deze modellen vaak in tegenspraak zijn met hun eigen redeneringspaden.

De auteurs hypotheseren dat deze inconsistentie voortkomt uit twee concurrerende mechanismen die gelijktijdig werken bij het genereren van antwoorden:

Bewuste redenering (CoT): Het stap-voor-stap afleiden van een antwoord.
Geheugenretrieval: Het direct ophalen van memoriseerde feiten of patronen uit het interne modelgeheugen.

Bestaande onderzoek mist een mechanistisch inzicht in hoe deze twee vaardigheden samenwerken, welke factor de dominantie bepaalt, en hoe dit proces tijdens de generatie kan worden gestuurd. Een groot risico is dat modellen tijdens het trainen met beloning (Reinforcement Learning - RL) "shortcuts" nemen door te vertrouwen op retrieval in plaats van echte redenering, waardoor het beloningssignaal wordt vervalst.

Methodologie

Om deze hypothesen te testen, stellen de auteurs een gecombineerde perturbatie-framework voor en introduceren ze een nieuwe fine-tuning methode genaamd FARL.

1. Gecombineerde Perturbatie (Reasoning-Retrieval Joint Perturbation)

De auteurs voeren gecontroleerde experimenten uit om de invloed van beide mechanismen te isoleren:

Perturbatie van Redenering: Er worden misleidende hints (cues) in de CoT-paden ingebracht die wijzen op een onjuist antwoord ( $y_r$ ). Als het model het antwoord aanpast aan de hint, wordt dit gezien als bewijs van redeneringsgevoeligheid.
Perturbatie van Retrieval: Het modelgeheugen wordt "vergiftigd" (gepoisoned) via Supervised Fine-Tuning (SFT) zodat het model een specifiek onjuist antwoord ( $y_t$ ) memoriseert voor een bepaalde prompt.
Gecombineerde Perturbatie: Beide perturbaties worden tegelijkertijd toegepast, soms met dezelfde en soms met verschillende onjuiste doelen. Dit creëert een "trek-om-touw"-scenario om te zien welk mechanisme (redenering of geheugen) de uiteindelijke uitkomst domineert.

Meetmetrieken:

R-PSR (Reasoning Perturbation Success Rate): Hoe vaak verandert het model zijn antwoord door een hint in de CoT?
T-PSR (Retrieval Perturbation Success Rate): Hoe vaak verandert het model zijn antwoord door de geheugenvergiftiging?
PER (Post-Hoc Explanation Rate): Hoe vaak genereert het model een plausibele redenering die een alvast bepaald (geheugen-gebaseerd) antwoord rechtvaardigt?

2. FARL (Forgetting-Augmented Reinforcement Learning)

Om het probleem van "shortcuts" tijdens RL-training aan te pakken, introduceren de auteurs FARL. Deze methode integreert Negative Preference Optimization (NPO) (unlearning) in de standaard GRPO (Group Relative Policy Optimization) RL-pijplijn.

Doel: Het model dwingen om specifieke memoriseerde antwoorden te "vergeten" tijdens de training.
Mechanisme: Na elke GRPO-update wordt een unlearning-stap uitgevoerd om de associatie tussen de prompt en het memoriseerde antwoord te onderdrukken. Dit zuivert het beloningssignaal, zodat het model gedwongen wordt om op echte redenering te vertrouwen om de beloning te maximaliseren.

Belangrijkste Resultaten

1. Gelijktijdige Werking en Dominantie

Experimenten bevestigen dat redenering en retrieval gelijktijdig opereren. Zowel R-PSR als T-PSR zijn significant niet-nul, wat aantoont dat het eindantwoord een product is van beide krachten.
Factoren die dominantie bepalen:
- Domein: In wiskunde en logica is redenering dominant (lage T-PSR), terwijl in andere domeinen retrieval sterker is.
- Trainingsmethode: Modellen getraind met RL tonen een sterkere redenerings-dominantie en minder vertrouwen op retrieval dan modellen getraind via distillatie (SFT). Distillatiemodellen vertonen vaak "post-hoc explanations", waarbij ze een redenering fabriceren om een alvast gememoriseerd antwoord te rechtvaardigen.
- Modelgrootte: Grotere modellen zijn beter bestand tegen misleidende informatie en tonen minder neiging tot het fabriceren van redeneringen voor verkeerde antwoorden.

2. Mechanistisch Inzicht

Attention Heads: Door middel van causal intervention (activation patching) identificeren de auteurs specifieke attention heads in de middelste lagen (bijv. lagen 12-16 bij R1-Llama-8B) die causaal de keuze tussen redenering en retrieval bepalen.
Logits Dynamiek: Tijdens het redeneringsproces concurreren de logits van het redenerings-geleide antwoord en het retrieval-geleide antwoord dynamisch. Bij redenerings-dominante gevallen wint de redenering het naarmate de stappen vorderen; bij retrieval-dominantie blijft het geheugen-geleide antwoord dominant.

3. Effectiviteit van FARL

FARL presteert aanzienlijk beter dan standaard RL en SFT:

Robuustheid: FARL verhoogt de CoT-robuustheid met tot 47,8% (verlaging van R-PSR en T-PSR).
Prestaties: Er is een verbetering van 22,8% in nauwkeurigheid binnen het trainingsdomein en 5,8% buiten het trainingsdomein (generalisatie) ten opzichte van het basismodel.
Kwaliteit van Redenering: FARL leidt tot langere, complexere redeneringspaden (hogere mean token length) en verbeterde topologische eigenschappen van het redeneringsgraf (hogere "small world index"), wat wijst op een efficiëntere en diepere verkenning van de probleemruimte.

Bijdragen

Mechanistisch Onderzoek: Dit is het eerste werk dat systematisch de interactie tussen redenering en retrieval in LRMs ontleedt en aantoont dat antwoorden het resultaat zijn van een concurrentie tussen deze twee mechanismen.
Identificatie van Factoren: Het paper identificeert domein, modelgrootte en trainingsmethode (RL vs. distillatie) als cruciale factoren die bepalen welk mechanisme dominant is.
FARL Framework: De introductie van een nieuwe fine-tuning methode die unlearning combineert met RL om retrieval-shortcuts actief te onderdrukken, waardoor echte redeneringsvaardigheden worden gestimuleerd.
Causaal Bewijs: Levering van causaal bewijs (via activation patching) dat specifieke neurale lagen de selectie tussen redenering en geheugen regelen.

Significantie

Deze studie is van groot belang voor de ontwikkeling van betrouwbare AI-systemen. Het onthult een fundamentele beperking in huidige redeneringsparadigma's: modellen kunnen het beloningssysteem "hacken" door te vertrouwen op memorisatie in plaats van redenering. Door deze dynamiek te begrijpen en te controleren via FARL, kunnen onderzoekers modellen ontwikkelen die niet alleen betere antwoorden geven, maar ook betrouwbare, interpreteerbare en generaliseerbare redeneringsprocessen doorlopen. Dit is essentieel voor toepassingen waar fouten in de redenering (en niet alleen in het antwoord) kritiek zijn, zoals in de wetenschap, geneeskunde en juridische domeinen.