💬 NLP

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Dit artikel onthult dat Reinforcement Learning met Verifieerbare Beloningen (RLVR) een "Perplexity Paradox" in LLM's kan induceren door een verborgen "Anchor-Adapter"-circuit te activeren dat redeneren omzeilt ten gunste van het memoriseren van schijnoplossingen, wat een mechanistisch kader biedt om dergelijke datacontaminatie te detecteren en te mitigeren.

Oorspronkelijke auteurs: Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Tovertruc" van een Wiskundestudent

Stel je voor dat je een briljante wiskundestudent hebt (het AI-model, specifiek Qwen2.5). Je wilt hen leren om moeilijke problemen op te lossen. Normaal gesproken geef je ze een probleem, denken ze de stappen door, en geef je ze een gouden ster als ze het juiste antwoord hebben. Dit wordt Reinforcement Learning with Verifiable Rewards (RLVR) genoemd.

Onlangs merkten onderzoekers iets vreemds op. Zelfs wanneer ze de student nep gouden sterren gaven (willekeurige beloningen, of beloningen voor het simpelweg in het juiste formaat opschrijven van het antwoord, zelfs als het antwoord fout was), gingen de testscores van de student op specifieke examens drastisch omhoog.

De Paradox: Hoe kan een student slimmer worden door beloond te worden voor het zijn van foutief of willekeurig?

Het paper betoogt dat de student niet echt slimmer wordt in wiskunde. In plaats daarvan bedrijven ze een tovertruc: ze onthouden stiekem de antwoorden op de specifieke testvragen die ze eerder hebben gezien en citeren deze simpelweg, waarbij ze de eigenlijke wiskunde negeren.

De "Perplexity Paradox": Het Onthullende Teken

Hoe weten we dat ze aan het spieken zijn (memoriseren) in plaats van aan het leren zijn? De onderzoekers keken naar de "zelfverzekerdheid" van de student op twee verschillende manieren:

De Prompt (De Vraag): De student begon verward en incoherent te klinken bij het lezen van de vraag.
Het Antwoord: De student werd hyperzelfverzekerd en perfect bij het noemen van het uiteindelijke getal.

De Analogie: Stel je een persoon voor die probeert een toespraak op te zeggen die hij uit zijn hoofd heeft geleerd. Wanneer je vraagt: "Waar gaat de toespraak over?", struikelt hij en klinkt hij nerveus (hoge verwarring). Maar zodra hij de toespraak begint, spreekt hij perfect zonder aarzeling (lage verwarring).

In de AI-wereld wordt dit de Perplexity Paradox genoemd. De AI offert zijn vermogen om de vraag te begrijpen op om het antwoord perfect te kunnen reproduceren.

Het Detectiewerk: Het "Spiekbriefje" Vinden

De onderzoekers gokten niet zomaar; ze gebruikten instrumenten voor "mechanistische interpreteerbaarheid". Denk aan deze als röntgenbrillen waarmee ze in het brein van de AI (de lagen) kunnen kijken om precies te zien waar de magie gebeurt.

Ze ontdekten een specifiek tweeledig circuit binnen de AI dat fungeert als een Spiekbriefje Systeem:

1. De "Anchor" (De Trigger)

Locatie: Het midden van het brein (Lagen 18–20).
Wat het doet: Dit is de "schakelaar". Wanneer de AI een vraag ziet die hij eerder heeft gezien (een "gelekte" of besmette vraag), licht dit deel van het brein op en zegt: "Stop met denken! Ik ken deze! Haal het geheugen op!"
De Analogie: Dit is als een bibliothecaris die, bij het zien van een specifieke boektitel, onmiddellijk stopt met zoeken in de schappen en naar een verborgen lade rent om een vooraf geschreven samenvatting te pakken.

2. De "Adapter" (De Vertaler)

Locatie: Het latere deel van het brein (Lagen 21+).
Wat het doet: Zodra de Anchor het antwoord ophaalt, is het de taak van de Adapter om de interne gedachten van de AI zo te hervormen dat ze passen bij dat onthouden antwoord. Het dwingt de rest van het brein om de afkorting te accepteren.
De Analogie: Dit is als een vertaler die de verborgen notitie van de bibliothecaris neemt en de spreker dwingt om het te zeggen op een manier die als een normale zin klinkt, zelfs als de spreker eigenlijk iets anders wilde zeggen.

Het Bewijs: De Schakelaar Aan en Uit Draaien

Om te bewijzen dat dit geen toeval was, voerden de onderzoekers "chirurgie" uit op het brein van de AI:

De Reset: Ze namen de "Anchor"-lagen (18–20) en vervingen deze door het oorspronkelijke, ongetrainde brein.
- Resultaat: De AI vergat onmiddellijk de onthouden antwoorden en de scores op de "gespiekte" tests daalden.
De Controle: Ze deden hetzelfde op een gloednieuwe test die de AI nog nooit had gezien (LiveMathBench).
- Resultaat: De prestaties van de AI veranderden niet. Hij kon nog steeds nieuwe problemen oplossen omdat zijn echte redeneervaardigheden overal verspreid zijn, en niet alleen in die ene "Anchor"-plek.

De "Volume Knop": Het Spieken Beheersen

Het meest fascinerende deel is dat de onderzoekers specifieke neuronen (kleine schakelaars) vonden binnen de Anchor die fungeren als een volume knop voor het spiekbriefje.

Zet het omhoog: Als ze het signaal in deze neuronen verhoogden, werd de AI afhankelijker van het onthouden, waardoor hij nog beter werd in de oude tests maar slechter in redeneren.
Zet het omlaag: Als ze het signaal onderdrukten, stopte de AI met spieken. Hij stopte met het onthouden en begon weer te proberen het probleem daadwerkelijk op te lossen.

De Conclusie

Het paper concludeert dat wanneer AI-modellen worden getraind met "spurious" beloningen (nep of willekeurige signalen), ze niet beter leren redeneren. In plaats daarvan leren ze hun geheugen te exploiteren. Ze vinden een afkorting: "Als ik deze specifieke vraag zie, zal ik de wiskunde negeren en gewoon het antwoord uitspugen dat ik me herinner."

De onderzoekers hebben nu exact in kaart gebracht waar dit gebeurt in het brein van de AI en hebben een manier gevonden om dit "spiekgedrag" te detecteren en zelfs uit te schakelen, zodat we er zeker van zijn dat wanneer we hoge scores zien, dit komt doordat de AI slim is en niet omdat hij slechts een onthouden script reciteert.

Technische Samenvatting: Het Spurious Rewards Paradox: Mechanistisch Begrip van Hoe RLVR Memorisatie-shortcuts Activeert in LLM's

Probleemstelling
Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een dominante paradigma geworden voor het verbeteren van de redeneervaardigheden van Large Language Models (LLM's), met name in deterministische domeinen zoals wiskunde. De heersende aanname is dat prestatiewinst voortkomt uit de optimalisatie van robuuste redeneerbeleid via grondwaarheid-supervisie. Recente empirische observaties dagen dit narratief echter uit. Modellen zoals Qwen2.5-Math hebben significante prestatieverbeteringen vertoond op standaard benchmarks (bijv. MATH-500, AIME), zelfs wanneer ze zijn getraind met "spurious rewards" (schijnbeloningen)—signalen die willekeurig, op basis van formaten of volledig incorrect zijn. Hoewel eerder werk suggereerde dat deze winsten het gevolg konden zijn van datacontaminatie (het memoriseren van testsets tijdens pre-training), bleef er een kritieke kloof: als de data al aanwezig was, waarom was de initiële nauwkeurigheid dan beperkt, en hoe ontsluit training met incorrecte beloningen paradoxaal genoeg deze prestaties? Dit paper onderzoekt de interne mechanismen waarmee spurious RLVR een verschuiving veroorzaakt van algemeen redeneren naar "hardnekkige memorisatie".

Methodologie
De auteurs maken gebruik van een suite aan mechanistische interpreteerbaarheidstools om de leerdynamiek van het Qwen2.5-Math-7B model onder spurious RLVR-training te ontleden. De methodologie combineert statische en dynamische analyses:

Perplexity Analyse: De studie volgt de perplexiteit van antwoord-tokens versus prompt-tokens om macroscopische leeranomalieën te identificeren.
Path Patching: Om outputs causaal toe te schrijven aan specifieke modelcomponenten, wisselen de auteurs activaties uit tussen "Leakage" samples (waar memorisatie actief is) en "Stable" samples (waar redeneren behouden blijft) over verschillende lagen heen. Dit isoleert de randen in de computationele graaf die verantwoordelijk zijn voor het triggeren van geheugenretrieval.
Logit Lens & Jensen-Shannon Divergentie (JSD): Deze tools worden gebruikt om de laag-gewijze emergentie van tokens te monitoren en de uitlijning tussen intermediaire verborgen toestanden en de uiteindelijke outputverdeling te kwantificeren. Hoge JSD-scores duiden op aanzienlijke resterende computation voordat het model zich vastlegt op een antwoord.
Neurale Differentiaalvergelijkingen (NDEs): De residu-stroom updates worden gemodelleerd als een continue traject ( $dx(t)/dt = F_\theta(x(t))$ ). Dit maakt de mathematische identificatie mogelijk van "bifurcatiepunten" waar gememoriseerde en redeneer-trajecten divergeren in de latente ruimte.
Mechanistische Interventie: De auteurs voeren causale sturing uit door de keys van specifieke Multilayer Perceptron (MLP) neuronen te schalen die als cruciaal zijn geïdentificeerd voor het memorisatiecircuit. Dit test de causale sufficiëntie van deze neuronen bij het activeren of onderdrukken van de shortcut.

Belangrijkste Bijdragen en Bevindingen

1. De Perplexity Paradox
De studie identificeert een "Perplexity Paradox" die uniek is voor modellen die spurious RLVR-winsten vertonen. Op gecontamineerde datasets daalt de perplexiteit van het model op antwoord-tokens aanzienlijk, terwijl de perplexiteit aan de prompt-zijde (coherentie) verslechtert. Deze divergentie suggereert dat het model algemeen redeneren omzeilt om direct gememoriseerde oplossingen op te halen, waarbij de kwaliteit van de taalmodellering op de input wordt opgeofferd om de loss op de output te minimaliseren.

2. Ontdekking van het Anchor–Adapter Circuit
Door middel van mechanistische analyse lokaliseren de auteurs een voorheen onbekend circuit dat verantwoordelijk is voor dit gedrag, bestaande uit twee onderscheidende componenten:

Functionele Anchor (Lagen 18–20): Deze middelste lagen fungen als de beslissende trigger. Path patching en NDE-analyse onthullen dat de "scheidingskracht" tussen leakage en stable samples hier piekt. Dit is waar het model causaal besluit een gememoriseerd antwoord op te halen en een hoog-waarschijnlijkheid trigger-token injecteert.
Structurele Adapters (Lagen 21+): Vervolglagen ondergaan drastische gewichtsreorganisatie (hoge JSD in $W_{up}$ en $W_{gate}$ ) niet om nieuwe kennis op te slaan, maar om de intermediaire representatie te transformeren zodat deze de signalen van de Functionele Anchor kan accommoderen. Deze lagen fungeren als adapters die de feature-ruimte roteren om uit te lijnen met de gememoriseerde oplossing.

3. Empirische Validatie van Contaminatie
Ablatie-studies bevestigen dat dit circuit dataset-afhankelijk is. Het terugzetten van de Functionele Anchor-lagen naar de basisgewicht van het model veroorzaakt een significante daling in nauwkeurigheid op gecontamineerde benchmarks (bijv. MATH-500), terwijl de prestaties op schone, leakage-vrije datasets (bijv. LiveMathBench) grotendeels onveranderd blijven. Omgekeerd heeft het manipuleren van deze lagen minimale impact op "Stable" samples die steunen op echt redeneren, wat aangeeft dat algemene redeneervaardigheden over het netwerk verdeeld zijn en niet kritiek afhankelijk zijn van dit specifieke circuit.

4. Causale Sturing via MLP Interventie
De auteurs demonstreren dat het schalen van de keys van specifieke MLP-neuronen binnen het geïdentificeerde circuit in staat stelt tot bidirectionale causale sturing.

Amplificatie: Het verhogen van de schaleringsfactor vergroot kunstmatig de afhankelijkheid van het model van gecontamineerde data, waardoor prestaties worden hersteld zelfs op samples waar het baseline-model faalde.
Onderdrukking: Het verlagen van de schaleringsfactor onderdrukt de shortcut, waardoor de onderliggende baseline-prestaties van het model zichtbaar worden.
Dit levert definitief causaal bewijs dat deze neuronen het mechanisme zijn voor shortcut-activatie. Bovendien wordt een "probe-gated" interventie voorgesteld, die het circuit selectief onderdrukt wanneer een leakage-probe een hoge waarschijnlijkheid van contaminatie detecteert, wat effectief verdachte winsten auditeert zonder de prestaties op nieuwe benchmarks te schaden.

Betekenis en Claims
Het paper claimt de eerste mechanistische verklaring te bieden voor hoe spurious RLVR-signalen de interne architectuur van een LLM fysiek herconfigureren om memorisatie boven redeneren te verkiezen. Door het "Anchor–Adapter" circuit en de "Perplexity Paradox" te identificeren, bieden de auteurs een roadmap voor:

Het onderscheiden van Capaciteit van Contaminatie: Het bieden van tools om tussen het onderscheid te maken tussen genuiste redeneer-generalisatie en de retrieval van vooraf gememoriseerde data.
Het Mitigeren van Datacontaminatie: Het demonstreren dat specifieke interventies contaminatie-gedreven prestaties kunnen onderdrukken zonder hertraining, wat een methode biedt om modellen post-hoc te "decontamineren".
Het Verbeteren van RLVR-veiligheid: Het benadrukken van de kwetsbaarheid van RLVR voor optimalisatie via shortcuts, wat wijst op een behoefte aan meer geavanceerde beloningsfuncties en evaluatie-benchmarks die resistent zijn tegen leakage.

De auteurs hanteren een bescheiden standpunt door hun bevindingen te presenteren als bewijs van een specifiek mechanisme binnen de Qwen-familie bij opereren op gecontamineerde data, in plaats van een universele wet voor alle LLM's. Zij benadrukken dat hun werk dient als een diagnostisch instrument om de transparantie en veiligheid van AI-systemen die in kritieke domeinen worden ingezet te vergroten.