🤖 machine learning

Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance

Dit paper introduceert SHEAR, een methode die de nauwkeurigheid van reinforcement learning bij redeneertaken verbetert door de beloningen op token-niveau aan te passen op basis van de Wasserstein-afstand tussen verborgen toestanden (hidden states) van correcte en incorrecte antwoorden.

Oorspronkelijke auteurs: Xinzhu Chen, Wei He, Huichuan Fan, Wenzhe Niu, Zhongxiang Sun, Xuanru Wang, Jiuchong Gao, Jinghua Hao, Renqing He, Weijie Yu

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinzhu Chen, Wei He, Huichuan Fan, Wenzhe Niu, Zhongxiang Sun, Xuanru Wang, Jiuchong Gao, Jinghua Hao, Renqing He, Weijie Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep leerlingen hebt die een heel ingewikkelde wiskundesom moeten oplossen. Aan het einde van de les geef je alleen een cijfer: een 10 als het antwoord goed is, en een 0 als het fout is.

Dit is precies het probleem waar AI-modellen (zoals ChatGPT) nu mee kampen. Ze werken met een methode genaamd GRPO. Het is alsof je een hele pagina vol uitwerkingen nakijkt en zegt: "De hele pagina is goed" of "De hele pagina is fout". Maar wat als de leerling 90% van de tijd briljant was, maar bij de allerlaatste stap een dom foutje maakte? Dan krijgt die leerling een onterecht slecht cijfer voor het hele proces. Dat is niet eerlijk en het helpt de leerling niet om te leren waar het misging.

Dit onderzoek introduceert een slimme oplossing genaamd SHEAR.

De Metafoor: De "Gevoelsmeter" van de Denker

In plaats van alleen naar het eindantwoord te kijken, gaan de onderzoekers in de "hersenen" (de hidden states) van de AI kijken terwijl hij denkt.

Stel je voor dat je een detective bent die niet alleen naar het resultaat van een misdaad kijkt, maar naar de hartslag en de zweetdruppels van de verdachte tijdens het vertellen van zijn verhaal.

De Rustige Fase (Correcte gedachte): Als de AI een logische, correcte weg bewandelt, is zijn "hartslag" (de interne data) stabiel en lijkt hij op de hartslag van andere AI's die het ook goed doen. Er is geen paniek, geen verwarring.
De Chaos-fase (De fout): Op het moment dat de AI een denkfout maakt, verandert zijn interne "vibe" plotseling. De data wordt chaotisch, onvoorspelbaar en totaal anders dan de data van de succesvolle AI's. Het is alsof de hartslag opeens versnelt en de stem gaat trillen.

Wat doet SHEAR precies?

De onderzoekers gebruiken een wiskundig instrument genawd de Wasserstein-afstand. Je kunt dit zien als een "Vibe-Check".

De Vibe-Check: De AI vergelijkt zijn eigen interne gevoelens tijdens een stap met het gevoel van de "winnaars" (de correcte antwoorden) en de "verliezers" (de foute antwoorden).
De Gewichtsbalk: Als de AI tijdens een bepaalde zin een enorme "vibe-shift" ervaart (de afstand tot de winnaars wordt heel groot), dan zegt SHEAR: "Ho stop! Hier is iets cruciaals gebeurd!"
Gepersonaliseerde Feedback: In plaats van elke zin evenveel straf of beloning te geven, geeft SHEAR een extra zware correctie op precies die momenten waarop de interne chaos ontstond. Het is alsof de leraar niet zegt: "Je hele toets is slecht", maar zegt: "Je was heel goed bezig, maar kijk eens heel goed naar die specifieke regel op pagina 3, daar ging je de mist in!"

Waarom is dit een doorbraak?

Normaal gesproken heb je voor dit soort fijne feedback een tweede, superduur AI-model nodig dat elke stap beoordeelt (een Process Reward Model). Dat is duur en traag.

SHEAR is een "zelf-lerende" methode. De AI gebruikt zijn eigen interne signalen om zichzelf te corrigeren. Het is alsof een muzikant niet een leraar nodig heeft om te horen dat hij een valse noot speelt, maar simpelweg zijn eigen interne gevoel voor ritme en toon gebruikt om zichzelf direct bij te sturen.

De Resultaten in Jip-en-janneketaal

De onderzoekers testten dit op moeilijke wiskunde en programmeercode. Het resultaat? De AI's die SHEAR gebruikten, werden veel slimmer dan de AI's die alleen naar het eindantwoord keken. Ze leerden sneller, maakten minder fouten en konden zelfs extreem moeilijke problemen oplossen waar de oude methode volledig de mist in ging.

Kortom: SHEAR leert AI niet alleen wat het antwoord is, maar helpt de AI te begrijpen wanneer hij de weg kwijtraakte in zijn eigen gedachten.

Technische Samenvatting: SHEAR

1. Het Probleem: Het "Credit Assignment" Dilemma

Binnen Reinforcement Learning with Verifiable Rewards (RLVR), zoals gebruikt bij het trainen van Large Language Models (LLM's) voor redeneren (bijv. via het GRPO-algoritme), is het toewijzen van de juiste "credits" een grote uitdaging.

Wanneer een model een complexe wiskundige opgave of programmeercode genereert, krijgt het aan het einde pas feedback: is het antwoord correct of incorrect? Het huidige standaardalgoritme (GRPO) wijst vervolgens dezelfde beloning (advantage) toe aan elke token in de hele reeks. Dit is problematisch: als een model 100 stappen correct redeneert maar bij stap 101 een fout maakt, worden ook de eerste 100 correcte stappen onterecht gestraft. Dit gebrek aan fijnmazige (fine-grained) credit assignment belemmert het leerproces bij lange redeneerketens.

De huidige oplossing is het gebruik van Process Reward Models (PRM's), die elke stap beoordelen. Echter, PRM's zijn extreem duur omdat ze menselijke annotaties of extra getrainde modellen vereisen.

2. De Methodologie: SHEAR

De auteurs stellen SHEAR (Span-level Hidden state Enabled Advantage Reweighting) voor. In plaats van een extern model te gebruiken, stelt SHEAR dat de verborgen toestanden (hidden states) van het model zelf het signaal bevatten dat aangeeft waar de redenering afwijkt van het juiste pad.

De kernstappen van SHEAR zijn:

Span-decompositie: Een gegenereerde reeks (rollout) wordt opgedeeld in overlappende segmenten (spans) met behulp van een sliding window.
Wasserstein Afstand: Voor elke span wordt de Wasserstein-afstand (een maatstaf voor het verschil tussen kansverdelingen) berekend tussen de verborgen toestanden van de huidige span en de verborgen toestanden van de "tegenovergestelde groep" (bijv. de correcte rollouts versus de incorrecte rollouts binnen dezelfde groep).
Detectie van Divergentie: De auteurs ontdekten dat de Wasserstein-afstand significant toeneemt op de momenten dat de redenering van een incorrect pad afwijkt van een correct pad.
Token-level Reweighting: De berekende afstanden worden via max-pooling teruggeprojecteerd naar individuele tokens. Deze waarden dienen als gewichten ( $\omega$ ) om de advantage van GRPO te schalen:
$\tilde{A}_t = A \cdot \omega_t$
Hierdoor krijgen tokens die zich in een gebied van grote representatieve divergentie bevinden (waar de fout waarschijnlijk is gemaakt) een grotere impact op de gradiënt-update.

3. Belangrijkste Bijdragen

Empirische Ontdekking: De auteurs bewijzen dat de verdeling van verborgen toestanden een betrouwbare proxy is voor de lokale kwaliteit van redeneren, zonder dat er extra labels nodig zijn.
Theoretische Fundering: Ze leveren een Separatie-stelling (Separation Theorem). Dit bewijst wiskundig dat, onder bepaalde aannames, de Wasserstein-afstand van segmenten na een fout structureel groter is dan segmenten vóór een fout, mits het signaal groter is dan de statistische ruis.
Zelf-gesuperviseerd Systeem: SHEAR vereist geen extra annotaties, geen extra beloningsmodellen en vereist slechts minimale wijzigingen in de bestaande trainingspijplijn.

4. Resultaten

De effectiviteit van SHEAR werd getest op vijf wiskundige benchmarks (zoals MATH500 en AIME) en vijf programmeer-benchmarks (zoals HumanEval en LiveCodeBench).

Wiskundig Redeneren: SHEAR presteert consistent beter dan standaard GRPO op alle geteste backbones (Qwen, Llama). Opvallend genoeg presteert het zelfs beter dan methoden die gebruikmaken van externe Process Reward Models (PRM's). Dit komt omdat een extern PRM vaak "mismatcht" met de evoluerende interne representaties van het model tijdens de training, terwijl SHEAR direct uit de eigen verborgen toestanden put.
Code Generatie: Ook hier laat SHEAR verbeteringen zien, vooral op complexere taken zoals LiveCodeBench.
Efficiëntie: De extra rekenkracht (computational overhead) is beperkt tot minder dan 16% van de totale trainingstijd, wat het een zeer praktische methode maakt.

5. Betekenis en Conclusie

De paper is significant omdat het aantoont dat LLM's tijdens het redeneren een "interne representatieve drift" vertonen die direct correleert met hun succes of falen. Door deze drift te gebruiken als een zelf-gesuperviseerd signaal, kunnen we het probleem van credit assignment oplossen zonder de enorme kosten van menselijke tussenkomst of het trainen van extra beloningsmodellen. SHEAR biedt hiermee een efficiënte weg naar krachtigere en nauwkeurigere redeneermodellen.