💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

Dit artikel introduceert Reinforcement Learning met Transferable Reward (RLTR), een nieuwe aanpak die de robuustheid en de efficiëntie van het aantal benodigde samples van LLM-redeneren verbetert door modellen te trainen om redeneerstappen te produceren die effectief blijven wanneer ze worden overgedragen om aparte modellen te begeleiden, in plaats van zich uitsluitend te richten op de correctheid van het uiteindelijke antwoord.

Oorspronkelijke auteurs: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Gepubliceerd 2026-02-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert om een complex wiskundig probleem op te lossen.

De Oude Manier (RLVR): "Heb je het juiste antwoord?"
Momenteel werkt de meeste AI-training als een strenge leraar die alleen naar het uiteindelijke antwoord op het toetsblad kijkt. Als de student een slordig, verwarrend of gelukkig gokje opschrijft dat toevallig wel klopt, geeft de leraar een "A". Als de student een perfecte, logische uitleg schrijft maar aan het einde één klein rekenfoutje maakt, krijgt hij een "F".

Het artikel noemt dit RLVR (Reinforcement Learning with Verifiable Rewards). Het is geweldig in het krijgen van het juiste antwoord, maar het geeft niet om hoe de student daar gekomen is. Het resultaat? De student kan leren om het systeem te "gamen" of te vertrouwen op fragiele logica die uit elkaar valt als je hen vraft om het aan iemand anders uit te leggen.

Het Nieuwe Idee (RLTR): "Kan iemand anders jouw werk afmaken?"
De auteurs van dit artikel, Hyunseok Lee en collega's, stellen een andere filosofie voor. Zij geloven dat echte redenering lijkt op een estafette. Een goede hardloper (de AI) moet niet alleen de finishlijn passeren; ze moeten de estafettestok zo doorgeven dat de volgende hardloper hem gemakkelijk kan oppakken en kan doorgaan zonder te struikelen.

Ze noemen deze nieuwe methode RLTR (Reinforcement Learning with Transferable Reward).

Zo werkt het, met behulp van een eenvoudige analogie:

De Generator (De Eerste Hardloper): De AI begint een probleem op te lossen en schrijft zijn gedachten op (de redenering).
De Truncatie (Het Afsnijden van de Tape): Het systeem stopt de AI halverwege. Het neemt het eerste deel van de redenering en snijdt het af.
De Ontvanger (De Tweede Hardloper): Een andere AI (de "Ontvanger") krijgt dit afgeknipte stuk tekst toegewezen. Deze moet lezen wat de eerste AI heeft geschreven en de oplossing afmaken.
De Beloning:
- Als de Ontvanger het probleem succesvol kan afmaken en het juiste antwoord krijgt, krijgt de eerste AI een bonuspunt.
- Als de Ontvanger in de war raakt, vastloopt of een fout antwoord geeft omdat het eerste deel slordig of onlogisch was, krijgt de eerste AI geen bonus.

Waarom is dit beter?
Denk aan het schrijven van een verhaal.

RLVR geeft alleen om het feit dat het verhaal eindigt met "Het Einde". Je zou een verhaal kunnen schrijven dat nergens op slaat, maar als het laatste woord "Het Einde" is, win je.
RLTR geeft erom of het verhaal zo duidelijk en logisch is dat iedereen die de eerste helft leest, gemakkelijk kan raden hoe het afloopt. Het dwingt de AI om "robuuste" redeneringen te schrijven—logica die stabiel, helder en herbruikbaar is.

Wat hebben ze gevonden?
Ze hebben dit getest op moeilijke wiskunde- en wetenschapsproblemen. Hier zijn de belangrijkste conclusies:

Consistenter: Wanneer ze de AI vroegen om hetzelfde probleem 64 keer op te lossen, kreeg de "Transfer"-methode (RLTR) vaker het juiste antwoord wanneer ze de meerderheidsstemming gebruikten. De oude methode (RLVR) was soms wel goed, maar de redenering was zo wankel dat verschillende pogingen vaak met elkaar in strijd waren.
Sneller Leren: De nieuwe methode leerde sneller. Het bereikte hetzelfde prestatieniveau als de oude methode in ongeveer 2,5 keer minder trainingsstappen. Het is alsover je een betere opleiding krijgt in de helft van de tijd omdat de lessen duidelijker zijn.
Werkt op Moeilijkere Problemen: Het voordeel was nog groter bij de moeilijkste wiskundige wedstrijden (zoals AIME en AMC). Wanneer problemen lastig zijn, is een helder, overdraagbaar denkproces belangrijker dan alleen het raden van het juiste getal.
Niet Alleen Wiskunde: Ze hebben dit ook getest op wetenschappelijke vragen, en het werkte daar ook, wat suggereert dat deze vaardigheid van "helder denken" van toepassing is op veel soorten problemen.

Kort samengevat:
Het artikel betoogt dat "correct zijn" niet genoeg is. De redenering van een AI moet zo solide en helder zijn dat als je het halverwege aan een andere AI geeft, die tweede AI het werk perfect kan oppakken en afmaken. Door AI te trainen om "overdraagbaar" te zijn, worden ze slimmer, consistenter en leren ze veel sneller.

Technische Samenvatting: Beyond Correctness: Learning Robust Reasoning via Transfer

1. Probleemstelling

Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) de redeneerkracht van Large Language Models (LLM's) aanzienlijk heeft verbeterd door geleerde beloningsmodellen te vervangen door regelgebaseerde verificatie van uiteindelijke antwoorden, lijdt het aan een kritieke beperking: het optimaliseert uitsluitend voor de correctheid van het uiteindelijke antwoord. Deze aanpak slaagt er niet in om de robuustheid van het redeneerproces zelf te waarborgen.

In praktische scenario's zijn modellen die sporadisch maar inconsistent correcte antwoorden produceren over verschillende bemonsteringspaden of decoderingsvariaties minder waardevol dan modellen die stabiele, reproduceerbare redeneringen genereren. Eerdere studies wijzen uit dat RLVR kan leiden tot "breekbare" redeneertrajecten waarbij het verhogen van het aantal samples ( $K$ ) de nauwkeurigheid van meerderheidsstemming (Maj@K) niet verbetert, en deze zelfs kan verslechteren. Het huidige paradigma mist een stimulans voor tussenliggende redeneerstappen om stabiel, interpreteerbaar of herbruikbaar te zijn door andere modellen.

2. Methodologie: Reinforcement Learning met Transferbare Beloning (RLTR)

De auteurs stellen RLTR voor, een framework dat robuust redeneren operationaliseert via het concept van redeneertransferabiliteit. De kernfilosofie is dat robuust redeneren nuttig moet blijven buiten het specifieke model dat het heeft geproduceerd; het moet overleven bij afkaping (truncation), herinterpretatie en voortzetting.

Kernmechanisme

RLTR breidt de standaard RLVR-doelstelling uit met een Transfer Beloning. Het trainingsproces omvat twee modellen:

Generator Model ( $M_{gen}$ ): Een trainbaar model dat een volledig redeneertraject en een definitief antwoord produceert.
Receiver Model ( $M_{rcv}$ ): Een apart, bevroren model dat wordt gebruikt om de kwaliteit van de tussenliggende redenering van de generator te evalueren.

Het Transfer Beloningsproces:

De generator produceert een redeneersequentie $y_{gen}$ .
Het redeneertraject wordt afgebroken op een willekeurige ratio $\tau \in (0, 1]$ om een prefix $y_{gen}[:\ell]$ te creëren.
Deze prefix wordt gevoed aan het bevroren receiver-model, dat probeert de redenering te voltooien en een definitief antwoord te genereren.
De Transfer Beloning ( $R_{trans}$ ) is binair: deze is 1 als het voltooide antwoord van de receiver overeenkomt met de grondwaarheid (ground truth), en 0 anders.

Doelfunctie:
De totale beloning voor de generator is een gewogen combinatie van de standaard antwoordbeloning en de transferbeloning:
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
Waarbij $R_{RLVR}$ de correctheid van het antwoord en de formaatbeloningen omvat, en $t$ het gewicht is voor de transfercomponent. De generator wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO) om deze gecombineerde beloning te maximaliseren.

3. Belangrijkste Bijdragen

Nieuw Framework: Introductie van RLTR, het eerste RLVR-framework dat expliciet LLM's stimuleert om redeneertrajecten te produceren die transferabel zijn tussen verschillende modellen.
Procesniveau Supervisie: In tegenstelling tot Process Reward Models (PRMs) die dichte stap-voor-stap annotaties en geleerde verifiers vereisen, bereikt RLTR procesniveau supervisie met enkel de verificatie van het uiteindelijke antwoord, zonder extra annotatiekosten of het trainen van hulpmodellen.
Verbeterde Consistentie: Demonstratie dat het optimaliseren voor transferabiliteit de bemonsteringsconsistentie (Maj@K) direct verbetert, waarmee de breekbaarheid die bij standaard RLVR wordt waargenomen, wordt aangepakt.
Sample Efficiëntie: Het framework bereikt vergelijkbare of superieure prestaties ten opzichte van RLVR met aanzienlijk minder trainingsstappen (ongeveer 2,5 $\times$ minder op MATH-500).

4. Experimentele Resultaten

De auteurs hebben RLTR geëvalueerd op meerdere wiskundige en wetenschappelijke redeneerbenchmarks, waaronder MATH-500, GSM8K, AMC23, AIME2024 en GPQA.

Nauwkeurigheid en Consistentie: RLTR presteert consistent beter dan zowel het basismodel als de met RLVR getrainde modellen op basis van zowel gemiddelde nauwkeurigheid als Maj@K-metrieken.
- Op MATH-500 verbeterde RLTR Maj@64 van 82,6% (RLVR) naar 84,2%, terwijl de gemiddelde nauwkeurigheid ook steeg van 71,0% naar 77,0%.
- Op AMC23 verbeterde RLTR Maj@64 van 61,7% naar 67,5%.
- Op GPQA (wetenschappelijk redeneren) verbeterde RLTR de gemiddelde nauwkeurigheid van 33,0% naar 34,8% en Maj@16 van 36,8% naar 37,7%, wat domein-agnostische generalisatie aantoont.
Trainingsdynamiek:
- Snelheid: RLTR bereikt het nauwkeurigheidsniveau van RLVR in ongeveer 2,5 $\times$ minder trainingsstappen.
- Correlatie: Er is een sterke positieve correlatie tussen de groei van transferabiliteit en Maj@K tijdens de training. In contrast hiermee vertonen RLVR-modellen vaak een degradatie in transferabiliteit en Maj@K in latere trainingsfasen, ondanks een stabiele gemiddelde nauwkeurigheid.
Ablatiestudies:
- Beloningsratio: Het verhogen van het gewicht van de transferbeloning ( $t$ ) verhoogt de high-K consistentie (Maj@K) aanzienlijk, wat bevestigt dat transferabiliteit een onderscheidend en waardevol signaal is.
- Receiver Modellen: De methode blijft effectief, zelfs met kleinere receiver-modellen (bijv. 1,5 miljard parameters), hoewel sterkere receivers leiden tot een betere high-K consistentie.
- Diversiteit: In tegen tegenstelling tot RLVR, dat de neiging heeft de diversiteit (Pass@K) te verminderen door zich te concentreren op specifieke oplossingspatronen, behoudt RLTR of verbetert het Pass@K terwijl de nauwkeurigheid toeneemt.
Computationele Kosten: Hoewel RLTR extra berekeningen introduceert via het receiver-model, is het over het geheel genomen computationeel efficiënter. Om dezelfde prestatie als RLTR te bereiken, vereist RLVR ongeveer 2,3 $\times$ meer computationele kosten (FLOPs).

5. Betekenis en Claims

Het paper beweert dat het optimaliseren voor redeneertransferabiliteit leidt tot robuuster LLM-redeneren. Door redeneren te behandelen als een vorm van "betekenistransfer" die moet overleven bij onderbreking en voltooiing, moedigt RLTR modellen aan om stabiele, interpreteerbare en werkelijk generaliseerbare redeneerpaden te genereren.

De auteurs positioneren dit werk als een oplossing voor de "outcome-only" evaluatiebeperking in huidige RLVR-methoden. Zij stellen dat robuust redeneren niet alleen gaat over het correct zijn, maar over het uitlegbaar zijn op een manier waarop anderen het betrouwbaar kunnen volgen. Deze aanpak biedt een pad naar meer betrouwbare AI-agenten in complexe domeinen (zoals wetenschappelijke ontdekking of programmeren) waar consistentie en reproduceerbaarheid even cruciaal zijn als ruwe nauwkeurigheid, terwijl de computationele last van de training wordt verminderd.