🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

Dit artikel onthult dat on-policy reinforcement learning met verifieerbare beloningen (RLVR) de directe taakprestaties kan verbeteren, terwijl het onbedoeld "verifier-induced support reshaping" veroorzaakt, waarbij het beleid zijn outputdistributie vernauwt waardoor succesvolle trajecten voor toekomstige doelstellingen te zeldzaam worden om te samplen, wat de langetermijntrainbaarheid en gezamenlijke capaciteit in gevaar brengt.

Oorspronkelijke auteurs: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot leert om een behulpzame assistent te zijn. Je wilt niet alleen dat de robot feiten kent; je wilt dat het regels volgt, lastige wiskundeproblemen oplost en code schrijft. Om dit te doen, gebruiken wetenschappers een methode genaamd "reinforcement learning", wat lijkt op een spel waarbij de robot verschillende antwoorden probeert, een score krijgt van een "verifier" (een strenge rechter) en leert om de hoog scorende zetten te herhalen. De grote hoop is dat we de robot één vaardigheid na de andere kunnen aanleren—eerst wiskunde, dan schrijven, dan coderen—zonder dat het de oude dingen vergeet of in de war raakt. Dit is de droom van "continual learning": een robot bouwen die steeds beter wordt in alles, stap voor stap. Maar wat als het proces van het leren van de robot om perfect te zijn in één ding, per ongels de deur naar het leren van het volgende ding vergrendelt? Wat als de robot leert om zo goed te zijn in het opvolgen van instructies, dat het vergeet hoe het stap-voor-stap moet denken, of andersom?

Dit artikel onderzoekt een sluipend probleem genaamd "verifier-induced support reshaping". De onderzoekers ontdekten dat wanneer je een AI traint om uitstekend te zijn in een specifieke taak met behulp van een strikte rechter, de AI niet alleen beter wordt in die taak; de AI verandert ook zijn persoonlijkheid op een manier die het veel moeilijker maakt om later andere taken te leren. Het is alsof je een hond traint om alleen te gaan zitten als je "Zit" zegt, en dat je er in dat proces per ongeluk aan de hond hebt geleerd dat "Zit" het enige woord is dat ertoe doet. Als je later probeert hem te leren om te "Blijven zitten", kan hij in de war raken omdat zijn brein is gevormed om alles behalve dat woord te negeren. Het papier laat zien dat dit niet alleen gaat over de robot die oude trucjes vergeet (een bekend probleem genaamd "catastrophic forgetting"); het gaat erom dat de robot de juiste soort antwoorden zo zeldzaam maakt dat het trainingsproces ze niet meer kan vinden. Zelfs als de robot nog steeds de capaciteit heeft om een wiskundeprobleem op te lossen, stopt hij misschien met het proberen op de juiste manier, omdat hij gewend is geraakt aan een andere stijl van antwoorden.

De onderzoekers testten dit door twee soorten AI-modellen te trainen op twee zeer verschillende taken: het oplossen van wiskundeproblemen en het opvolgen van strikte schrijfinstructies (zoals "schrijf exact 50 woorden" of "gebruik opsommingstekens"). Ze trainden een groep om wiskundegeniën te worden en een andere groep om instructie-opvolgers te worden. Vervolgens wisselden ze de rechters uit om te zien wat er gebeurde.

Hier is wat ze ontdekten:

De Wiskunde-naar-Instructie Valstrik
Wanneer ze de AI eerst trainden om een wiskundegenie te zijn, werd deze gemiddeld genomen beter in het opvolgen van instructies. Er gebeurde echter iets vreemds: de AI werd zeer "gepolariseerd". De AI deed de instructie óf perfect goed, óf volledig fout, met heel weinig pogingen in het "middengebied". Voorheen zou de AI misschien veel verschillende manieren geprobeerd hebben om te antwoorden, waarvan sommige bijna goed waren. Na de wiskundetraining stopte de AI met het proberen van die middenpaden. Dit betekende dat als je veel antwoorden zou proberen te genereren (zoals de AI 32 keer vragen), je minder waarschijnlijk enig succesvol antwoord voor de instructietaken zou vinden. De wiskundetraining had de focus van de AI zo sterk vernauwd dat de AI stopte met het verkennen van de "support" (de variëteit aan pogingen) die nodig is om nieuwe instructie-opvolgingstricks te leren.

De Instructie-naar-Wiskunde Valstrik
Het omgekeerde was nog interessanter. Wanneer ze de AI eerst trainden om een instructie-volger te zijn, begon de AI de manier waarop hij wiskundeproblemen oploste te veranderen. In plaats van zijn werk stap voor stap te laten zien (zoals "Eerst tel ik 2 en 2 op..."), begon de AI direct naar het antwoord te springen ("Het antwoord is 4"). De onderzoekers noemen dit een verschuiving van "Deliberate Reasoning Initiation" (DRI) naar "Direct Answer Initiation" (DAI).
Deze verschuiving was een groot probleem. Omdat de AI begon met het overslaan van de stappen, werd het veel moeilijker om het juiste antwoord te vinden, zelfs als de AI de wiskunde nog wel kende. Sterker nog, hoe vaker de AI direct naar het antwoord sprong, hoe lager het succespercentage werd wanneer ze meerdere pogingen probeerden te nemen. De "support" voor het vinden van het juiste wiskundige antwoord was gekrompen.

Het Geheim van het "Eerste Token"
De onderzoekers groeven dieper om te ontdekken waarom dit gebeurde. Ze ontdekten dat de verandering niet ging over het vergeten van de wiskunde later in de zin. De verandering vond plaats in het allereerste woord dat de AI typte!
Het blijkt dat de "rechter" (verifier) voor wiskunde de AI aanmoedigt om te beginnen met woorden als "Oké" of "Laten we de stappen doorlopen", terwijl de rechter voor instructies aanmoedigt om te beginnen met "Antwoord" of "Hier". Zodra de AI leert om met "Antwoord" te beginnen, raakt hij gevangen in een pad waarbij hij de redeneerstappen overslaat. De onderzoekers bewezen dit door de AI te dwingen te beginnen met de "wiskunde"-woorden, zelfs als deze getraind was als instructie-volger. Wanneer ze dit deden, verbeterde het vermogen van de AI om wiskundige oplossingen te vinden op magische wijze. Dit suggereert dat de AI niet zijn wiskundige brein verloor; hij zat alleen vast in een slechte "opening move" gewoonte.

Kunnen we het oplossen?
Het team probeerde dit probleem op te lossen. Ze probeerden de AI te "pre-trainen" om altijd met de juiste woorden te beginnen (een "DRI prior"), maar dit stelde het probleem alleen maar uit; uiteindelijk schakelde de AI nog steeds over naar de directe-antwoordstijl. Ze probeerden ook een techniek genaamd "on-policy distillation", waarbij een student-AI een leraar-AI probeert na te bootsen. Maar dit werkte alleen als ze de leraar heel zorgvuldig kozen; als de leraar al de "slechte" gewoonte had geleerd, kopieerde de student deze ook.

De Kern van het Verhaal
Het artikel concludeert dat het simpelweg beter maken van een AI in één taak niet garandeert dat het klaar is om de volgende taak te leren. Sterker nog, de verbeteringen in één gebied kunnen soms de "zoekruimte" voor het volgende gebied zo klein maken dat de AI de juiste antwoorden niet meer kan vinden. De winst in wiskunde of instructie-opvolging vertaalt zich niet altijd in antwoorden die zowel correct zijn als aan de regels voldoen. Het is een waarschuwing voor AI-ontwikkelaars: het feit dat een model vandaag hoog scoort op een test, betekent niet dat het niet de deur naar zijn toekomstige leervermogen heeft vergrendeld. Om een AI flexibel te houden, moeten we ervoor zorgen dat hij een breed scala aan "opening moves" beschikbaar houdt, en niet alleen de moves die nu een hoge score halen.

Technische Samenvatting: Verifier-Induced Support Reshaping in On-Policy Optimalisatie

1. Probleemstelling

Het artikel behandelt een kritieke beperking in Continual On-Policy Reinforcement Learning with Verifiable Rewards (RLVR). Terwijl de bestaande literatuur zich vaak richt op de vraag of een model prestaties op voorgaande taken behoudt (catastrofaal vergeten) na het aanpassen aan een nieuwe doelstelling, identificeert dit werk een vooruitziend probleem: Verifier-Induced Support Reshaping (door verifiers geïnduceerde herstructurering van de ondersteuning).

Het kernprobleem is dat het optimaliseren van een beleid (policy) voor een specifieke verifier (bijv. wiskundige correctheid) de steekproefverdeling van het beleid kan veranderen, zodanig dat succesvolle trajecten voor toekomstige doelstellingen (bijv. instructie-opvolging) te zeldzaam worden om binnen een vastgesteld rollout-budget te worden gesampled. Zelfs als de onderliggende capaciteit niet is "vergeten", kan het beleid mogelijk niet langer de noodzakelijke "succesvolle" gedragingen frequent genoeg genereren om een positief trainingssignaal te bieden voor opeenvolgende fasen. De auteurs definiëren effectieve belonbare ondersteuning (effective rewardable support) als de set succesvolle trajecten die waarschijnlijk genoeg blijven om gesampled te worden onder een specifiek budget.

2. Methodologie

De studie maakt gebruik van een gecontroleerd, bidirectioneel experimenteel ontwerp met twee modelfamilies (Qwen3-8B-Base en Qwen2.5-Math-7B) en twee verschillende post-training doelstellingen:

Wiskundig Redeneren (Math-RLVR): Getraind op de MATH-dataset met een verifier die de correctheid van het eindantwoord controleert.
Beperkte Instructie-opvolging (IF-RLVR): Getraind op IFTrain/IFBench met verifiers die expliciete restricties controleren (formaat, lengte, inhoud).

Experimenteel Ontwerp

Bidirectionele Training: De auteurs trainen één tak met Math-RLVR en meten de impact daarvan op de IF-ondersteuning, en vice versa.
Sequentiële Training: Ze testen de volgorde van operaties (Math $\to$ IF en IF $\to$ Math) om te observeren hoe de eerste fase de tweede fase beperkt.
Evaluatiemetrieken:
- Pass@1 (mean@k): Gemiddelde succesratio.
- Best@k: Of er binnen $k$ samples enig succesvol traject bestaat (meet de doorzoekbaarheid).
- Prompt Bucket Analyse: Het categoriseren van prompts in "all-wrong", "mixed" en "all-correct" op basis van $k=32$ rollouts.
- Joint Benchmarks: Gebruik van MathIF en ReasonIF om te testen of een enkele respons zowel correctheid als restricties voldoet.

Mechanisme-analyse

Token-niveau Verdeling: Het analyseren van de Jensen-Shannon (JS) divergentie om te lokaliseren waar beleidsveranderingen optreden.
Causale Interventies: Het forceren van specifieke openings van responsen (bijv. "Answer" vs. "Alright") tijdens het decoderen om te testen of de keuze van het eerste token causaal invloed heeft op de downstream doorzoekbaarheid.
Mitigatiestrategieën: Het testen van Reference Policy Constraints (KL-divergentie), Routing Priors (SFT op specifieke openingstypes) en On-Policy Distillation (OPD).

3. Belangrijkste Resultaten

3.1 Asymmetrische Support Reshaping

Math-RLVR $\to$ IF: Math-RLVR verhoogt de gemiddelde instructie-opvolging succesratio (pass@1) maar vermindert aanzienlijk de best@32. Prompts verschuiven van "mixed" (sommige successen, sommige fouten) naar "all-correct" of "all-wrong". Deze polarisatie vermindert het aantal prompts waarbij sampling een succes kan herstellen, wat effectief de effectieve ondersteuning voor toekomstige IF-training verkleint.
IF-RLVR $\to$ Math: IF-RLVR vermindert de wiskundige doorzoekbaarheid (best@k daalt over geteste budgetten van $k=4$ tot $k=32$ ). Cruciaal is dat het de responsstijl verschuift van Deliberate Reasoning Initiation (DRI) (stap-voor-stap) naar Direct Answer Initiation (DAI) (direct antwoord). Deze verschuiving correleert sterk met het verlies van wiskundige doorzoekbaarheid.

3.2 Gevolgen van Sequentiële Training

IF-Eerst: Training op IF eerst laat de daaropvolgende Math-RLVR achter met bijna geen "mixed" prompts (alleen all-wrong of all-correct). Zonder mixed prompts ontbreekt de variatie in beloning voor groep-relatieve updates, waardoor het model niet in staat is om DRI-gebaseerde redeneerstrategieën te herstellen.
Math-Eerst: Training op Math eerst laat de daaropvolgende IF-RLVR toe om IF-scores te verbeteren, maar dit gaat ten koste van een scherpe daling in de eerder verkregen wiskundige prestaties. Reference policy constraints (KL) kunnen wiskundige prestaties behouden, maar slagen er niet in de IF-winsten van de onbeperkte baseline te evenaren.

3.3 Mechanisme: De Causale Rol van Openings

Lokalisatie: De grootste distributionele verschuivingen vinden plaats bij het eerste gegenereerde token. De ratio van de JS-divergentie bij het eerste token versus interne tokens varieert van $9.8\times$ tot $106.7\times$ .
Reranking vs. Erasure: RLVR herrangschikt (reranks) primair kandidaten die al aanwezig zijn in de top-3 van het basisbeleid, in plaats van geheel nieuwe tokens te introduceren. Het kan echter tokens met een lage waarschijnlijkheid (bijv. "Answer") naar dominantie promoveren.
Causaliteit: Gecontroleerde interventies bevestigen dat het forceren van een DRI-opening (bijv. "Alright") op een IF-RLVR model de wiskundige doorzoekbaarheid herstelt, terwijl het forceren van een DAI-opening deze juist onderdrukt. Dit bewijst dat de keuze van de opening causaal de doorzoekbaarheid van het redeneerpad bepaalt.

3.4 Limieten van Mitigatie

Routing Priors: Een DRI-gebiaste SFT-prior vertraagt de verschuiving naar DAI, maar voorkomt deze niet; tegen stap 100 is de dominantie van DAI bereikt, ongeacht de prior.
On-Policy Distillation (OPD): De resultaten van OPD zijn zeer gevoelig voor de staat van de leraar (teacher). Een geconvergeerde IF-teacher behoudt de wiskundige ondersteuning niet, en geen enkele enkele staat van de teacher optimaliseert simultaan voor zowel IF-transfer als wiskundige retentie.

3.5 Gezamenlijke Capaciteit

Op de MathIF en ReasonIF benchmarks leiden marginale winsten in één domein (bijv. Math-RLVR die de correctheid verbetert) niet proportioneel tot gezamenlijk succes (correctheid + instructie-opvolging). De gezamenlijke ondersteuning ( $J = C \land F$ ) neemt slechts licht toe, wat aangeeft dat verbeteringen in de eindpunten van één doelstelling niet garanderen dat er sprake is van gezamenlijke trainbaarheid of capaciteit.

4. Bijdragen

Support Reshaping Framework: Het artikel kadert continue RLVR in termen van toekomstige trainbaarheid, waarbij "effectieve belonbare ondersteuning" wordt gedefinieerd en wordt aangetoond dat verifiers deze ondersteuning herstructureren, waardoor toekomstige doelstellingen potentieel onbereikbaar worden.
Causale Rol van Openings: Het lokaliseert cross-task verschuivingen tot de eerste paar tokens en stelt een causaal verband vast tussen respons-openings (DRI vs. DAI) en downstream doorzoekbaarheid, wat suggereert dat het probleem ligt bij route-selectie in plaats van brede vermogensverwijdering.
Limieten van Behoud: Het toont empirisch aan dat standaard mitigatietechnieken (sequentiële training, KL-constraints, routing priors, OPD) slechts gedeeltelijk de ondersteuning behouden of een trade-off vormen met de doel-taak winsten, en dat verbeteringen in geïsoleerde metrieken niet garanderen dat er sprake is van gezamenlijke capaciteit.

5. Betekenis en Claims

Het artikel claimt dat verbeteringen aan de eindpunten niet garanderen dat er sprake is van toekomstige trainbaarheid of gezamenlijke capaciteit onder on-policy optimalisatie. In tegenstelling tot catastrofaal vergeten, dat meet hoeveel prestaties behouden blijven, meet support reshaping of succesvolle trajecten voor toekomstige taken nog steeds ontdekbaar zijn.

De auteurs stellen dat de keuze van de verifier in RLVR de "initiatieruimte" van het model fundamenteel verandert. Als een verifier het model naar een specifieke opening duwt (bijv. directe antwoorden), kan het onbedoeld de zoekruimte die nodig is voor andere taken (bijv. stap-voor-stap redeneren) afsluiten. Daarom suggereren de auteurs dat toekomstige on-policy optimalisatiestrategieën expliciet de effectieve belonbare ondersteuning moeten inschatten en behouden over cross-verifier optimalisaties heen, in plaats van enkel te vertrouwen op huidige taakscores of standaard vergeet-metrieken.