🤖 machine learning

LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts

Dit artikel introduceert LoRA Scaffolded Policy Optimization (LSPO), een mechanisme tijdens de sampling-tijd dat reinforcement learning-gradiënten herstelt op "cliff" prompts waarbij alle gesamplede rollouts falen door tijdelijk een low-rank adapter aan te passen om succesvolle oplossingen te genereren, waardoor de prestaties op wiskundige redenering op benchmarks zoals AIME en MATH aanzienlijk worden verbeterd vergeleken met standaard baselines.

Oorspronkelijke auteurs: Ken Ding

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ken Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om wiskundeproblemen op te lossen. Je zit er niet daar om elke enkele fout te corrigeren; in plaats daarvan laat je de robot een probleem proberen op te lossen, controleer je of het antwoord juist is, en geef je een "duim omhoog" of een "duim omlaag". Dit wordt Reinforcement Learning genoemd. Om het leren sneller te laten gaan, probeert de robot hetzelfde probleem tien keer achter elkaar op te lossen. Als hij er enkele goed en enkele fout heeft, leert de robot: "Hé, de pogingen die een duim omhoog kregen, waren beter dan het gemiddelde!" Hij gebruikt dat verschil om te begrijpen hoe hij kan verbeteren. Dit is de standaardmanier waarop deze systemen leren.

Maar er is een lastige situatie waarbij deze methode tegen een muur aanloopt. Stel je voor dat de robot probeert een probleem tien keer op te lossen, en hij faalt elke keer. Alle tien de pogingen krijgen een "duim omlaag". Omdat elke poging even slecht is, kan de robot niet zien welke "minder slecht" was of "dichter bij het antwoord" zat. De wiskunde zegt dat het verschil tussen hen nul is, dus krijgt de robot geen enkele instructie meer. Het is alsof je aan de rand van een klif staat waar de grond simpelweg wegvalt; de robot zit vast op de moeilijkste problemen die hij nog niet kan oplossen, en de gebruikelijke leermethode stopt dan simpelweg met werken. Dit is het "klifprobleem", en het laat de slimste, meest uitdagende uitdagingen volledig onaangeraakt door het leerproces.

Maak kennis met een nieuw idee genaamd LoRA Scaffolded Policy Optimization (LSPO). Zie LSPO als een slim veiligheidsnet dat de robot opvangt vlak voordat hij van die klif valt. Wanneer de robot een moeilijk probleem probeert en elke keer faalt, pauzeert het systeem het gebruikelijke leerproces en haalt een klein, tijdelijk "leertwiel" tevoorschijn, een LoRA-adapter. Dit is geen permanente verandering aan de hersenen van de robot; het is een klein, afneembaar gadget.

Hier is de goocheltruc: het systeem neemt het juiste antwoord op dat onmogelijke probleem (dat het in zijn database heeft staan) en leert dit kleine gadget razendsnel hoe het dat probleem moet oplossen. Het is alsof je de robot een spiekbriefje geeft voor alleen dit ene moment. Dan probeert de robot het probleem opnieuw, maar dit keer met het spiekbriefje eraan vast. Plotseling lost hij het probleem op! Het systeem neemt deze nieuwe, succesvolle poging en vervangt deze in de groep van tien pogingen. Nu, in plaats van tien mislukkingen, heeft de groep negen mislukkingen en één succes. De wiskunde werkt weer! De robot kan eindelijk het verschil zien tussen de slechte pogingen en de goede, en hij leert hoe hij beter kan worden.

Het beste deel? Zodra de robot heeft geleerd van die ene succesvolle poging, trekt het systeem het spiekbriefje onmiddellijk eraf en gooit het weg. De permanente hersenen van de robot leren alleen van de ervaring, maar houdt het tijdelijke gadget niet bij zich. Dit zorgt ervoor dat de robot "schoon" blijft en niet in de war raakt door het spiekbriefje later.

De onderzoekers testten dit op een model dat getraind is met 103.000 wiskundeproblemen. Ze ontdekten dat deze methode ongelooflijk goed werkt. Op een set van 16 verschillende tests (een mix van verschillende wiskundewedstrijden en moeilijkheidsgraden) versloeg de nieuwe methode de oude standaard in 15 van de 16 gevallen, met één geval dat een perfecte gelijkheid was. In sommige van de moeilijkste tests verbeterde de nieuwe methode het succespercentage met wel 10,7 punten. Ze maten ook precies hoe vaak dit "veiligheidsnet" werkte: het veranderde ongeveer 43% van die "vastgelopen" groepen mislukkingen succesvol in groepen die daadwerkelijk konden leren.

Dit paper beweert niet alle wiskundeproblemen te hebben opgelost of een perfecte oplossing voor elke situatie te hebben gevonden. Het suggereert dat door een tijdelijke, low-rank adapter te gebruiken om deze specifie quite "klif"-momenten op te lossen, we de leer-signalen kunnen terugwinnen die voorheen verloren gingen. De resultaten zijn gebaseerd op specifieke experimenten met een bepaald model en dataset, en laten zien dat deze "splice-and-discard"-aanpak een veelbelovende manier is om AI-modellen te helpen de zeer moeilijkste problemen aan te pakken waar ze momenteel voor staan.

Technische Samenvatting: LoRA Scaffolded Policy Optimization (LSPO)

1. Probleemstelling: De "Cliff" Blind Spot in RLVR

Reinforcement Learning from Verifiable Rewards (RLVR), met name het gebruik van Group Relative Policy Optimization (GRPO) en de opvolger DAPO, is de standaard geworden voor het aanleren van wiskundig redeneren in Large Language Models (LLMs). Deze methoden lijden echter aan een structurele blind spot die bekend staat als het "cliff" probleem.

In GRPO wordt per prompt een groep van $K$ rollouts gesampled. Het voordeel (advantage) voor elke rollout wordt berekend door de reward van de rollout te normaliseren ten op respectie van het groepsgemiddelde.

Standaard regime: Als een groep een mix bevat van successen en mislukkingen, is het voordeel niet-nul en leert de policy.
Het Cliff regime: Op "cliff prompts"—problemen aan de grens van de capaciteiten van het model waarbij elke gesamplede rollout in de groep faalt—is de totale groepsreward nul. Bijgevolg is het groepsgemiddelde nul, de standaarddeviatie nul, en is het binnen-groep voordeel voor alle rollouts identiek nul.

Gevolg: De policy gradient voor deze prompts verdwijnt exact. Het model ontvangt geen leersignaal van precies de problemen die het probeert op te lossen. Naarmate de training vordert en makkelijkere prompts worden beheerst, hoopt de "onopgeloste staart" zich op bij deze grens, en produceert een groeiend deel van de trainingsbatch geen gradiënt meer.

2. Methodologie: LoRA Scaffolded Policy Optimization (LSPO)

LSPO is een mechanisme op sampling-tijd dat ontworpen is om de verloren gradiënt op cliff prompts te herstellen zonder de onderliggende RL-loss functie aan te passen. Het omvat een bestaande GRPO/DAPO-loop en introduceert een tijdelijke, low-rank scaffold.

Kernmechanisme

Het proces werkt in vier fasen per RL-stap:

Detectie: Het systeem identificeert "cliff prompts" waar de som van de groepsrewards nul is.
Scaffolding (Supervised Fit): Een kleine, low-rank adapter wordt aan de bevroren base model gekoppeld. Deze adapter wordt kortstondig supervised fine-tuned (SFT) alleen op de grondwaarheid (ground-truth) oplossingen van de gedetecteerde cliff prompts.
Re-sampling: De cliff prompts worden opnieuw gesampled met behulp van de samengestelde policy (Base + Adapter). Omdat de adapter is gestuurd door de ground-truth, is het waarschijnlijk dat deze ten minste één succesvolle rollout genereert, waardoor de niet-nul variantie binnen de groep wordt hersteld.
Splicing en Gradient Routing:
- Succesvolle re-rollouts worden teruggeplaatst in de RL-batch, waarbij de oorspronkelijke gefaalde rollouts worden vervangen.
- Strikte Gradient Routing: Er worden twee aparte optimizers gebruikt.
  - De SFT optimizer werkt alleen de LoRA adapter bij.
  - De RL optimizer werkt alleen het base model bij.
- Importance Sampling: De ingevoegde rijen zijn off-policy (gegenereerd door Base+Adapter). Om dit te corrigeren, gebruikt de importance sampling ratio de log-waarschijnlijkheden van de Base+Adapter als noemer en de Base alleen als teller.
- Discard: De adapter wordt weggegooid (of gereset) bij het checkpoint. Het uiteindelijke product is een base-only model; de adapter wordt nooit geleverd.

Belangrijke Ontwerpkeuzes

Transient Scaffold: De adapter is geen permanente gewichtsupdate maar een tijdelijke propositie-distributie die uitsluitend wordt gebruikt om succesvolle samples voor de RL-batch te genereren.
Disjoint Gradients: Het base model ontvangt nooit directe supervised gradients; het leert de cliff oplossingen alleen indirect via de RL-gradiënt afgeleid van de door de adapter opgeroepen succesvolle rollouts.
Geen Meta-Objectives: In tegenstelling tot methoden die gebruikmaken van bilevel optimalisatie of coöperatieve winsten, vertrouwt LSPO op een eenvoudige twee-optimizer splitsing.

3. Experimentele Opstelling

Base Model: DeepSeek-R1-Distill-Qwen-1.5B.
Dataset: DeepMath-103K (competitie-stijl wiskundeproblemen met verifieerbare antwoorden).
Baselines: DAPO (GRPO met DAPO recept) met de scaffold uitgeschakeld.
Evaluatie: 5 gepaarde seeds per arm, geëvalueerd over een gematchte 1000-stappen rapportage-horizon.
Metrics: Pass@k ( $k \in \{1, 4, 8, 16\}$ ) op MATH500 en AIME 2024, 2025, en 2026.

4. Belangrijkste Resultaten

LSPO vertoont consistente verbeteringen ten opzichte van de DAPO baseline over alle geteste benchmarks en metrics.

Algemene Prestaties: Op een 16-cel matrix (4 benchmarks $\times$ 4 pass@k waarden) evenaart of verslaat de 5-seed mean van LSPO DAPO in alle 16 cellen (15 strikte overwinningen, 1 exacte gelijkheid).
Gemiddelde Winst: De verbetering, gemiddeld over de 16 cellen, is +3,82 punten.
Specifieke Winsten:
- AIME24/pass@4: +10,66 punten.
- AIME24/pass@16: +6,67 punten.
- AIME26/pass@16: +6,67 punten.
- MATH500/pass@1: +2,40 punten.
Pass@1 Verbetering: LSPO verbetert pass@1 op elke benchmark (variërend van +1,33 tot +4,67 punten), wat aangeeft dat de winst niet louter een verbreding van de sampling-distributie is, maar een verbetering in single-sample accuratesse.
Cliff Conversie Efficiëntie: Het mechanisme zet ongeveer 43% van de anders nul-gradiënt cliff groepen om in groepen die een bruikbaar policy-gradiënt signaal dragen. De per-seed conversieratio is nauw (41,3%–45,5%).

5. Betekenis en Claims

Het artikel positioneert LSPO als een oplossing voor een structurele faalmodus in huidige RLVR-training. De primaire claims zijn:

Gradient Recovery: LSPO herstelt de policy gradient op prompts waar standaard GRPO een nul-signaal produceert, waardoor het model direct kan leren van zijn frontier failures.
Clean Deliverable: In tegen tegenstelling tot andere adapter-gebaseerde RL-methoden (bijv. Tina, BRIDGE) die aangepaste gewichten leveren of gradiënten in de base fusioneren, levert LSPO een base-only model. De supervisie is gelokaliseerd in tijdelijke parameters die worden weggegooid, wat garandeert dat het uiteindelijke model geen adapter-gewichten draagt.
Sampling-Time Interventie: De methode pakt het cliff probleem aan tijdens de sampling-fase in plaats van door de loss landscape of de gewichten van het base model direct te wijzigen.
Variantie Controle: Door de adapter low-rank en kortstondig te houden, blijft de importance sampling correctie goed geconditioneerd, waardoor de high-variance regime wordt vermeden die geassocieerd wordt met grote off-policy proposities.

De auteurs merken beperkingen op, waaronder de vereiste voor ground-truth oplossingen (niet alleen eindantwoorden) voor de cliff prompts, en het feit dat de methode werd geëvalueerd op een specifieke model- en datasetconfiguratie. De resultaten suggereren echter dat het "cliff" probleem effectief gemitigeerd kan worden door supervisie te lokaliseren in tijdelijke low-rank parameters.