🤖 machine learning

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

Dit paper introduceert Klear-Reasoner, een model met geavanceerde redeneervermogens dat wordt bereikt door een volledig post-training workflow te analyseren en een nieuwe Gradient-Preserving Clipping Policy Optimization (GPPO) methode te introduceren die de exploratie en het leren van suboptimale trajecten verbetert, wat resulteert in toonaangevende prestaties op wiskunde- en programmeerbenchmarks.

Oorspronkelijke auteurs: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Klear-Reasoner: De Slimme Student die Leer van Fouten en Zelfvertrouwen

Stel je voor dat je een zeer intelligente, maar nog wat onervaren student hebt (een kunstmatige intelligentie) die uitblinkt in wiskunde en programmeren. De onderzoekers van Kuaishou Technology hebben deze student, Klear-Reasoner, getraind om niet alleen snelle antwoorden te geven, maar om echt na te denken, net als een mens die een lastig raadsel oplost.

Hier is hoe ze dat deden, vertaald in begrijpelijke taal:

1. De Leerboeken: Kwaliteit boven Aantal

Stel je voor dat je moet leren voor een examen. Je kunt duizenden boeken kopen met willekeurige informatie, of je kunt een paar zeer goed geschreven, nauwkeurige boeken kiezen.

Het oude idee: "Hoe meer boeken, hoe beter."
De Klear-Reasoner-methode: Ze ontdekten dat een kleine verzameling van de allerbeste, moeilijkste voorbeelden veel effectiever is dan een grote hoop gemiddelde boeken.
De verrassing: Ze lieten zelfs de "foutieve" antwoorden in de lesboeken staan, maar alleen voor de moeilijke vragen. Waarom? Omdat het zien van een verkeerde oplossing op een lastig probleem de student helpt om te begrijpen waarom iets niet werkt. Het is als een sportcoach die je niet alleen laat winnen, maar ook laat zien hoe je een valpartij moet voorkomen. Voor makkelijke vragen wilden ze alleen perfecte antwoorden, maar voor moeilijke puzzels is het zien van fouten juist leerzaam.

2. De Trainer: GPPO (De "Zachte" Trainer)

Tijdens het trainen gebruiken ze een methode genaamd Reinforcement Learning (versterkend leren). Stel je voor dat de student een spelletje speelt en een trainer (de computer) geeft feedback.

Het probleem met oude trainers: Als de student iets heel creatiefs probeert (een "hoge entropie" stap) en het lukt niet direct, of als de student een fout maakt die ver weg is van het juiste antwoord, scholden de oude trainers de student direct uit en zeiden: "Dit is fout, doe het niet meer!" Hierdoor durfde de student niet meer te experimenteren.
De nieuwe trainer (GPPO): Deze trainer is slimmer. Hij zegt: "Oké, die stap was misschien te ver weg, maar ik heb nog steeds iets geleerd van je poging." Hij geeft de feedback niet volledig af, maar bewaart de leerkracht van die stap, zelfs als hij de stap corrigeert.
- De metafoor: Het is alsof je een kind leert fietsen. Als het kind een rare beweging maakt die bijna een val is, duw je het niet weg (wat de kans op leren verkleint), maar je grijpt zachtjes in en laat het kind voelen wat er misging, zodat het de volgende keer beter weet wat het moet doen. Dit zorgt ervoor dat de student durft te experimenteren en sneller leert van zijn fouten.

3. De Beloningen: Geen "Alles-of-Niets"

Bij het programmeren is het vaak zo dat een stukje code 90% goed werkt, maar faalt op één klein detail.

Oude methode: "Ofwel werkt het perfect (beloning), ofwel faalt het (straf)." Dit is frustrerend voor de student.
Nieuwe methode (Soft Reward): Als de code 10 van de 16 tests haalt, krijgt de student 10/16 punten. Dit is als een cijfer geven in plaats van alleen "geslaagd" of "gezakt". Hierdoor ziet de student precies waar hij moet verbeteren en blijft hij gemotiveerd om stap voor stap beter te worden.

4. De Resultaten: Een Topprestatie

Door deze slimme combinatie van goede leerboeken, een zachte trainer die fouten accepteert als leermomenten, en eerlijke puntenverdeling, is Klear-Reasoner een wereldtopper geworden.

In wiskundewedstrijden (zoals AIME) en programmeerwedstrijden (LiveCodeBench) scoort hij extreem hoog, vaak beter dan andere bekende modellen van vergelijkbare grootte.
Zelfs als je hem meer tijd geeft om na te denken (meer "rekenkracht"), wordt hij nog slimmer, wat bewijst dat hij echt redeneert en niet alleen antwoorden uit zijn hoofd leert.

Kortom: Klear-Reasoner is de bewijs dat je een AI niet hoeft te dwingen om perfect te zijn, maar dat je hem juist moet leren om van zijn twijfels en fouten te groeien, met de juiste hoeveelheid goede voorbeelden en een trainer die geduldig is.

Probleemstelling

Hoewel er al veel uitstekend werk is gedaan op het gebied van redenerende modellen (zoals OpenAI's O1-serie en DeepSeek-R1), blijft het reproduceren van hoogpresterende inferentiemodellen moeilijk door onvolledige openbaarmaking van trainingsdetails. Bestaande open-source pogingen (vaak 7-8B parameters) lopen vaak nog achter op de beste gespecialiseerde modellen in wiskundige en programmeertaakredenering.

De auteurs identificeren twee specifieke tekortkomingen in de huidige methoden:

Data-strategie: Er is onduidelijkheid over de optimale balans tussen datakwaliteit en diversiteit, en of foutieve voorbeelden (onjuiste antwoorden) tijdens het toezicht (SFT) schadelijk zijn of juist nuttig kunnen zijn voor de exploratie van het model.
Beperkingen van Clipping in RL: Bestaande Reinforcement Learning (RL) methoden, zoals PPO en GRPO, gebruiken een "clipping"-mechanisme om trainingsstabiliteit te garanderen. Dit mechanisme heeft echter twee nadelige effecten:
- Het onderdrukt kritieke exploratie-signalen (hoge entropie tokens) die vaak voorkomen bij belangrijke beslispunten.
- Het vertraagt de convergentie op suboptimale trajecten (negatieve voorbeelden) omdat de gradiënten van deze voorbeelden worden afgesneden, waardoor het model niet leert van zijn fouten.

Methodologie

Het rapport introduceert Klear-Reasoner, een model dat is opgeleid via een combinatie van langere Chain-of-Thought Supervised Fine-Tuning (long CoT SFT) en een nieuw RL-algoritme.

1. Long Chain-of-Thought Supervised Fine-Tuning (SFT)

Data-kwaliteit boven diversiteit: In plaats van grote, diverse datasets te gebruiken, selecteert het team een compacte set van hoogwaardige databronnen (zoals OpenThoughts, NuminaMath, OpenCodeReasoning). Experimenten tonen aan dat een kleine hoeveelheid hoogwaardige data effectiever is dan grote, diverse datasets.
Behoud van moeilijke fouten: Een cruciale bevinding is dat voor moeilijke problemen het filteren op juistheid niet nodig is. Het behouden van moeilijke, onjuiste voorbeelden helpt het model om de grenzen van redenering te verkennen en discrimineert beter tussen geldige en ongeldige paden. Voor makkelijke taken is filtering wel noodzakelijk.
Leraar-model: Ze gebruiken DeepSeek-R1-0528 als leraar om antwoorden te genereren, wat resulteert in een dataset van 1,5 miljoen wiskundige en programmeerproblemen.

2. Gradient-Preserving Clipping Policy Optimization (GPPO)

Dit is de kerninnovatie van het rapport om de beperkingen van standaard clipping op te lossen.

Het probleem: In standaard PPO/GRPO worden gradiënten van tokens die buiten de clipping-grenzen vallen ( $1 \pm \epsilon$ ) volledig genegeerd (op 0 gezet).
De oplossing (GPPO): GPPO behoudt de gradiënten van deze "geclipte" tokens, maar beperkt hun grootte tot een veilige, vooraf bepaalde grens.
- Voor positieve voorbeelden met hoge entropie (exploratie) worden de gradiënten behouden in plaats van weggegooid, wat de exploratiecapaciteit verbetert.
- Voor negatieve voorbeelden (suboptimale trajecten) worden de gradiënten ook behouden, wat de convergentie versnelt door het model sneller te laten leren van fouten.
- De methode gebruikt een "stop-gradient" operatie om de voorwaartse berekening ongewijzigd te houden, maar past de achterwaartse gradiëntberekening aan zodat deze nooit nul wordt, maar wel binnen een stabiel bereik blijft.

3. Aanvullende RL-strategieën

Zachte Beloningen (Soft Rewards): Voor programmeertaken wordt geen binair beloningssysteem (0 of 1) gebruikt, maar een proportionele beloning gebaseerd op het percentage doorgevoerde testcases. Dit vermindert de "sparsity" van beloningen en biedt fijnmaziger feedback.
Data-filtering: Voor code-taken worden prompts gefilterd op basis van een geschatte pass@16 score om fouten in testcases te vermijden. Voor wiskunde worden groepen met een nul-voordeel (zero-advantage) verwijderd om de trainingsstabiliteit te verhogen.
SFT Loss Integratie: Tijdens de RL-fase wordt een SFT-verliesfunctie toegevoegd aan positieve voorbeelden om de beleidsverdeling te regulariseren en "reward hacking" te voorkomen.

Belangrijkste Resultaten

Klear-Reasoner-8B (gebaseerd op Qwen3-8B) presteert opvallend goed op meerdere benchmarks, vaak beter dan modellen van vergelijkbare grootte en zelfs beter dan sommige grotere gespecialiseerde modellen.

Wiskunde:
- AIME 2024: 90,5% (bij een inferentiebudget van 64K tokens).
- AIME 2025: 83,2%.
- HMMT 2025: 70,8%.
Programmeren:
- LiveCodeBench V5: 66,0%.
- LiveCodeBench V6: 58,1%.

De resultaten tonen aan dat Klear-Reasoner-8B, zelfs met een inferentiebudget van 32K, prestaties bereikt die vergelijkbaar zijn met modellen die 64K of 96K tokens gebruiken. De combinatie van GPPO en zorgvuldige data-curatie blijkt cruciaal voor deze prestaties.

Significantie en Conclusie

Dit rapport levert een belangrijke bijdrage aan het veld van reasoning-modellen door:

Inzicht in Data: Het weerlegt het dogma dat alleen correcte data gebruikt moet worden voor SFT. Het toont aan dat voor complexe taken, het behouden van moeilijke, onjuiste voorbeelden de exploratie en het redeneervermogen verbetert.
Nieuw RL-algoritme: GPPO lost fundamentele problemen op met bestaande clipping-mechanismen. Door gradiënten van alle tokens te behouden (maar te begrenzen), wordt een betere balans gevonden tussen trainingsstabiliteit, exploratie en het leren van negatieve voorbeelden.
Reproduceerbaarheid: Het rapport biedt een gedetailleerde analyse van de volledige trainingsworkflow, van data-preparatie tot RL, wat een waardevol blauwdruk biedt voor de gemeenschap om hoogpresterende redenerende modellen te reproduceren zonder toegang te hebben tot de interne details van gesloten modellen.

Kortom, Klear-Reasoner demonstreert dat met een goed ontworpen data-strategie en geavanceerde RL-technieken (zoals GPPO), modellen van middelgrote grootte (8B) state-of-the-art prestaties kunnen leveren in complexe redeneringstaken.