💬 NLP

CATPO: Critique-Augmented Tree Policy Optimization

CATPO (Critique-Augmented Tree Policy Optimization) verbetert reinforcement learning met verifieerbare beloningen door een informativiteitsscore op boomniveau te introduceren om oninformatieve monsters te filteren, door kritiekgestuurde genezing toe te passen om signalen uit mislukte bomen te herstellen, en door een informativiteitsgewogen verlies te gebruiken om een superieure prestatie in wiskundig redeneren te bereiken vergeleken met bestaande boomgebaseerde methoden zoals TreeRPO.

Oorspronkelijke auteurs: Ayush Singh, Umang Goyal, Ankur Dahiya

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ayush Singh, Umang Goyal, Ankur Dahiya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar soms koppige student leert hoe je complexe wiskundige problemen oplost. Je geeft de student geen leraar die elke stap beoordeelt; in plaats daarvan laat je hem proberen, en vertel je pas aan het einde of het uiteindelijke antwoord goed of fout is. Dit is hoe moderne AI-modellen leren redeneren.

Het artikel introduceert een nieuwe methode genamd CATPO (Critique-Augmented Tree Policy Optimization). Om te begrijpen waarom dit bijzonder is, kijken we naar hoe de huidige methoden werken en waar ze tijd verspillen.

Het Probleem: Tijd Verspillen aan "Dode" Bomen

Huidige methoden (zoals TREERPO) gebruiken een strategie genaamd "Tree Rollouts." Stel je voor dat je de student vraagt een probleem op te lossen, maar in plaats van één lang antwoord te schrijven, vertakt hij zich als een boom:

Tak A: Probeert Methode 1.
Tak B: Probeert Methode 2.
Tak C: Probeert Methode 3.

Aan het einde van de dag controleer je de bladeren van de boom. Als elke tak het juiste antwoord krijgt, is de hele boom een succes. Als alle takken falen, is de boom een mislukking.

De Verspilling:
Het artikel stelt dat de computer veel energie verspilt aan het trainen op bomen die hem niets leren:

De "Dead-Correct" Boom: Elke tak kreeg het juiste antwoord. De student weet dit al. Er is hier geen les in; het is also'n oefenen op een pianostuk dat je al perfect beheerst.
De "Dead-Wrong" Boom: Elke tak faalde. De student is volledig de weg kwijt. Zonder een leraar die aanwijst waar het misging, ziet de computer alleen maar "0% succes" en raakt hij in de war. Het is alsof je probeert te leren zwemmen door in een zwembad te zinken zonder instructies.
De "Stale" Boom: De student raadt willekeurig en de resultaten komen niet overeen met zijn zelfvertrouwen. Het is een rommelige, onbehulpzame bende.

Huidige methoden behandelen al deze bomen hetzelfde, waardoor ze rekenkracht verspillen aan de bomen die dat niet nodig hebben.

De Oplossing: CATPO

CATPO is als een slimme coach die naar de "boom" van pogingen van de student kijkt en beslist hoe precies te reageren, wat tijd en energie bespaart. Dit doet het in drie stappen:

1. De "Informativiteitsscore" (Het Oog van de Coach)

Voordat de coach zelfs maar begint met lesgeven, bekijkt hij de boom en geeft er een score aan.

Hoe? Hij controleert twee dingen:
- Diversiteit: Heeft de student verschillende dingen geprobeerd? (Als alle takken hetzelfde zijn, is het saai).
- Verrassing: Kwam het zelfvertrouwen van de student overeen met het resultaat? (Als ze 100% zeker waren en het fout hadden, is dat een geweldig leermoment. Als ze onzeker waren en het goed hadden, was het geluk).
Het Resultaat: Als een boom "Dead-Correct" of "Dead-Wrong" is, geeft de coach een lage score. Als het een "Goldilocks"-boom is (sommige goed, sommige fout, veel leerpotentieel), krijgt deze een hoge score. De computer richt zijn energie dan op de bomen met een hoge score.

2. "Critique-Guided Healing" (De Reddingmissie)

Dit is het meest creatieve deel. Wanneer de coach een "Dead-Wrong" boom ziet (waarbij elke tak faalde), probeert hij deze in plaats van weg te gooien te herstellen.

Stap 1: De coach vindt de allereerste stap waar de student van de rails raakte (de "shallowest failure").
Stap 2: De coach vraagt de student (het AI-model zelf): "Hé, kijk eens naar deze specifieke stap. Waarom denk je dat je hier een fout hebt gemaakt?" De student genereert een critique (een zelfverklaring van de fout).
Stap 3: Gewapend met deze kritiek vraagt de coach de student om opnieuw te proberen alleen vanaf dat gebroken punt, waarbij nieuwe, gecorrigeerde takken worden gegenereerd.
De Magie: Plotseling heeft een boom die 100% falen was, nu enkele succesvolle takken. De "dode" boom is genezen en veranderd in een nuttig trainingsvoorbeeld.

3. Gewogen Leren (Het Slimme Nakijken)

Ten slotte, wanneer de computer zijn brein bijwerkt (de policy), behandelt hij niet elke boom even.

Hoge Score Bomen: Deze krijgen een "zwaar gewicht". De computer leert veel van hen.
Lage Score Bomen: Deze krijgen een "licht gewicht". De computer besteedt er nauwelijks aandacht aan.
Genezende Bomen: Deze krijgen speciale aandacht omdat ze een mislukking hebben omgezet in een succesverhaal.

De Resultaten: Werkt het?

De auteurs hebben dit getest op een wiskundig model genaamd Qwen2.5-Math-1.5B met behulp van een standaard wiskundige dataset.

Het Doel: Wiskundige problemen correct oplossen.
De Competitie: Ze vergeleken CATPO met de standaard platte methode (GRPO) en de standaard boommethode (TREERPO).
De Uitkomst: CATPO won. Het verbeterde de nauwkeurigheid van het model met 4,8% ten opzichte van de standaard boommethode en met 1,9% ten opzichte van de platte methode.
Waarom het het belangrijkst is: De verbetering was het grootst bij de moeilijkste problemen. Dit is logisch, omdat moeilijke problemen meer "Dead-Wrong" bomen creëren. Het vermogen van CATPO om deze bomen te "genezen", gaf het model een enorm voordeel waar andere methoden gewoon opgeven.

Samenvattende Analogie

Stel je een student voor die een meerkeuzetoets maakt.

Oude Manier: De student maakt de toets. Als hij alles goed heeft, leert hij niets. Als hij alles fout heeft, is hij in de war en leert hij ook niets.
CATPO Manier: De leraar bekijkt de toets.
- "Je hebt alles goed? Geweldig, sla dit over."
- "Je hebt alles fout? Laten we kijken naar de eerste vraag waarbij je de fout in ging. Laten we praten over waarom je het fout had, en laten we dan proberen alleen dat deel te herstellen."
- "Nu laten we ons concentreren op de vragen waarbij je onzeker was, maar wel iets nieuws hebt geleerd."

Door zich alleen te richten op de momenten die de student daadwerkelijk iets leren, maakt CATPO het trainingsproces sneller en het resulterende AI-model slimmer.

Technische Samenvatting: CATPO (Critique-Augmented Tree Policy Optimization)

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een dominant paradigma geworden voor het verbeteren van de redeneervaardigheden van Large Language Models (LLM's). Hoewel boomgebaseerde methoden zoals TREERPO verbeteren ten opzien van platte traject-sampling door dichte, op stappen gebaseerde beloningssignalen te genereren via boomstructuur-rollouts, lijden ze aan een kritieke inefficiëntie: computationele verspilling door oninformatieve bomen.

Huidige boomgebaseerde benaderingen behandelen alle gesamplede bomen als gelijk tijdens de training. Veel bomen bieden echter weinig tot geen nuttig gradiëntsignaal:

Dead-correct bomen: Alle bladeren zijn succesvol. Het model heeft het probleem al beheerst, wat geen contrastief signaal biedt voor verbetering.
Dead-wrong bomen: Alle bladeren falen. Zonder positieve takken stort de groep-relatieve voordelen (group-relative advantages) in naar nul, waardoor de rollout nutteloos wordt voor gradiëntupdates.
Stale bomen: De vertrouwen van het beleid (policy) volgt de beloningsverdeling al perfect, wat resulteert in afnemende meeropbrengsten.

Bestaande methoden zoals DAPO en GRESO pakken vergelijkbare problemen aan in platte rollouts door prompts te filteren, maar zij opereren op prompt-niveau. Zij kunnen de interne structuur van een boom-rollout niet diagnosticeren of repareren, waarbij specifieke takken verrassend of foutief kunnen zijn terwijl andere dat niet zijn.

Methodologie

CATPO (Critique-Augmented Tree Policy Optimization) pakt deze verspilling aan via een vierfasen-pipeline die boom-rollouts op boomniveau diagnosticeert, repareert en herweegt.

1. Boom-informativiteitsscore ( $F(T)$ )

CATPO introduceert een metriek om de bruikbaarheid van een boom $T$ voor beleidsupdates te kwantificeren. Deze score wordt berekend met geen extra kosten met behulp van gegevens die al tijdens het samplen zijn gegenereerd. Het combineert twee signalen:

Bladuitkomst-diversiteit: Gemeten door de Bernoulli-variantie van de blad-succesratio ( $\hat{p}$ ), berekend als $\hat{p}(1-\hat{p})$ . Deze term wordt gemaximaliseerd wanneer uitkomsten gemengd zijn (sommige correct, andere incorrect) en is nul wanneer alle bladeren het eens zijn.
Beleid-Beloning Decorrelatie: Gemeten door $1 - \rho^2_{\pi,r}$ , waarbij $\rho_{\pi,r}$ de Pearson-correlatie is tussen de log-waarschijnlijkheden van de knopen en de gepropageerde beloningen. Dit vangt de resterende onzekerheid op waar het vertrouwen van het beleid de beloningsstructuur niet lineair verklaart.

De uiteindelijke score is $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$ . Bomen worden geclassificeerd in vier regimes op basis van drempelwaarden:

Dead-correct/Dead-wrong: Lage diversiteit (bijna unaniem).
Stale: Matig signaal.
Informative: Hoge diversiteit en decorrelatie.

2. Critique-Guided Healing (Kritiek-gestuurde Genezing)

Voor dead-wrong bomen (waar alle takken falen) gooit CATPO de rollout niet weg. In plaats daarvan probeert het de boom te "genezen":

Identificatie van Falen: Een breedte-zoekopdracht (breadth-first search) lokaliseert de ondiepste knoop $v^*$ waar alle kinderen zijn gefaald (beloning < $\epsilon$ ).
Generatie van Kritiek: Het beleidsmodel zelf wordt geprompt om een natuurlijke taal-kritiek te genereren over de fout bij knoop $v^*$ , waarbij de specifieke logische of wiskundige fout wordt geïdentificeerd.
Grafting (Enten): Het model wordt opnieuw geprompt met het probleem, de gedeeltelijke oplossing tot $v^*$ , en de gegenereerde kritiek om $k$ verfijnde voortzettingen te produceren.
Re-propagatie: Deze nieuwe takken worden op de boom geënt bij $v^*$ , opnieuw gescoord, en de beloningen worden bottom-up gepropageerd. Dit zet een "dode" boom om in een boom met positieve beloningsdiversiteit.

3. Informativiteits-gewogen Verlies

De uiteindelijke trainingsdoelstelling schaalt de bijdrage van elke boom aan de beleidsgradiënt door zijn genormaliseerde informativiteitsscore $w(T) = F(T) / \bar{F}$ .

Informatieve bomen ontvangen de volledige weging, wat aandrijft tot parameter-updates.
Dead-correct en stale bomen worden lager gewogen.
Genezen bomen worden als informatief beschouwd als het genezingsproces slaagt.

De doelfunctie gebruikt een afgeknipte surrogaatverlies (vergelijkbaar met PPO/TREERPO) waarbij de voordelen worden gemoduleerd door $w(T)$ , waardoor updates worden geconcentreerd op de meest nuttige data terwijl de totale gradiëntgrootte behouden blijft.

Belangrijkste Bijdragen

Boom-niveau Diagnose: CATPO is de eerste methode die de boom-informativiteit expliciet diagnosticeert en ingrijpt op oninformatieve bomen binnen de RL-trainingslus, waarmee het verder gaat dan prompt-niveau filtering.
Zero-Cost Scoring: De informativiteitsscore $F(T)$ maakt gebruik van bestaande boom-sampling statistieken (bladuitkomsten en log-probs) zonder dat er hulpmodellen of extra forward passes nodig zijn.
Critique-Guided Healing: Een nieuw mechanisme dat het trainingssignaal herstelt uit "dead-wrong" bomen door het beleidsmodel zijn eigen fouten te laten bekritiseren en gecorrigeerde takken te enten, waardoor verspilde rekenkracht effectief wordt omgezet in nuttige trainingsdata.
Gewogen Optimalisatie: Een informativiteit-gewogen verlies dat dynamisch prioriteit geeft aan hoogwaardige bomen, wat de sample-efficiëntie verbetert.

Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-Math-1.5B getraind op de MATH-dataset en geëvalueerd over vier benchmarks: AIME24, MATH-500, OlympiadBench en MinervaMath.

Prestaties: CATPO bereikte een 37,5% Macro Accuracy, waarmee het de baseline TREERPO (35,6%) versloeg met 1,9% en de platte-traject GRPO (32,7%) met 4,8%.
Zwaardere Taken: De verbeteringen waren het meest uitgesproken op moeilijke benchmarks (AIME24 en OlympiadBench), waar de baseline een hoger aandeel dead-wrong bomen produceert, wat CATPO meer kansen geeft om signalen te herstellen.
Generalisatie: Significante winst werd waargenomen op MinervaMath (buiten de trainingsdistributie), wat suggereert dat de methode helpt bij het leren van overdraagbare redeneerstrategieën in plaats van overfitting.
Validatie van Hypothesen:
- H1: De informativiteitsscore $F(T)$ vertoonde een sterke positieve correlatie (Spearman $\rho = 0,62$ ) met de gradiëntnormen per boom, wat de validatie bevestigt van de score als een betrouwbare proxy voor trainingsnut.
- H2: Critique-guided healing verbeterde de informativiteit van 88,1% van de dead-wrong bomen door ten minste één correcte tak te introduceren.

Betekenis en Claims

Het artikel claimt dat CATPO een efficiëntere en effectievere aanpak biedt voor RLVR voor LLM-redeneren door direct de "verspilling" aan te pakken die inherent is aan boomgebaseerde sampling. Door onderscheid te maken tussen informatieve en oninformatieve bomen en de laatstgenoemde actief te repareren, concentreert CATPO de computationele middelen op de data die het leren drijven. De auteurs benadrukken dat deze aanpak geen aparte beloningsmodellen of waarde-netwerken vereist, waardoor de eenvoud van het GRPO/TREERPO-paradigma behouden blijft terwijl de prestaties op complexe redeneertaken aanzienlijk worden verbeterd. De methode wordt gepresenteerd als een complementaire vooruitgang voor bestaande boomgebaseerde RL, die specifiek gericht is op de interne structuur van rollouts die eerdere methoden negeerden.