💬 NLP

CATPO: Critique-Augmented Tree Policy Optimization

CATPO (Critique-Augmented Tree Policy Optimization) améliore l'apprentissage par renforcement avec des récompenses vérifiables en introduisant un score d'informativité au niveau de l'arbre pour filtrer les échantillons non informatifs, en appliant une guérison guidée par la critique pour récupérer les signaux des arbres échoués, et en utilisant une perte pondérée par l'informativité pour atteindre une performance de raisonnement mathématique supérieure à celle des méthodes basées sur les arbres existantes comme TreeRPO.

Auteurs originaux : Ayush Singh, Umang Goyal, Ankur Dahiya

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ayush Singh, Umang Goyal, Ankur Dahiya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un élève très intelligent mais parfois têtu comment résoudre des problèmes mathématiques complexes. Vous ne donnez pas un professeur pour corriger chaque étape, mais vous le laissez essayer, et vous ne lui dites qu'à la toute fin si la réponse finale est bonne ou mauvaise. C'est ainsi que les modèles d'IA modernes apprennent à raisonner.

Le papier présente une nouvelle méthode appelée CATPO (Critique-Augmented Tree Policy Optimization). Pour comprendre pourquoi elle est spéciale, regardons comment les méthodes actuelles fonctionnent et où elles perdent du temps.

Le Problème : Perdre du temps sur des arbres « morts »

Les méthodes actuelles (comme TREERPO) utilisent une stratégie appelée « Tree Rollouts » (déroulements d'arbres). Imaginez demander à l'élève de résoudre un problème, mais au lieu d'écrire une seule longue réponse, il se ramifie comme un arbre :

Branche A : Essaie la Méthode 1.
Branche B : Essaie la Méthode 2.
Branche C : Essaie la Méthode 3.

À la fin de la journée, vous vérifiez les feuilles de l'arbre. Si n'importe quelle branche a trouvé la bonne réponse, tout l'arbre est un succès. Si toutes les branches ont échoué, l'arbre est un échec.

Le Gaspillage :
Le papier soutient que l'ordinateur gaspille beaucoup d'énergie à s'entraîner sur des arbres qui ne lui apprennent rien :

L'arbre « Correct-Mort » : Chaque branche a trouvé la bonne réponse. L'élève le sait déjà. Il n'y a aucune leçon ici ; c'est comme pratiquer une pièce de piano que l'on maîtrise déjà parfaitement.
L'arbre « Faux-Mort » : Toutes les branches ont échoué. L'élève est complètement perdu. Sans un professeur pour lui indiquer où il s'est trompé, l'ordinateur voit simplement « 0 % de réussite » et s'embrouille. C'est comme essayer d'apprendre à nager en coulant dans une piscine sans aucune instruction.
L'arbre « Stagnant » : L'élève devine au hasard, et les résultats ne correspondent pas à sa confiance. C'est un désordre confus et peu utile.

Les méthodes actuelles traitent tous ces arbres de la même manière, gaspillant la puissance de calcul sur ceux qui n'en ont pas besoin.

La Solution : CATPO

CATPO est comme un entraîneur intelligent qui observe l'« arbre » d'essais de l'élève et décide exactement comment réagir, économisant ainsi temps et énergie. Il procède en trois étapes :

1. Le « Score d'Informativité » (L'œil de l'entraîneur)

Avant même que l'entraîneur ne commence à enseigner, il regarde l'arbre et lui donne un score.

Comment ? Il vérifie deux choses :
- Diversité : L'élève a-t-il essayé des choses différentes ? (Si toutes les branches sont identiques, c'est ennuyeux).
- Surprise : La confiance de l'élève correspondait-elle au résultat ? (S'il était sûr à 100 % et s'est trompé, c'est un excellent moment d'apprentissage. S'il n'était pas sûr et a réussi, c'est de la chance).
Le Résultat : Si un arbre est « Correct-Mort » ou « Faux-Mort », l'entraîneur lui donne un score faible. Si c'est un arbre « Goldilocks » (certaines bonnes réponses, certaines erreurs, beaucoup de potentiel d'apprentissage), il reçoit un score élevé. L'ordinateur concentre alors son énergie sur les arbres à score élevé.

2. La « Guérison Guidée par la Critique » (La mission de sauvetage)

C'est la partie la plus créative. Quand l'entraîneur voit un arbre « Faux-Mort » (où chaque branche a échoué), au lieu de le jeter, il essaie de le réparer.

Étape 1 : L'entraîneur trouve le tout premier pas où l'élève a déraillé (l'échec le plus superficiel).
Étape 2 : L'entraîneur demande à l'élève (le modèle d'IA lui-même) : « Hé, regarde cette étape spécifique. Pourquoi penses-tu avoir fait une erreur ici ? » L'élève génère une critique (une auto-explication de l'erreur).
Étape 3 : Armé de cette critique, l'entraîneur demande à l'élève de réessayer uniquement à partir de ce point brisé, générant de nouvelles branches corrigées.
La Magie : Soudain, un arbre qui était un échec total à 100 % possède désormais des branches réussies. L'arbre « mort » est guéri et transformé en un exemple d'apprentissage utile.

3. L'Apprentissage Pondéré (La notation intelligente)

Enfin, quand l'ordinateur met à jour son cerveau (la politique), il ne traite pas chaque arbre de la même manière.

Arbres à Score Élevé : Ils reçoivent un « poids lourd ». L'ordinateur apprend beaucoup d'eux.
Arbres à Score Faible : Ils reçoivent un « poids léger ». L'ordinateur leur prête à peine attention.
Arbres Guéris : Ils reçoivent une attention particulière car ils ont transformé un échec en une réussite.

Les Résultats : Est-ce que ça marche ?

Les auteurs ont testé cela sur un modèle mathématique appelé Qwen2.5-Math-1.5B en utilisant un ensemble de données mathématiques standard.

Le But : Résoudre des problèmes mathématiques correctement.
La Compétition : Ils ont comparé CATPO à la méthode plate standard (GRPO) et à la méthode d'arbre standard (TREERPO).
Le Résultat : CATPO a gagné. Il a amélioré la précision du modèle de 4,8 % par rapport à la méthode d'arbre standard et de 1,9 % par rapport à la méthode plate.
Pourquoi c'est crucial : L'amélioration a été la plus importante sur les problèmes les plus difficiles. Cela est logique car les problèmes difficiles créent plus d'arbres « Faux-Morts ». La capacité de CATPO à « guérir » ces arbres a donné au modèle un avantage massif là où les autres méthodes abandonnaient.

Analogie de Synthèse

Imaginez un élève passant un examen à choix multiples.

L'ancienne méthode : L'élève passe l'examen. S'il réussit tout, il n'étudie rien. S'il échoue partout, il est confus et n'étudie rien.
La méthode CATPO : Le professeur regarde l'examen.
- « Tu as tout bon ? Très bien, passe à la suite. »
- « Tu as tout faux ? Identifions la première question où tu as fait une erreur. Discutons de pourquoi tu t'es trompé, puis essayons de réparer juste cette partie. »
- « Maintenant, concentrons notre temps d'étude sur les questions où tu n'étais pas sûr mais où tu as appris quelque chose de nouveau. »

En se concentrant uniquement sur les moments qui enseignent réellement quelque chose à l'élève, CATPO rend le processus d'entraînement plus rapide et l'IA résultante plus intelligente.

Résumé Technique : CATPO (Critique-Augmented Tree Policy Optimization)

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Bien que les méthodes basées sur les arbres comme TREERPO améliorent l'échantillonnage de trajectoires plates en générant des signaux de récompense denses au niveau des étapes via des déploiements structurés en arbre, elles souffrent d'une inefficacité critique : le gaspillage de calcul dû aux arbres non informatifs.

Les approches actuelles basées sur les arbres traitent tous les arbres échantillonnés de la même manière pendant l'entraînement. Cependant, de nombreux arbres ne fournissent que peu ou pas de signal de gradient utile :

Arbres "morts-corrects" (Dead-correct) : Toutes les feuilles réussissent. Le modèle a déjà maîtrisé le problème, n'offrant aucun signal contrastif pour l'amélioration.
Arbres "morts-faux" (Dead-wrong) : Toutes les feuilles échouent. Sans aucune branche positive, les avantages relatifs au groupe s'effondrent vers zéro, rendant le déploiement inutile pour les mises à jour de gradient.
Arbres "obsolètes" (Stale) : La confiance de la politique suit déjà parfaitement la distribution des récompenses, offrant des rendements décroissants.

Des méthodes existantes comme DAPO et GRESO traitent des problèmes similaires dans les déploiements plats en filtrant les prompts, mais elles opèrent au niveau du prompt. Elles ne peuvent ni diagnostiquer ni réparer la structure interne d'un déploiement en arbre, où certaines branches spécifiques peuvent être surprenantes ou erronées tandis que d'autres ne le sont pas.

Méthodologie

CATPO (Critique-Augmented Tree Policy Optimization) remédie à ce gaspillage grâce à un pipeline en quatre phases qui diagnostique, répare et repondère les déploiements en arbre au niveau de l'arbre.

1. Score d'Informativité de l'Arbre ( $F(T)$ )

CATPO introduit une métrique pour quantifier l'utilité d'un arbre $T$ pour les mises à jour de la politique. Ce score est calculé sans coût supplémentaire en utilisant les données déjà générées lors de l'échantillonnage. Il combine deux signaux :

Diversité des résultats des feuilles : Mesurée par la variance de Bernoulli du taux de réussite des feuilles ( $\hat{p}$ ), calculée comme $\hat{p}(1-\hat{p})$ . Ce terme est maximisé lorsque les résultats sont mixtes (certains corrects, d'autres incorrects) et nul lorsque toutes les feuilles sont d'accord.
Décorrélation Politique-Récompense : Mesurée par $1 - \rho^2_{\pi,r}$ , où $\rho_{\pi,r}$ est la corrélation de Pearson entre les log-probabilités des nœuds et les récompenses propagées. Cela capture l'incertitude résiduelle où la confiance de la politique n'explique pas linéairement la structure de la récompense.

Le score final est $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$ . Les arbres sont classés en quatre régimes selon des seuils :

Mort-correct / Mort-faux : Faible diversité (unanimité des résultats).
Obsolète : Signal modéré.
Informatif : Haute diversité et décorrélation.

2. Guérison Guidée par la Critique (Critique-Guided Healing)

Pour les arbres "morts-faux" (où toutes les branches échouent), CATPO ne rejette pas le déploiement. Au lieu de cela, il tente de "guérir" l'arbre :

Identification de l'échec : Une recherche en largeur (BFS) localise le nœud le plus superficiel $v^*$ où tous les enfants ont échoué (récompense < $\epsilon$ ).
Génération de la critique : Le modèle de politique lui-même est sollicité pour générer une critique en langage naturel de l'erreur au nœud $v^*$ , identifiant l'erreur logique ou mathématique spécifique.
Greffage : Le modèle est sollicité à nouveau avec le problème, la solution partielle jusqu'à $v^*$ , et la critique générée pour produire $k$ continuations raffinées.
Repropagation : Ces nouvelles branches sont greffées sur l'arbre au niveau de $v^*$ , re-notées, et les récompenses sont propagées par le bas. Cela convertit un arbre "mort" en un arbre possédant une diversité de récompense positive.

3. Perte Pondérée par l'Informativité

L'objectif d'entraînement final met à l'échelle la contribution de chaque arbre au gradient de la politique par son score d'informativité normalisé $w(T) = F(T) / \bar{F}$ .

Les arbres informatifs reçoivent un poids complet, pilotant les mises à jour des paramètres.
Les arbres morts-corrects et obsolètes sont dépondérés.
Les arbres guéris sont traités comme informatifs si le processus de guérison réussit.

La fonction d'objectif utilise une perte de substitut tronquée (similaire à PPO/TREERPO) où les avantages sont modulés par $w(T)$ , concentrant les mises à jour sur les données les plus utiles tout en préservant l'amplitude globale du gradient.

Contributions Clés

Diagnostic au niveau de l'arbre : CATPO est la première méthode qui diagnostique explicitement l'informativité de l'arbre et intervient sur les arbres non informatifs au sein de la boucle d'entraînement RL, allant au-delà du simple filtrage par prompt.
Scoring à Coût Zéro : Le score d'informativité $F(T)$ exploite les statistiques d'échantillonnage d'arbre existantes (résultats des feuilles et log-probs) sans nécessiter de modèles auxiliaires ou de passages avant supplémentaires.
Guérison Guidée par la Critique : Un mécanisme novateur qui récupère le signal d'entraînement des arbres "morts-faux" en utilisant le modèle de politique pour critiquer ses propres erreurs et greffer des branches corrigées, transformant ainsi le calcul gaspillé en données d'entraînement utiles.
Optimisation Pondérée : Une perte pondérée par l'informativité qui priorise dynamiquement les arbres à haute valeur, améliorant l'efficacité de l'échantillonnage.

Résultats Expérimentaux

Les expériences ont été menées sur Qwen2.5-Math-1.5B entraîné sur le jeu de données MATH et évalué sur quatre benchmarks : AIME24, MATH-500, OlympiadBench et MinervaMath.

Performance : CATPO a atteint une Précision Macro de 37,5 %, surpassant la base TREERPO (35,6 %) de 1,9 % et la trajectoire plate GRPO (32,7 %) de 4,8 %.
Tâches Difficiles : Les améliorations ont été plus marquées sur les benchmarks difficiles (AIME24 et OlympiadBench), où la base produit une proportion plus élevée d'arbres "morts-faux", donnant plus d'opportunités à CATPO pour récupérer le signal.
Généralisation : Des gains significatifs ont été observés sur MinervaMath (hors distribution d'entraînement), suggérant que la méthode aide à apprendre des stratégies de raisonnement transférables plutôt qu'à faire du surapprentissage.
Validation des Hypothèses :
- H1 : Le score d'informativité $F(T)$ a montré une forte corrélation positive (Spearman $\rho = 0,62$ ) avec les normes de gradient par arbre, validant son rôle de proxy fiable pour l'utilité d'entraînement.
- H2 : La guérison guidée par la critique a réussi à améliorer l'informativité de 88,1 % des arbres "morts-faux" en introduisant au moins une branche correcte.

Signification et Revendications

L'article affirme que CATPO offre une approche plus efficace et performante du RLVR pour le raisonnement des LLM en s'attaquant directement au "gaspillage" inhérent à l'échantillonnage basé sur les arbres. En distinguant les arbres informatifs des arbres non informatifs et en réparant activement ces derniers, CATPO concentre les ressources de calcul sur les données qui pilotent l'apprentissage. Les auteurs soulignent que cette approche ne nécessite aucun modèle de récompense ou réseau de valeur séparé, conservant la simplicité du paradigme GRPO/TREERPO tout en augmentant considérablement les performances sur des tâches de raisonnement complexes. La méthode est présentée comme une avancée complémentaire aux méthodes existantes de RL basées sur les arbres, ciblant spécifiquement la structure interne des déploiements que les méthodes précédentes ignoraient.