💬 NLP

CATPO: Critique-Augmented Tree Policy Optimization

O CATPO (Critique-Augmented Tree Policy Optimization) aprimora o aprendizado por reforço com recompensas verificáveis ao introduzir uma pontuação de informatividade em nível de árvore para filtrar amostras não informativas, aplicar a cura guiada pela crítica para recuperar sinais de árvores falhas e utilizar uma perda ponderada pela informatividade para alcançar um desempenho de raciocínio matemático superior em comparação com métodos baseados em árvore existentes, como o TreeRPO.

Autores originais: Ayush Singh, Umang Goyal, Ankur Dahiya

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ayush Singh, Umang Goyal, Ankur Dahiya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente, mas às vezes teimoso, a resolver problemas matemáticos complexos. Você não dá a ele um professor para corrigir cada passo individual, em vez disso, você o deixa tentar, e só diz ao final se a resposta final está certa ou errada. É assim que os modelos de IA modernos aprendem a raciocinar.

O artigo apresenta um novo método chamado CATPO (Critique-Augmented Tree Policy Optimization — Otimização de Política de Árvore Aumentada por Crítica). Para entender por que ele é especial, vamos observar como os métodos atuais funcionam e onde eles desperdiçam tempo.

O Problema: Desperdiçando Tempo com Árvores "Mortas"

Os métodos atuais (como o TREERPO) usam uma estratégia chamada "Tree Rollouts" (Expansões de Árvore). Imagine pedir ao aluno para resolver um problema, mas em vez de escrever uma única resposta longa, ele se ramifica como uma árvore:

Ramo A: Tenta o Método 1.
Ramo B: Tenta o Método 2.
Ramo C: Tenta o Método 3.

Ao final do dia, você verifica as folhas da árvore. Se qualquer ramo obtiver a resposta correta, a árvore inteira é um sucesso. Se todos os ramos falharem, a árvore é um fracasso.

O Desperdício:
O artigo argumenta que o computador desperdiça muita energia treinando em árvores que não ensinam nada:

A Árvore "Correta-Morta": Cada um dos ramos obteve a resposta correta. O aluno já sabe disso. Não há lição aqui; é como praticar uma música de piano que você já domina perfeitamente.
A Árvore "Errada-Morta": Todos os ramos falharam. O aluno está completamente perdido. Sem um professor para apontar onde eles erraram, o computador apenas vê "0% de sucesso" e fica confuso. É como tentar aprender a nadar afundando em uma piscina sem instruções.
A Árvore "Estagnada": O aluno está adivinhando aleatoriamente, e os resultados não condizem com sua confiança. É uma bagunça desordenada e inútil.

Os métodos atuais tratam todas essas árvores da mesma forma, desperdiçando poder computacional com aquelas que não precisam dele.

A Solução: CATPO

O CATPO é como um treinador inteligente que observa a "árvore" de tentativas do aluno e decide exatamente como reagir, economizando tempo e energia. Ele faz isso em três etapas:

1. O "Score de Informatividade" (O Olhar do Treinador)

Antes mesmo de o treinador começar a ensinar, ele observa a árvore e atribui um score a ela.

Como? Ele verifica duas coisas:
- Diversidade: O aluno tentou coisas diferentes? (Se todos os ramos forem iguais, é entediante).
- Surpresa: A confiança do aluno condizia com o resultado? (Se ele estava 100% seguro e errou, esse é um ótimo momento de aprendizado. Se ele estava inseguro e acertou, foi sorte).
O Resultado: Se uma árvore for "Correta-Morta" ou "Errada-Morta", o treinador dá um score baixo. Se for uma árvore "Goldilocks" (alguns acertos, alguns erros, muito potencial de aprendizado), ela recebe um score alto. O computador então foca sua energia nas árvores de score alto.

2. "Cura Guiada por Crítica" (A Missão de Resgate)

Esta é a parte mais criativa. Quando o treinador vê uma árvore "Errada-Morta" (onde todos os ramos falharam), em vez de descartá-la, ele tenta consertá-la.

Passo 1: O treinador encontra o primeiro passo onde o aluno saiu dos trilhos (a "falha mais rasa").
Passo 2: O treinador pergunta ao aluno (o próprio modelo de IA): "Ei, olhe para este passo específico. Por que você acha que cometeu um erro aqui?". O aluno gera uma crítica (uma autoexplicação do erro).
Passo 3: Armado com essa crítica, o treinador pede ao aluno para tentar novamente apenas a partir daquele ponto quebrado, gerando novos ramos corrigidos.
A Magia: De repente, uma árvore que era 100% falha agora tem alguns ramos bem-sucedidos. A árvore "morta" foi curada e transformada em um exemplo de treinamento útil.

3. Aprendizado Ponderado (A Nota Inteligente)

Finalmente, quando o computador atualiza seu cérebro (a política), ele não trata todas as árvores igualmente.

Árvores de Score Alto: Recebem um "peso pesado". O computador aprende muito com elas.
Árvores de Score Baixo: Recebem um "peso leve". O computador mal presta atenção nelas.
Árvores Curadas: Recebem atenção especial porque transformaram um fracasso em uma história de sucesso.

Os Resultados: Isso Funciona?

Os autores testaram isso em um modelo matemático chamado Qwen2.5-Math-1.5B usando um conjunto de dados matemáticos padrão.

O Objetivo: Resolver problemas matemáticos corretamente.
A Competição: Eles compararam o CATPO contra o método plano padrão (GRPO) e o método de árvore padrão (TREERPO).
O Desfecho: O CATPO venceu. Ele melhorou a precisão do modelo em 4,8% sobre o método de árvore padrão e 1,9% sobre o método plano.
Por que isso importa mais: A melhoria foi maior nos problemas mais difíceis. Isso faz sentido, pois problemas difíceis criam mais árvores "Erradas-Mortas". A capacidade do CATPO de "curar" essas árvores deu ao modelo uma vantagem massiva onde outros métodos simplesmente desistiam.

Resumo da Analogia

Imagine um aluno fazendo uma prova de múltipla escolha.

O Jeito Antigo: O aluno faz a prova. Se ele acertar tudo, ele não estuda nada. Se ele errar tudo, ele fica confuso e não estuda nada.
O Jeito CATPO: O professor observa a prova.
- "Você acertou tudo? Ótimo, pule esta."
- "Você errou tudo? Vamos encontrar a primeira questão que você errou. Vamos conversar sobre o porquê de você ter errado e, então, vamos tentar consertar apenas essa parte."
- "Agora, vamos focar nosso tempo de estudo nas questões onde você estava inseguro, mas aprendeu algo novo."

Ao focar apenas nos momentos que realmente ensinam algo ao aluno, o CATPO torna o processo de treinamento mais rápido e o IA resultante mais inteligente.

Resumo Técnico: CATPO (Critique-Augmented Tree Policy Optimization)

Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). Embora métodos baseados em árvores como o TREERPO melhorem em relação à amostragem de trajetórias planas ao gerar sinais de recompensa densos ao nível do passo através de rollouts estruturados em árvore, eles sofrem de uma ineficiência crítica: desperdício computacional devido a árvores não informativas.

As abordagens baseadas em árvores atuais tratam todas as árvores amostradas de forma igual durante o treinamento. No entanto, muitas árvores fornecem pouco ou nenhum sinal de gradiente útil:

Árvores mortas-corretas (Dead-correct trees): Todas as folhas têm sucesso. O modelo já dominou o problema, oferecendo nenhum sinal contrastivo para melhoria.
Árvores mortas-erradas (Dead-wrong trees): Todas as folhas falham. Sem ramos positivos, as vantagens relativas ao grupo colapsam para zero, tornando o rollout inútil para atualizações de gradiente.
Árvores estagnadas (Stale trees): A confiança da política já rastreia perfeitamente a distribuição de recompensa, gerando retornos decrescentes.

Métodos existentes como DAPO e GRESO abordam problemas semelhantes em rollouts planos ao filtrar prompts, mas operam ao nível do prompt. Eles não conseguem diagnosticar ou reparar a estrutura interna de um rollout de árvore, onde ramos específicos podem ser surpreendentes ou errôneos enquanto outros não são.

Metodologia

O CATPO (Critique-Augmented Tree Policy Optimization) aborda esse desperdício através de um pipeline de quatro fases que diagnostica, repara e repondera rollouts de árvore ao nível da árvore.

1. Pontuação de Informatividade da Árvore ( $F(T)$ )

O CATPO introduz uma métrica para quantificar a utilidade de uma árvore $T$ para atualizações de política. Esta pontuação é computada com custo adicional zero usando dados já gerados durante a amostragem. Ela combina dois sinais:

Diversidade de Resultado das Folhas: Medida pela variância de Bernoulli da taxa de aprovação das folhas ( $\hat{p}$ ), calculada como $\hat{p}(1-\hat{p})$ . Este termo é maximizado quando os resultados são mistos (alguns corretos, alguns incorretos) e zero quando todas as folhas concordam.
Descorrelação Política-Recompensa: Medida por $1 - \rho^2_{\pi,r}$ , onde $\rho_{\pi,r}$ é a correlação de Pearson entre os log-probabilidades dos nós e as recompensas propagadas. Isso captura a incerteza residual onde a confiança da política não explica linearmente a estrutura de recompensa.

A pontuação final é $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$ . As árvores são classificadas em quatro regimes baseados em limiares:

Mortas-corretas/Mortas-erradas: Baixa diversidade (concordância quase unânime).
Estagnadas: Sinal moderado.
Informativas: Alta diversidade e descorrelação.

2. Cura Guiada por Crítica (Critique-Guided Healing)

Para árvores mortas-erradas (onde todos os ramos falham), o CATPO não descarta o rollout. Em vez disso, ele tenta "curar" a árvore:

Identificação de Falha: Uma busca em largura localiza o nó mais raso $v^*$ onde todos os filhos falharam (recompensa < $\epsilon$ ).
Geração de Crítica: O próprio modelo de política é solicitado a gerar uma crítica em linguagem natural do erro no nó $v^*$ , identificando o erro lógico ou matemático específico.
Enxerto (Grafting): O modelo é solicitado novamente com o problema, a solução parcial até $v^*$ e a crítica gerada para produzir $k$ continuações refinadas.
Re-propagação: Esses novos ramos são enxertados na árvore em $v^*$ , re-pontuados, e as recompensas são propagadas de baixo para cima. Isso converte uma árvore "morta" em uma árvore com diversidade de recompensa positiva.

3. Perda Ponderada por Informatividade

O objetivo de treinamento final escala a contribuição de cada árvore para o gradiente da política pelo seu score de informatividade normalizado $w(T) = F(T) / \bar{F}$ .

Árvores informativas recebem peso total, impulsionando as atualizações de parâmetros.
Árvores mortas-corretas e estagnadas são penalizadas (downweighted).
Árvores curadas são tratadas como informativas se o processo de cura for bem-sucedido.

A função objetivo utiliza uma perda de substituto clipada (similar a PPO/TREERPO) onde as vantagens são moduladas por $w(T)$ , concentrando as atualizações nos dados mais úteis enquanto preserva a magnitude geral do gradiente.

Principais Contribuições

Diagnóstico ao Nível da Árvore: O CATPO é o primeiro método a diagnosticar explicitamente a informatividade da árvore e intervir em árvores não informativas dentro do loop de treinamento de RL, indo além da filtragem ao nível do prompt.
Pontuação de Custo Zero: A pontuação de informatividade $F(T)$ aproveita as estatísticas de amostragem de árvore existentes (resultados de folhas e log-probs) sem exigir modelos auxiliares ou passagens de forward extras.
Cura Guiada por Crítica: Um mecanismo inovador que recupera o sinal de treinamento de árvores "mortas-erradas" usando o próprio modelo de política para criticar seus erros e enxertar ramos corrigidos, efetivamente transformando computação desperdiçada em dados de treinamento úteis.
Otimização Ponderada: Uma perda ponderada por informatividade que prioriza dinamicamente árvores de alto valor, melhorando a eficiência da amostragem.

Resultados Experimentais

Os experimentos foram conduzidos no Qwen2.5-Math-1.5B treinado no conjunto de dados MATH e avaliado em quatro benchmarks: AIME24, MATH-500, OlympiadBench e MinervaMath.

Desempenho: O CATPO alcançou uma Acurácia de Macro de 37,5%, superando o baseline TREERPO (35,6%) em 1,9% e o GRPO de trajetória plana (32,7%) em 4,8%.
Tarefas Mais Difíceis: As melhorias foram mais pronunciadas em benchmarks difíceis (AIME24 e OlympiadBench), onde o baseline produz uma proporção maior de árvores mortas-erradas, dando ao CATPO mais oportunidades de recuperar o sinal.
Generalização: Ganhos significativos foram observados no MinervaMath (fora da distribuição de treinamento), sugerindo que o método ajuda a aprender estratégias de raciocínio transferíveis em vez de apenas overfitting.
Validação de Hipóteses:
- H1: A pontuação de informatividade $F(T)$ mostrou uma forte correlação positiva (Spearman $\rho = 0,62$ ) com as normas de gradiente por árvore, validando-a como um proxy confiável para utilidade de treinamento.
- H2: A cura guiada por crítica melhorou com sucesso a informatividade de 88,1% das árvores mortas-erradas ao introduzir pelo menos um ramo correto.

Significância e Alegações

O artigo afirma que o CATPO oferece uma abordagem mais eficiente e eficaz para RLVR em raciocínio de LLMs ao abordar diretamente o "desperdício" inerente à amostragem baseada em árvores. Ao distinguir entre árvores informativas e não informativas e, ativamente, reparar estas últimas, o CATPO concentra os recursos computacionais nos dados que impulsionam o aprendizado. Os autores enfatizam que esta abordagem não requer modelos de recompensa ou redes de valor separados, mantendo a simplicidade do paradigma GRPO/TREERPO, enquanto aumenta significativamente o desempenho em tarefas de raciocínio complexas. O método é apresentado como um avanço complementar ao RL baseado em árvores existente, visando especificamente a estrutura interna de rollouts que métodos anteriores ignoravam.