💬 NLP

Process Reward Informed Tree Rollout for Effective Multi-Turn RL

Este artigo introduz o PATR, um framework de rollout de árvore adaptativo guiado por recompensa de processo que otimiza o aprendizado por reforço de múltiplos turnos para agentes de LLM ao ramificar se seletivamente a partir de estados intermediários promissores e reutilizar prefixos compartilhados, melhorando significativamente o desempenho em benchmarks como SWE-Bench e FrozenLake em comparação com métodos tradicionais de amostragem de trajetória uniforme.

Autores originais: Xintong Li, Sha Li, Yuwei Zhang, Changlong Yu, Rongmei Lin, Hongye Jin, Shuyi Guan, Xin Liu, Linwei Li, Qingyu Yin, Jingbo Shang

Publicado 2026-07-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xintong Li, Sha Li, Yuwei Zhang, Changlong Yu, Rongmei Lin, Hongye Jin, Shuyi Guan, Xin Liu, Linwei Li, Qingyu Yin, Jingbo Shang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um mistério. No mundo da inteligência artificial, isso é chamado de Aprendizado por Reforço (Reinforcement Learning - RL). Pense nisso como treinar um cachorro: o robô tenta realizar uma tarefa e, se acertar, ganha um petisco (uma recompensa); se errar, não ganha nada. Com o tempo, o robô aprende quais ações levam aos petiscos. Mas aqui está a parte complicada: às vezes, o robô tem que percorrer um caminho longo e sinuoso com muitos passos antes de sequer ver um petisco. Se o robô apenas adivinhar aleatoriamente, ele pode perder horas andando em círculos ou caindo em buracos, sem nunca aprender o caminho certo. Isso é especialmente difícil para os "agentes" — programas de IA que interagem com ferramentas, como um computador ou um site — porque eles têm que tomar uma série de decisões, uma após a outra, para resolver um problema. A grande questão que os cientistas estão fazendo é: Como ensinamos esses agentes a explorar os caminhos certos sem perder tempo em becos sem saída?

É aqui que entra uma nova ideia chamada PATR. Os pesquisadores por trás deste artigo, da UC San Diego, Amazon e MIT, notaram que os métodos atuais para treinar esses agentes de IA são um pouco como uma abordagem de espalhamento. Eles dizem à IA para tentar a mesma tarefa repetidamente, começando do zero toda vez. Se a IA ficar presa em um loop ou cometer um movimento ruim logo no início, a tentativa inteira é descartada, mesmo que os primeiros passos tenham sido realmente bons. É como jogar fora uma pizza inteira só porque você queimou a crosta, embora o restante do queijo e do molho estivesse perfeito.

Os autores propõem uma maneira mais inteligente de treinar esses agentes, que chamam de Process-Scorer Guided Adaptive Tree Rollout (PATR). Em vez de começar do zero toda vez, o PATR constrói uma "árvore" de possibilidades. Imagine que a IA é um trilheiro em uma bifurcação na estrada. Em vez de enviar dez trilheiros para tentar dez caminhos completamente diferentes e aleatórios, o PATR envia eles pelo caminho mais promissor primeiro. Se os trilheiros nesse caminho encontrarem uma vista bonita (um passo intermediário "bom"), o sistema envia mais trilheiros por esse mesmo caminho para explorar diferentes ramificações. Se um caminho parecer estar levando a um precipício (um passo "ruim"), o sistema para de enviar pessoas por ele precocemente para economar energia. Crucialmente, o sistema mantém um registro dos trilheiros que caíram no precipício também, porque saber o que não fazer é tão importante quanto saber o que fazer.

O artigo sugere que este método de "árvore" é muito mais eficiente. Ao usar um "avaliador" (scorer) — um juiz inteligente que observa o progresso do trilheiro a cada poucos passos — o sistema pode decidir quais caminhos expandir e quais podar. Eles testaram isso em dois desafios muito diferentes: um jogo simples de grade chamado FrozenLake (onde um agente deve navegar por um lago congelado sem cair nos buracos) e uma tarefa de codificação do mundo real muito mais difícil chamada SWE-Bench (onde um agente tem que corrigir bugs em softwares).

Os resultados foram promissores. Na tarefa de codificação, o PATR melhorou a taxa de sucesso do agente em até 5,0 pontos em comparação ao método padrão. No jogo mais simples, aumentou o sucesso em 9,3 pontos. Os autores descobriram que este método não apenas tornou a IA mais inteligente, mas também a tornou mais rápida e menos propensa a ficar presa em loops repetitivos. Eles enfatizam que isso não é uma solução mágica que resolve tudo instantaneamente, mas sugere que guiar a exploração com um "avaliador de processo" é uma maneira poderosa de ensinar agentes de IA a enfrentar tarefas longas e complexas sem perder tempo em becos sem saída. A principal lição é que, ao sermos seletivos sobre para onde enviamos nossos "exploradores", podemos aprender mais com menos esforço.

Resumo Técnico: Process Reward Informed Tree Rollout para RL de Múltiplos Turnos Eficaz

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se uma abordagem padrão para treinar agentes de Grandes Modelos de Linguagem (LLMs), com métodos como Group Relative Policy Optimization (GRPO) e RLOO sendo amplamente adotados. No entanto, esses métodos populares dependem da amostragem de múltiplas trajetórias completas amostradas independentemente para a estimativa de vantagem.

Em tarefas agênticas de longo horizonte, esta estratégia de rollout uniforme apresenta duas ineficiências críticas:

Orçamento Desperdiçado: A computação é alocada uniformemente, independentemente da qualidade intermediária, levando ao desperdício de recursos em tentativas de "beco sem saída" não informativas (ex: loops repetitivos de uso de ferramentas).
Exploração Insuficiente: Estados intermediários promissores não recebem exploração suficiente porque o orçamento não é redirecionado dinamicamente para eles.

Métodos baseados em árvores existentes tentam abordar isso, mas frequentemente sofrem de limitações: alguns ramificam com base em passos de alta entropia ou estimativas de incerteza que não medem diretamente o progresso em direção ao objetivo da tarefa, enquanto outros aplicam busca por turno que enviesa a distribuição de rollout para longe da política atual ou descarta exemplos negativos informativos.

Metodologia: PATR

Os autores propõem o Process-Scorer Guided Adaptive Tree Rollout (PATR), um framework que reformula a exploração eficaz como um problema de decidir onde ramificar dentro de uma árvore de trajetória. O PATR constrói uma árvore de trajetórias parciais em vez de amostrar trajetórias completas independentes do zero.

Mecanismo Central

Para cada instância de treinamento, o PATR inicializa $B_0$ ramos ativos. O processo ocorre em iterações, avançando os ramos ativos por $K$ passos de interação. Nesses intervalos, um Task-Adaptive Process Scorer ( $S_\phi$ ) avalia trajetórias parciais e as roteia para um de três caminhos:

Expansão: Ramos com pontuação alta são selecionados para gerar $M$ continuações filhas a partir do mesmo estado intermediário. Isso permite a alocação de amostras adicionais para estados promissores enquanto reutiliza prefixos compartilhados.
Sobrevivência: Ramos com pontuações moderadas permanecem ativos e são avançados por mais $K$ passos para serem reavaliados.
Poda: Ramos com pontuações significativamente menores que a mediana (abaixo de uma margem $\alpha$ ) ou que exibem comportamento degenerado (ex: repetir a mesma ação $\Theta$ vezes) são terminados precocemente. Crucialmente, esses ramos podados são mantidos no grupo de rollout em vez de descartados, servindo como exemplos negativos para a otimização da política.

Instanciações do Process Scorer

O framework é agnóstico ao mecanismo de pontuação específico, suportando três instanciações:

Heuristic Scorer: Utiliza sinais de progresso observáveis (ex: distância até o objetivo, recompensa acumulada) para ambientes controlados.
Pretrained PRM Scorer: Utiliza um Modelo de Recompensa de Processo (PRM) para gerar pontuações ao nível do passo, agregadas em uma pontuação de ramo.
LLM-as-Judge Scorer: Emprega um LLM para avaliar trajetórias parciais com base em prompts específicos da tarefa (ex: fases de diagnóstico, edição, verificação), misturados com heurísticas leves para robustez.

Otimização da Política

O PATR mantém compatibilidade com o GRPO padrão. As pontuações de processo são usadas exclusivamente para a alocação de rollout (decidir quais ramos expandir). O objetivo de otimização da política permanece inalterado, baseando-se apenas nas recompensas de resultado da tarefa ( $r_{out}$ ) calculadas sobre o grupo gerado pela árvore resultante. Isso garante que o viés introduzido pela amostragem não uniforme não altere o objetivo de aprendizado, apenas a eficiência dos dados.

Contribuições Principais

Framework PATR: Um framework de geração de rollout de custo-benefício que aloca adaptativamente o orçamento para trajetórias parciais promissoras enquanto termina prematuramente as não promissoras.
Compatibilidade com GRPO: O método usa o feedback de processo apenas para a construção do rollout, deixando o objetivo da política e as recompensas de resultado intocados, preservando assim as garantias teóricas do GRPO padrão.
Validação Empírica: O framework é validado tanto em navegação controlada (FrozenLake) quanto em tarefas de codificação desafiadoras de longo horizonte (SWE-Bench), demonstrando ganhos consistentes sobre as linhas de base de rollout independente.

Resultados Experimentais

Os autores avaliaram o PATR em FrozenLake e SWE-Bench Verified usando várias escalas de modelos (Qwen2.5-0.5B, 3B, e Qwen3-4B).

FrozenLake: O PATR alcançou as maiores taxas de sucesso em todas as escalas de modelos.
- Para o Qwen2.5-0.5B, o PATR melhorou a taxa de sucesso de 66,5% (GRPO) para 75,8% (+9,3 pontos).
- Também produziu os comprimentos médios de resposta mais curtos, indicando ganhos de eficiência em vez de apenas uma exploração mais longa.
SWE-Bench: Variantes do PATR superaram todas as linhas de base (GRPO, DAPO, ARPO, Tree-Random) em taxas de resolução.
- PATR-PRM alcançou uma taxa de resolução de 27,2%, melhorando sobre o GRPO (22,2%) em +5,0 pontos.
- O PATR-Judge também superou todas as linhas de base (26,0%), demonstrando a flexibilidade do framework com diferentes tipos de scorers.
- Variantes do PATR completaram mais instâncias de tarefas enquanto usavam menos turnos em média comparado a linhas de base como DAPO e ARPO.

Dinâmica de Treinamento

A análise das curvas de treinamento revelou que o PATR atinge taxas de sucesso mais altas mais cedo no treinamento, particularmente para modelos menores. Isso sugere que a ramificação guiada pelo processo melhora a eficiência da amostra ao focar a exploração em trajetórias parciais que já mostram progresso. Além disso, manter as trajetórias podadas no grupo de rollout ("Keep All") mostrou-se superior ao descarte, pois elas fornecem exemplos negativos valiosos para a estimativa de vantagem.

Significância e Alegações

O artigo afirma que rollouts em árvore guiados por processo representam uma estratégia eficaz para RL de múltiplos turnos escalável. Ao organizar trajetórias como árvores e usar feedback de processo adaptável à tarefa para decidir onde ramificar, o PATR aborda a ineficiência da amostragem uniforme em tarefas de longo horizonte.

Os autores enfatizam que sua abordagem oferece um compromisso prático: introduz um viés controlado e localizado na alocação de rollout para melhorar a eficiência dos dados sem comprometer o objetivo de otimização da política. Os resultados destacam que combinar a exploração estruturada em árvore com expansão consciente da qualidade é crítico para converter a exploração adicional em progresso de tarefa confiável, um achado que se mantém válido mesmo em cenários de agentes de codificação complexos e do mundo real, como o SWE-Bench.

Limitações

Os autores reconhecem que o PATR depende da qualidade do scorer de processo; scores imprecisos podem levar à expansão ou poda de ramos subótimas. Além disso, a avaliação atual é limitada ao FrozenLake e SWE-Bench, e trabalhos futuros são necessários para validar a abordagem em domínios mais amplos, como navegação web e interação incorporada.