🤖 AI

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

O PlanPO é um novo método de otimização de política relativa ao grupo que introduz sinais de vantagem de grosseiro para fino para distinguir trajetórias bem-sucedidas com base na eficiência de interação, permitindo assim que LLMs agentes de múltiplos turnos aprendam comportamentos de planejamento generalizáveis e superem significativamente os baselines existentes em benchmarks desafiadores.

Autores originais: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, uma classe específica de programas de computador conhecidos como modelos de linguagem de grande escala começou a agir não apenas como leitores ou escritores passivos, mas como agentes ativos. Essas entidades digitais podem navegar em ambientes complexos, desde lojas virtuais na web até laboratórios científicos simulados, ao se envolverem em conversas de múltiplos turnos onde observam uma situação, pensam em uma resposta e tomam uma ação. Para ensinar esses agentes a realizar tais tarefas de forma eficaz, os pesquisadores frequentemente utilizam um método chamado aprendizagem por reforço. Nesse processo, o agente tenta muitas maneiras diferentes de resolver um problema e, quando tem sucesso, recebe uma recompensa. Com o tempo, o agente aprende a repetir os comportos que levam ao sucesso. No entanto, um desafio significativo surge quando o agente encontra uma maneira de ter sucesso: nem todos os caminhos bem-sucedidos são iguais. Algumas soluções são diretas e eficientes, enquanto outras são sinuosas, repletas de loops desnecessários, etapas redundantes ou explicações excessivamente prolixas, embora todas recebam a mesma recompensa de "sucesso". Essa falta de distinção pode confundir o processo de aprendizagem, fazendo com que o agente perca tempo com hábitos ineficientes ou falhe em desenvolver a capacidade de planejar antecipadamente.

Uma equipe de pesquisadores propôs uma nova abordagem para resolver esse problema, chamada Otimização de Política Consciente de Planejamento de Grupo, ou PlanPO. Em vez de simplesmente recompensar qualquer resultado bem-sucedido, este método ensina o agente a distinguir entre uma boa solução e uma ótima solução ao observar como a solução foi alcançada. Os pesquisadores observaram que, mesmo quando um agente completa uma tarefa corretamente, a jornada até lá pode variar drasticamente em comprimento e qualidade. Alguns agentes podem vagar por uma casa virtual, verificando as mesmas gavetas repetidamente antes de encontrar um objeto, enquanto outros podem ir direto ao local correto. Da mesma forma, quando um agente fala ou escreve seus pensamentos, algumas respostas são concisas e lógicas, enquanto outras são prolixas ou contêm um raciocínio confuso, mesmo que a ação final tomada seja correta. A ideia central por trás do PlanPO é usar essas diferenças de comprimento e eficiência como um sinal para a aprendizagem. Ao comparar as tentativas bem-sucedidas de um agente umas contra as outras, o sistema pode identificar quais caminhos foram mais diretos e quais respostas foram mais eficientes, recompensando esses comportamentos específicos mais intensamente do que os desajeitados.

Os pesquisadores testaram essa ideia treinando modelos de linguagem em três ambientes distintos e desafiadores. O primeiro era um ambiente doméstico simulado onde o agente tinha que realizar tarefas como pegar objetos, limpar ou aquecer itens. O segundo era um ambiente complexo de compras na web, onde o agente tinha que encontrar produtos específicos entre milhares de opções com base nas instruções do usuário. O terceiro era uma simulação científica onde o agente tinha que manipular instrumentos virtuais para conduzir experimentos. Nesses testes, os pesquisadores compararam seu novo método com diversas técnicas existentes, incluindo abordagens padrão de aprendizagem por reforço que não distinguem entre diferentes tipos de sucesso. Os resultados mostraram que os agentes treinados com o PlanPO superaram consistentemente os outros. Em média, o novo método melhorou o desempenho em 27,2 por cento nesses benchmarks difíceis. No ambiente doméstico, os agentes treinados com o PlanPO alcançaram uma taxa de sucesso de mais de 91 por cento, um salto significativo em comparação com os métodos anteriores.

O que torna essa descoberta particularmente notável é como os agentes mudaram seu comportamento. Os pesquisadores descobriram que os agentes treinados com o PlanPO não apenas aprenderam a realizar as tarefas; eles aprenderam a realizá-las de forma mais eficiente. Eles levaram menos passos para atingir seus objetivos e geraram respostas mais curtas e focadas. Por exemplo, nas tarefas domésticas, o número médio de interações necessárias para concluir um trabalho caiu de mais de 26 turnos para pouco menos de 14. Os agentes também pararam de produzir textos verbosos ou repetitivos, reduzindo significamente o comprimento médio de suas respostas. Essa melhoria não veio de simplesmente forçar os agentes a serem mais curtos ou rápidos, o que os pesquisadores mostraram que, na verdade, prejudicaria o desempenho. Em vez disso, os agentes aprenderam a ser eficientes apenas quando isso os ajudava a ter sucesso. Eles desenvolveram uma forma de consciência de planejamento, entendendo que um caminho direto e uma explicação clara eram melhores do que um caminho longo e sinuoso, mesmo que ambos eventualmente levassem ao mesmo resultado.

O estudo também examinou se esses agentes poderiam aplicar o que aprenderam a novas situações que não haviam visto antes. Quando testados em tarefas que eram diferentes das usadas durante o treinamento, os agentes do PlanPO mantiveram um alto nível de sucesso, superando outros métodos por uma margem ampla. Isso sugere que os agentes não estavam meramente memorizando soluções específicas para problemas específicos, mas estavam aprendendo uma habilidade geral de planejamento e tomada de decisão. Os pesquisadores observaram que essa melhoria foi alcançada sem exigir quantidades massivas de poder computacional extra ou hardware complexo; o método simplesmente reorganizou como os dados de treinamento existentes eram avaliados. Ao tratar as diferenças entre as tentativas bem-sucedidas como informações valiosas em vez de ruído, os pesquisadores permitiram que os agentes aprendessem de forma mais eficaz. O trabalho demonstra que, no complexo mundo da inteligência artificial, a qualidade de um sucesso importa tanto quanto o próprio sucesso, e ensinar as máquinas a reconhecer essa diferença pode levar a assistentes digitais mais inteligentes e capazes.

Resumo Técnico: PlanPO – Otimização de Política Consciente de Planejamento de Grupo para LLMs Agênticos de Múltiplos Turnos

Declaração do Problema

No domínio dos Grandes Modelos de Linguagem (LLMs) agênticos de múltiplos turnos, a Otimização de Política Relativa ao Grupo (GRPO) emergiu como um paradigma padrão para treinar agentes usando recompensas de resultado verificáveis. No entanto, existe uma limitação crítica na forma como o GRPO lida com a heterogeneidade de rollouts bem-sucedidos.

As variantes existentes tipicamente atribuem recompensas de resultado idênticas a todas as trajetórias que completam uma tarefa com sucesso, independentemente da eficiência da interação. Isso leva ao "colapso de vantagem" (advantage collapse), onde:

Sucessos circuitais (trajetórias com transições de estado redundantes, loops ou becos sem saída) são tratados de forma igual aos sucessos ótimos.
Raciocínios verbosos ou logicamente falhos dentro de respostas bem-sucedidas recebem o mesmo crédito que o raciocínio conciso e coerente.
A falta de discriminação entre trajetórias bem-sucedidas impede que os agentes desenvolvam habilidades de planejamento generalizáveis, fazendo com que frequentemente apenas imitem padrões específicos de alta qualidade em vez de desenvolver estratégias robustas e gerais à tarefa.

Soluções atuais que tentam abordar isso frequentemente dependem de modelos de valor (críticos) ou modelos de recompensa de processo (PRMs), que introduzem viés de estimativa, erros de proxy e sobrecarga significativa de memória. Outros métodos dependem de design manual trabalhoso ou heurísticas empíricas que carecem de generalidade em diferentes configurações de tarefas.

Metodologia: PlanPO

Os autores propõem a Otimização de Política Consciente de Planejamento de Grupo (PlanPO), um método de aprendizado por reforço simples, porém eficaz, que utiliza perfis de comprimento naturalmente disponíveis para construir sinais de vantagem de grosso a fino (coarse-to-fine). A inovação central é condicionar a normalização de comprimento estritamente às trajetórias bem-sucedidas dentro de um grupo, evitando assim as armadilhas da minimização de comprimento padrão.

1. Normalização de Comprimento Condicionada ao Sucesso

O PlanPO opera dentro do framework relativo ao grupo padrão, mas introduz dois níveis distintos de computação de vantagem, ambos condicionados ao alcance do objetivo da trajetória ( $R(\tau) = 1$ ):

Vantagem ao Nível da Trajetória ( $A^E$ ):
Para um grupo de $N$ trajetórias amostradas para a mesma tarefa, o PlanPO normaliza a recompensa de resultado pelo comprimento da trajetória (número de turnos de interação, $T_i$ ) apenas para trajetórias bem-sucedidas.
$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$
A vantagem $A^E$ é computada via normalização relativa ao grupo (média e variância) dessas recompensas normalizadas pelo comprimento. Este sinal incentiva o agente a encontrar caminhos de interação mais curtos e diretos entre os rollouts bem-sucedidos.
Vantagem ao Nível da Resposta ( $A^S$ ):
No nível do turno, o PlanPO achata todas as respostas bem-sucedidas geradas para a mesma tarefa em um único grupo. Ele normaliza a recompensa de resultado pelo comprimento de tokens da resposta ( $L_{i,t}$ ) para cada turno.
$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$
A vantagem $A^S$ é computada dentro deste grupo de resposta ativa. Isso fornece supervisão de grão fino, incentivando traços de raciocínio concisos e coerentes dentro de interações bem-sucedidas.

2. Otimização de Política de Grosso a Fino (Coarse-to-Fine)

A vantagem final para um token $a_{i,t}$ na trajetória $\tau^i$ é uma combinação ponderada das vantagens ao nível da trajetória e ao nível da resposta:
$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$

Decaimento Ponderado: O coeficiente $\alpha(k)$ decai linearmente durante o treinamento. Este design prioriza o sinal de planejamento ao nível da trajetória (grosso) inicialmente e o refina gradualmente com o sinal ao nível da resposta (fino).
Compromisso Viés-Variância (Bias-Variance Trade-off): A análise teórica (Teorema 1) demonstra que $\alpha(k)$ equilibra o compromisso viés-variância. Um $\alpha$ maior preserva o refinamento ao nível do turno, mas aumenta a variância da amostragem, enquanto um $\alpha$ menor reduz a variância ao custo do viés de encolhimento (shrinkage bias).

A política é otimizada usando um objetivo de grupo relativo com corte (clipped group-relative objective) semelhante ao GRPO, incorporando uma penalidade de divergência KL contra uma política de referência.

Principais Contribuições

Identificação de um Gargalo: O artigo identifica que a heterogeneidade de rollouts bem-sucedidos (turnos redundantes e raciocínio verboso em trajetórias bem-sucedidas) é um gargalo crítico na otimização relativa ao grupo que mascara a qualidade do rollout e limita o aprendizado da política.
Proposta do PlanPO: Um novo método que constrói vantagens normalizadas pelo comprimento condicionadas ao sucesso. Ao contrário da modelagem de recompensa baseada em comprimento genérica, o PlanPO aplica a normalização de comprimento apenas dentro de grupos de rollouts bem-sucedidos, garantindo que os agentes aprendam comportamentos conscientes de planejamento em vez de simplesmente minimizar o comprimento.
Validação Empírica: Experimentos extensos demonstram que o PlanPO supera consistentemente baselines fortes (incluindo GRPO, GiGPO e PPO) em múltiplos benchmarks com custo de treinamento adicional negligível.

Resultados Experimentais

Os autores avaliaram o PlanPO usando Qwen2.5-1.5B-Instruct e Qwen2.5-7B-Instruct em três benchmarks desafiadores de múltiplos turnos: ALFWorld, WebShop e SciWorld.

Ganhos de Desempenho:
- Em média, o PlanPO melhora em 27,2% em relação ao GRPO nos benchmarks.
- No ALFWorld (modelo 1.5B), o PlanPO alcançou uma taxa de sucesso geral de 91,3%, um aumento de +18,5 pontos sobre o GRPO.
- Em tarefas fora da distribuição (OOD) no ALFWorld, o PlanPO alcançou uma taxa de sucesso de 87,1%, superando o GRPO em +17,0 pontos e o GiGPO em +4,7 pontos, indicando forte generalização.
- No SciWorld, o PlanPO-7B alcançou uma pontuação geral de 68,46, superando significativamente o melhor baseline de RL anterior (ScalingInter-7B com 57,00).
Eficiência e Comportamento:
- Eficiência de Interação: Os agentes PlanPO reduziram o número médio de turnos de interação de 26,1 (GRPO) para 13,8.
- Concisão da Resposta: O comprimento médio de tokens da resposta diminuiu de 95,1 (GRPO) para 56,3.
- Custo: O método incorre em custo de treinamento adicional negligenciável, pois a normalização de comprimento e a computação de vantagem são operações leves comparadas aos passos de forward/backward do LLM.
Estudos de Ablação:
- Remover o nível de vantagem da trajetória ( $A^E$ ) ou da resposta ( $A^S$ ) degradou significativamente o desempenho.
- A modelagem de comprimento incondicional (sem condicionamento de sucesso) causou o colapso do desempenho, confirmando que a minimização de comprimento por si só é prejudicial.
- A modelagem de comprimento condicionada ao sucesso sozinha foi insuficiente; a combinação com a otimização relativa ao grupo foi necessária para gerar ganhos.

Significância e Alegações

O artigo afirma que o PlanPO oferece uma solução simples, escalável e geral à tarefa para o problema do colapso de vantagem em RL agêntico. Ao aproveitar a heterogeneidade inerente nos rollouts bem-sucedidos (especificamente o comprimento da interação e da resposta) como um sinal de supervisão, o PlanPO permite que os agentes aprendam habilidades de planejamento generalizáveis em vez de sofrer overfitting a padrões comportamentais específicos de alta qualidade.

Os autores enfatizam que sua abordagem não requer modelos de valor caros, engenharia de recompensa manual ou heurísticas complexas. Em vez disso, utiliza o sinal "naturalmente disponível, mas subutilizado" dos perfis de comprimento dentro de grupos bem-sucedidos para guiar os agentes em direção a interações mais diretas, eficientes e coerentes. Os resultados sugerem que a heterogeneidade de rollouts bem-sucedidos é um sinal viável e poderoso para treinar LLMs agênticos conscientes de planejamento.