Resumo Técnico: O Planejador Importa! Um Framework de Colaboração Multiagente Eficiente e Desbalanceado para Planejamento de Longo Alcance

Declaração do Problema

Agentes baseados em modelos de linguagem (LM) demonstraram capacidades na automação de tarefas complexas a partir de instruções em linguagem natural, mas continuam a lutar com planejamento e raciocínio de longo alcance. Uma dificuldade central identificada é que um único agente monolítico frequentemente falha em se destacar simultaneamente na gestão de objetivos de alto nível e na execução de ações de baixo nível. Quando um agente foca excessivamente em detalhes de baixo nível, pode executar etapas locais corretamente, mas perder o objetivo geral (por exemplo, clicar corretamente, mas falhar em comparar opções). Por outro lado, focar demais em objetivos de alto nível pode levar a falhas de execução devido a erros menores (por exemplo, perder mudanças de estado). Agentes existentes também enfrentam desafios em tarefas que exigem intenções composicionais complexas, comparações de múltiplas fontes e filtragem restrita.

Metodologia

1. Decomposição do Framework Multiagente

Os autores propõem um framework multiagente que decompõe a automação em três papéis especializados:

• Planejador: Lida com a decomposição de objetivos de alto nível, gera planos iniciais e atualiza-os incrementalmente com base em observações e histórico de execução.
• Ator: Traduz os subobjetivos do Planejador em ações concretas e executáveis (por exemplo, Clicar, Digitar, Rolar, InvocarFerramenta) dentro do ambiente digital.
• Gerenciador de Memória: Recupera e atualiza o contexto relevante, fornecendo ao Planejador uma memória híbrida consistindo de:
  • Memória Discreta ($M^d_t$): Resumos estruturados baseados em texto de etapas críticas de trajetórias bem-sucedidas do passado.
  • Memória Contínua ($M^c_t$): Representações latentes que codificam informações de trajetória multimodal de longo prazo em embeddings compactos.

O sistema opera em um loop iterativo onde o Planejador comunica subobjetivos focados ao Ator, e o Gerenciador de Memória suporta a recuperação de contexto.

2. Análise Sistemática de Alocação de Computação

Uma contribuição central do trabalho é uma análise sistemática de como a capacidade do modelo deve ser alocada entre esses componentes. Através de experimentos controlados de escalonamento usando modelos de tamanhos variados (por exemplo, Qwen2.5-VL-3B/7B/32B), os autores descobriram que:

• O planejamento é o gargalo dominante: Escalonar o Planejador produz os maiores ganhos marginais de desempenho.
• Eficiência desbalanceada: Atualizar apenas o Planejador alcança ganhos de desempenho comparáveis ao escalonamento de todos os componentes simultaneamente.
• Baixa sensibilidade de outros componentes: O Ator e o Gerenciador de Memória requerem significativamente menos computação e capacidade de modelo para alcançar resultados competitivos. O Gerenciador de Memória mostrou a menor sensibilidade ao escalonamento.

3. Aprendizado por Reforço Centrado no Planejador (RL)

Baseando-se na percepção de que o planejamento é o principal gargalo, os autores introduzem uma abordagem de aprendizado por reforço centrada no Planejador:

• Componentes Congelados: O Ator e o Gerenciador de Memória são congelados durante o treinamento.
• Objetivo de Otimização: Apenas o Planejador é otimizado.
• Sinal de Recompensa: O sistema utiliza recompensas em nível de trajetória derivadas de um VLM como juiz (Qwen2.5-VL-32B). O juiz avalia o episódio completo (planos, capturas de tela, resposta final) com base na correção da tarefa, coerência do raciocínio e eficiência de interação, atribuindo uma pontuação de 1, 3 ou 5.
• Algoritmo: Os autores aplicam Otimização de Política Relativa de Grupo (GRPO) com rollouts de política on-policy. A recompensa em nível de trajetória é transmitida para todas as etapas dentro de um rollout para atualizar a política do Planejador.

Principais Contribuições

1. Identificação do Gargalo de Planejamento: O artigo fornece evidências empíricas de que, em tarefas de agentes de longo alcance, a capacidade de planejamento é o principal motor do sucesso, enquanto a execução e o gerenciamento de memória são menos exigentes computacionalmente.
2. Arquitetura Multiagente Desbalanceada: Os autores propõem um framework que aproveita essa percepção alocando a maioria da capacidade do modelo ao Planejador, permitindo o uso de modelos menores e mais eficientes para o Ator e o Gerenciador de Memória.
3. Estratégia de RL Centrada no Planejador: Uma estratégia de treinamento inovadora que otimiza exclusivamente o Planejador usando recompensas em nível de trajetória, evitando a confusão de papéis e objetivos concorrentes frequentemente observados no treinamento conjunto de módulos de planejamento e execução.
4. Avaliação Abrangente: Experimentos extensivos em navegação na web (WebVoyager, Mind2Web, MMInA), controle de sistema operacional (OSWorld) e uso de ferramentas (MCPBench).

Resultados

O framework proposto demonstra melhorias robustas em vários benchmarks e escalas de modelo:

• Ganhos de Desempenho: No benchmark WebVoyager, uma base Qwen2.5-VL-7B com o setup multiagente e RL centrado no Planejador alcançou uma taxa de sucesso geral de 35,1%, uma melhoria relativa de 180,8% sobre sua linha de base de modelo único (12,5%) e superando linhas de base de código fechado como GPT-4o (19,7%) e Gemini-2.5-Pro (29,6%).
• Eficiência: O framework alcança esses ganhos com uma configuração desbalanceada (por exemplo, Planejador 7B + Ator 3B + Memória 3B), demonstrando que concentrar capacidade no planejamento é mais eficiente do que escalar uniformemente todos os componentes.
• Generalização: O método mostra forte generalização para tarefas fora do domínio (por exemplo, OSWorld e MCPBench) e diferentes layouts de interface, indicando que as habilidades de planejamento aprendidas transferem-se efetivamente.
• Estudos de Ablação:
  • Treinar apenas o Planejador superou treinar apenas o Ator ou treinar ambos conjuntamente, confirmando que a otimização focada do raciocínio de alto nível é superior.
  • A inclusão de memória contínua forneceu melhorias consistentes, embora menores, sobre a memória discreta isolada.

Significado e Alegações

O artigo alega que desemaranhar e priorizar a capacidade de planejamento é uma estratégia crítica para alcançar desempenho de última geração em agentes de longo alcance sob orçamentos de computação restritos. Os autores argumentam que suas descobertas se alinham com princípios da neurociência cognitiva sobre o controle executivo de alto nível como um gargalo em tarefas complexas.

O trabalho fornece orientações práticas para alocação de computação em sistemas multiagentes, sugerindo que, em vez de escalar todos os componentes igualmente, os desenvolvedores devem focar recursos no módulo de planejamento. Os autores posicionam sua abordagem como uma alternativa eficiente em termos de computação ao escalonamento monolítico, permitindo que modelos open-source menores compitam ou superem modelos closed-source maiores em tarefas complexas de automação. O código é lançado publicamente para apoiar a reprodutibilidade.