Resumo Técnico: Um Estudo Empírico de Representações de Planejamento para Agentes Web de LLM

Declaração do Problema

Apesar dos avanços recentes em Modelos de Linguagem de Grande Escala (LLMs), agentes web continuam a lutar contra exploração limitada, omissão de etapas críticas e sensibilidade a restrições de tarefas. Embora o planejamento seja amplamente reconhecido como uma estratégia-chave para decompor tarefas complexas, a pesquisa existente concentrou-se principalmente em algoritmos de planejamento em vez da representação desses planos. A maioria das abordagens atuais depende de listas sequenciais de subobjetivos expressos em linguagem natural. No entanto, o impacto de representações alternativas de planos em linguagem natural (NL) na robustez do agente e no sucesso da tarefa permanece amplamente inexplorado. Além disso, os benchmarks existentes frequentemente carecem de classificação de dificuldade reprodutível, tornando difícil avaliar sistematicamente estratégias de planejamento sob níveis variados de complexidade.

Metodologia

Framework: PLANAHEAD

Os autores introduzem o PLANAHEAD, um framework estático de planejador-executor projetado para isolar e avaliar o impacto da representação do plano. Diferentemente de métodos de planejamento dinâmico, onde o agente regenera planos a cada etapa, o PLANAHEAD gera um único plano estático no início de uma tarefa. Esse plano é então fornecido a um LLM executor, que realiza ações de baixo nível com base no estado atual do navegador. Essa configuração garante que as diferenças de desempenho surjam da formulação do plano e dos modelos subjacentes, e não da estocasticidade no nível da ação ou da sobrecarga de replanejamento dinâmico.

Benchmark e Dificuldade da Tarefa

O estudo utiliza o WebArena, um ambiente fechado e reprodutível contendo interações web diversas e realistas. Para abordar a falta de classificação padronizada de dificuldade, os autores desenvolveram um pipeline automatizado para categorizar 381 tarefas do WebArena em três níveis: Fácil, Médio e Difícil.

• Lógica de Categorização: As tarefas foram avaliadas usando um GenericAgent leve em cinco backbones de LLM diferentes, com cinco tentativas independentes cada.
  • Fácil: Taxa de sucesso de 100% em todos os modelos e tentativas.
  • Difícil: Taxa de sucesso de 0% em todos os modelos e tentativas.
  • Médio: Taxas de sucesso intermediárias.
    O estudo foca especificamente no subconjunto Difícil (158 tarefas), pois estes fornecem o cenário mais informativo para avaliar capacidades de planejamento sob condições desafiadoras.

Configuração Experimental

Os autores avaliaram quatro representações de plano distintas nas tarefas Difíceis, através de diferentes famílias de LLMs multimodais (OpenAI, Alibaba e Google):

1. Subobjetivos Sequenciais: A abordagem padrão usando uma lista ordenada de subobjetivos de alto nível.
2. Lista de Verificação de Requisitos: Uma lista desordenada de requisitos que devem ser atendidos, deixando a ordem de execução para o executor.
3. Pseudocódigo: Um formato estruturado usando funções intuitivas, condicionais e loops para capturar contingências.
4. Narrativa: Uma descrição verbosa em linguagem natural do processo de conclusão da tarefa.

Os experimentos testaram várias combinações de planejador-executor, incluindo configurações homogêneas (mesmo modelo para ambas as funções) e configurações heterogêneas (modelos diferentes para planejamento e execução).

Métricas de Avaliação

Reconhecendo que a Taxa de Sucesso (SR) padrão trata cada tentativa como independente e falha em capturar a natureza estocástica dos LLMs, os autores introduziram duas métricas inovadoras:

• Taxa de Conquista (AR): Mede a alcançabilidade ao nível da tarefa através de múltiplas execuções. Uma tarefa é considerada "conquistada" se pelo menos uma das $N$ execuções for bem-sucedida. Isso distingue entre tarefas que são "raramente solucionáveis" e aquelas que são "completamente não resolvidas".
• Consistência de Tarefas Resolvidas (STC): Uma métrica de robustez que mede a confiabilidade do desempenho entre tentativas para tarefas que foram conquistadas pelo menos uma vez.

Principais Contribuições

1. Classificação Automatizada de Dificuldade de Tarefa: O artigo apresenta um pipeline reprodutível para particionar tarefas de benchmark em níveis de dificuldade sem anotação humana, permitindo a avaliação sistemática de estratégias de planejamento.
2. Avaliação de Novas Representações de Planejamento: O estudo propõe e avalia três formatos alternativos de planejamento baseados em NL (Narrativa, Pseudocódigo, Lista de Verificação) contra os Subobjetivos Sequenciais padrão.
3. Novas Métricas de Avaliação: A introdução de AR e STC fornece uma visão mais matizada do desempenho do agente, capturando tanto a alcançabilidade quanto a consistência em ambientes estocásticos.

Resultados e Análise

O estudo empírico produziu várias descobertas significativas:

• A Representação do Plano Importa: A eficácia de uma estratégia de planejamento é altamente dependente do LLM subjacente.
  • GPT-4.1-mini performou consistentemente melhor com planos em Narrativa, sugerindo que modelos treinados extensivamente em texto de linguagem natural aproveitam instruções descritivas coerentes de forma eficaz.
  • Qwen-2.5-VL performou melhor com representações em Lista de Verificação, beneficiando-se de orientação explícita e estruturada.
  • Modelos Gemini mostraram desempenho competitivo em múltiplos formatos e beneficiaram-se notavelmente de formatos não padrão; especificamente, Pseudocódigo produziu altas Taxas de Conquista quando o Gemini atuou tanto como planejador quanto como executor.
• Separação Planejador-Executor: Pares mistos de planejador-executor geralmente superaram configurações homogêneas. Por exemplo, combinar GPT-4.1-mini como planejador com Gemini como executor alcançou o desempenho geral mais forte. Isso sugere que diferentes modelos possuem forças complementares: alguns são superiores no planejamento estrutural de alto nível, enquanto outros se destacam na execução de ações de baixo nível.
• Planejamento Estático vs. Dinâmico: Contrariando a intuição de que o replanejamento dinâmico é superior, o Planejamento Estático frequentemente superou o planejamento dinâmico de agente único. A análise qualitativa revelou que agentes dinâmicos frequentemente entravam em loops de ação, perdiam o acompanhamento do progresso da tarefa ou marcavam prematuramente subtarefas como concluídas. A configuração estática de planejador-executor permitiu que o executor se concentrasse exclusivamente na seleção de ações, sem a carga cognitiva do replanejamento contínuo.

Significado e Alegações

O artigo alega que a formulação de um plano e o LLM específico que o gera influenciam significativamente a robustez do agente web e o sucesso da tarefa. Ao desafiar a suposição de que os planos devem assumir a forma de subobjetivos sequenciais, os autores demonstram que formatos não padrão podem ser benéficos, particularmente para tarefas difíceis.

O estudo enfatiza que a eficácia do planejamento não é apenas uma função da capacidade do modelo, mas está profundamente ligada à forma representacional do plano. Os resultados apoiam a adoção de arquiteturas de agentes modulares que exploram forças complementares de modelos (por exemplo, usando um modelo para planejamento e outro para execução) e sugerem que o planejamento estático pode ser uma alternativa mais robusta e eficiente ao planejamento dinâmico em certos contextos.

Os autores permanecem modestos quanto ao seu escopo, reconhecendo limitações como o conjunto restrito de backends de LLM, o uso de um único benchmark (WebArena) e um número limitado de execuções ($N=5$). Eles postulam que expandir essas variáveis forneceria uma imagem mais abrangente da eficácia do planejamento.