Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Este artigo propõe uma perspectiva de planejamento hierárquico para analisar falhas em agentes web baseados em LLM, identificando que, embora planos estruturados em PDDL melhorem a estratégia de alto nível, o principal gargalo para atingir a confiabilidade humana reside na execução de baixo nível e no controle adaptativo.

O essencial

Imagine que você está tentando ensinar um robô muito inteligente, mas um pouco ingênuo, a fazer uma tarefa complexa na internet, como "comprar o melhor tênis de corrida com desconto".

Este artigo é como um manual de diagnóstico para entender por que esses robôs (chamados de "Agentes Web" baseados em Inteligência Artificial) ainda falham tanto, mesmo sendo tão espertos.

Os autores propõem que, em vez de apenas olhar se o robô conseguiu ou não o tênis (o resultado final), devemos olhar como ele pensou e agiu em três etapas diferentes. Eles chamam isso de uma "visão hierárquica" (como uma escada de três degraus).

Aqui está a explicação simples, usando analogias do mundo real:

1. A Metáfora do Chefe, do Motorista e do Mecânico

Para entender onde o robô falha, os autores dividem o cérebro do robô em três partes:

• Degrau 1: O Planejamento de Alto Nível (O Chefe)

  • O que faz: O "Chefe" recebe a ordem ("compre o tênis") e cria um mapa mental. Ele decide: "Primeiro, vou ao site da Nike. Depois, filtro por tamanho 42. Depois, ordeno por preço mais baixo. Finalmente, compro."
  • O problema: Às vezes, o Chefe faz um plano muito confuso ou muito detalhado demais, esquecendo que ele não sabe exatamente onde os botões estão na tela.
  • A descoberta do artigo: Quando o Chefe escreve o plano em uma linguagem de computador estruturada (chamada PDDL, que é como uma receita de bolo rigorosa), ele faz planos melhores e mais diretos do que quando escreve em linguagem natural (como um texto corrido).

• Degrau 2: A Execução de Baixo Nível (O Motorista)

  • O que faz: O "Motorista" pega o plano do Chefe e coloca a mão na massa. Ele precisa clicar no botão certo, digitar o número certo e rolar a página. É a parte física da tarefa.
  • O problema: Aqui é onde a maioria dos robôs trava. O Motorista é cego e desajeitado. Ele pode clicar no botão errado porque achou que era o certo (alucinação), ou ficar clicando no mesmo lugar 10 vezes porque não percebeu que não funcionou.
  • A descoberta do artigo: Mesmo que o Chefe dê um plano perfeito, o Motorista muitas vezes falha em executá-lo. Este é o maior gargalo. O robô entende o "o quê" fazer, mas não consegue fazer o "como" com precisão.

• Degrau 3: O Replanejamento (O Mecânico)

  • O que faz: Se o Motorista bate o carro (clica no link errado) ou se o site muda de lugar, o "Mecânico" entra em ação. Ele olha o que deu errado e diz: "Ok, o plano original não vai funcionar. Vamos tentar ir pelo caminho B".
  • A descoberta do artigo: Quando o robô tem a chance de parar, olhar o erro e fazer um novo plano (replanejar), ele melhora muito. Uma única tentativa de "pensar de novo" salva muitas tarefas que estariam perdidas.

2. O Que Eles Descobriram? (Os 3 Segredos)

1. Planos Estruturados são Melhores: Se você pedir ao robô para planejar usando uma "receita de código" (PDDL) em vez de um texto solto, ele faz um plano mais limpo e menos confuso. É como comparar uma lista de compras escrita à mão (cheia de rabiscos) com uma lista gerada por um app organizado.
2. O Problema é a "Mão na Massa": O maior erro não é o planejamento (o cérebro), é a execução (as mãos). Os robôs têm dificuldade em "enxergar" a tela e clicar no lugar exato. Eles alucinam links que não existem ou ficam repetindo ações inúteis.
3. Errar e Corrigir Funciona: Deixar o robô tentar, falhar, e depois pedir para ele "pensar de novo" e ajustar o plano, aumenta drasticamente as chances de sucesso.

3. A Conclusão Final

O artigo diz que, para criar um robô que navegue na internet tão bem quanto um humano, não basta apenas torná-lo mais inteligente em planejar (fazer o "Chefe" ser mais esperto).

O segredo é treinar melhor o "Motorista". Precisamos ensinar a IA a:

• Ver a tela com mais clareza (não alucinar botões).
• Entender quando algo deu errado e parar de insistir no erro.
• Usar ferramentas que a ajudem a navegar com mais segurança.

Resumo da Ópera:
Hoje, temos robôs que são ótimos estrategistas (sabem o que fazer), mas são péssimos motoristas (não sabem clicar no lugar certo). Para eles funcionarem de verdade, precisamos consertar a parte que os faz "andar" pela internet, e não apenas a parte que os faz "pensar".

Resumo técnico

Resumo Técnico: Por que Agentes Web Baseados em LLM Falham? Uma Perspectiva de Planejamento Hierárquico

1. O Problema

Agentes web baseados em Grandes Modelos de Linguagem (LLMs) demonstraram progresso significativo em tarefas de navegação e fluxos de trabalho online. No entanto, eles ainda estão longe da confiabilidade humana em tarefas realistas e de longo horizonte.

• Limitação das Avaliações Atuais: A maioria das avaliações existentes foca apenas em métricas de sucesso "end-to-end" (fim a fim). Isso oferece uma visão limitada, pois não revela onde ou por que as falhas ocorrem (ex: interpretação incorreta da tarefa, estratégia de alto nível falha, falha na execução de baixo nível ou incapacidade de recuperação).
• Necessidade: É necessário um framework de avaliação que disente as capacidades fundamentais dos agentes para diagnosticar falhas específicas e guiar melhorias.

2. Metodologia e Framework Proposto

Os autores propõem um framework de avaliação baseado em planejamento hierárquico, estruturando o agente web em três camadas distintas, inspiradas tanto no planejamento automatizado quanto no raciocínio humano:

1. Planejamento de Alto Nível (High-level Planning): Capacidade do LLM de decompor uma tarefa complexa em uma sequência de subobjetivos abstratos (ex: "filtrar por preço", "ordenar resultados").
2. Execução de Baixo Nível (Low-level Execution): Capacidade de traduzir esses subobjetivos em uma sequência de ações executáveis na interface do usuário (UI), como cliques, digitação e rolagem.
3. Replanejamento (Replanning): Capacidade de adaptar o plano quando o ambiente diverge das expectativas (ex: página não carrega, resultados de busca diferentes), decidindo entre ajustes locais ou replanejamento global.

Configuração Experimental:

• Benchmark: Extensão do Mind2Web-Live, utilizando anotações de "nós-chave" feitos por especialistas como planos de alto nível de referência (ground truth).
• Modelos Testados: gpt-5-nano (principal), claude-haiku-4.5 e gemini-flash-2.5.
• Representações de Planejamento: Comparação entre Linguagem Natural (NL) e PDDL (Planning Domain Definition Language), uma representação formal e estruturada que define pré-condições e efeitos.
• Métricas:
  • Alinhamento: Taxa de correspondência perfeita, parcial, decomposição, falta e não correspondência entre planos gerados e humanos.
  • Execução: Taxa de conclusão de subobjetivos, taxa de conclusão do plano, eficiência (número de ações) e taxa de sucesso final.
  • Análise de Erros: Alucinação de links, ações redundantes, repetições e navegação fora do domínio.

3. Principais Contribuições

• Framework de Diagnóstico Hierárquico: Introduz uma metodologia padronizada para avaliar agentes web separando planejamento, execução e recuperação, permitindo identificar gargalos específicos.
• Análise Comparativa NL vs. PDDL: É o primeiro trabalho a incorporar formalmente representações de planejamento estruturado (PDDL) em agentes web para avaliar seu impacto na qualidade do planejamento e na execução.
• Identificação do Gargalo Principal: Demonstra empiricamente que, embora o planejamento de alto nível seja importante, a execução de baixo nível (grounding perceptual) é o principal limitador de desempenho.
• Validação de Replanejamento: Mostra que uma única rodada de replaneamento informada por feedback exploratório melhora significativamente a taxa de sucesso, mesmo quando o plano inicial não estava perfeitamente alinhado com o humano.

4. Resultados Chave

A. Planejamento de Alto Nível:

• PDDL supera Linguagem Natural: Planos gerados em PDDL são mais concisos, direcionados a objetivos e alinham-se melhor com os planos humanos (84,6% de taxa de correspondência vs. 70,6% em NL).
• Redução de Ruído: O PDDL reduz significativamente a "decomposição excessiva" (quebrar um passo humano em muitos passos desnecessários) e ações não correspondidas (redundantes).
• Executabilidade: Embora os planos humanos sejam os mais eficazes, os planos PDDL gerados por LLMs se aproximam muito mais da eficiência humana do que os planos em NL.

B. Execução de Baixo Nível (O Gargalo):

• Falha na Grounding: Mesmo com planos de alto nível perfeitos (fornecidos por humanos), os LLMs falham frequentemente ao traduzir subobjetivos em ações concretas. A taxa de conclusão do plano foi de apenas ~38,5% e a taxa de sucesso final de ~36,4% para o modelo principal.
• Padrões de Falha:
  • Alucinação de Links: 32% das ações de navegação (goto) levam a links inexistentes.
  • Comportamento Redundante: 34% das ações não produzem nenhuma mudança no estado da página (DOM).
  • Repetição: Agentes frequentemente repetem a mesma ação falha mais de 3 vezes, indicando falta de compreensão do feedback do ambiente.
  • Navegação Fora de Domínio: Mais de 16% das ações ocorrem fora do site alvo (ex: usar o Google para buscar informações que deveriam estar no site).

C. Replanejamento:

• Melhoria Significativa: O replanejamento aumenta drasticamente a taxa de conclusão de subobjetivos e o sucesso geral da tarefa.
• Trade-off de Alinhamento: Curiosamente, após o replanejamento, a correspondência com o plano humano original diminui ligeiramente (o agente desvia do plano original), mas a executabilidade aumenta. Isso sugere que, após explorar o ambiente, o agente gera planos mais realistas e executáveis, mesmo que menos alinhados com a estrutura abstrata humana inicial.

D. Comparação de Modelos:

• gpt-5-nano: Desempenho superior em todas as métricas.
• gemini-flash-2.5: Gera planos de alto nível muito compactos, mas sofre severamente na execução de baixo nível (alta taxa de ações redundantes e baixa taxa de sucesso).
• claude-haiku-4.5: Menos propenso a alucinar links, mas tende a repetir ações com mais frequência, indicando dificuldade em usar feedback para corrigir o curso.

5. Significado e Recomendações

O estudo conclui que a busca por agentes web confiáveis não deve focar apenas em melhorar o raciocínio de alto nível (planejamento), mas sim em melhorar o "grounding" perceptual e o controle adaptativo na execução.

Direções Futuras Sugeridas:

1. Separação de Habilidades: Tratar planejamento e execução como habilidades distintas que requerem módulos especializados (ex: PDDL para planejamento, ferramentas específicas para execução robusta).
2. Melhor Grounding Perceptual: Desenvolver representações de estado e feedback mais ricas para ajudar o modelo a rastrear o progresso e evitar ações redundantes ou repetitivas.
3. Espaços de Ação que Aceitam Incerteza: Permitir que o executor sinalize incerteza ou desalinhamento com o modelo do mundo (ex: pedindo esclarecimento ou solicitando replanejamento) em vez de forçar uma ação de UI concreta a cada passo.
4. Avaliação Baseada em Processos: Adotar métricas de avaliação granulares (planejamento, execução, replanejamento) como padrão, em vez de depender apenas de taxas de sucesso final.

Em suma, o artigo fornece uma base principial para diagnosticar falhas em agentes web, revelando que a lacuna entre a inteligência de planejamento e a execução robusta no mundo real é o principal obstáculo para a confiabilidade humana nesses sistemas.