Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

Resumo Técnico: Repare o Amplificador, Não o Sintoma

Formulação do Problema
À medida que o planejamento de agentes evolui de cadeias curtas de ferramentas para fluxos de trabalho persistentes envolvendo milhares de etapas, as falhas ocorrem cada vez mais dentro de grandes grafos de planejamento, em vez de previsões isoladas. Replanejar todo o grafo após cada erro é computacionalmente proibitivo e ineficiente; consome orçamentos excessivos de contexto, expõe os Modelos de Linguagem de Grande Escala (LLMs) a sintomas irrelevantes e corre o risco de degradar o desempenho de recuperação de contexto longo.

O problema central abordado é a Correção do Modelo de Mundo: identificar um subgrafo conectado e mínimo dentro de um grafo de planejamento falho cujo reparo estabilize o sistema restante. O desafio reside em distinguir entre sintomas visíveis (nós com alto erro imediato) e os "amplificadores" subjacentes (subgrafos que reamplificam erros em execuções subsequentes). Abordagens de engenharia que simplesmente buscam por nós de alto erro ou expandem vizinhanças locais frequentemente falham porque corrigem sintomas enquanto deixam o caminho de amplificação causal ativo, levando à recorrência do erro.

Metodologia: WM-SAR
O artigo propõe o WM-SAR (World-Model Subgraph Amplification Repair), um corretor que trabalha de trás para frente a partir da amplificação do erro, em vez de trabalhar para frente a partir dos sintomas visíveis. O método opera em duas fases:

1. Seleção de Região Baseada em Grafos (Fase 1):

   • Base Teórica: A abordagem fundamenta-se na observação de que o crescimento do erro de execução é controlado pelo raio espectral ($\rho(B)$) de um operador de nó-aresta acoplado. Se $\rho(B) > 1$, os erros amplificam; se $\rho(B) \le 1$, eles decaem. O objetivo é encontrar um subgrafo $R$ tal que a remoção deste minimize o raio espectral residual $\rho(B_{G_f \setminus R})$.
   • Pontuação: O WM-SAR calcula uma pontuação de Campo de Amplificação de Erro de Grafo (GEAF) para cada nó, definida como o produto da magnitude do erro observado e o raio espectral local da vizinhança do nó. Ele também calcula um fator de acoplamento ($\kappa_v$) para medir interações superaditivas entre canais de nós e arestas.
   • Crescimento Ganancioso (Greedy): Partindo de sementes de alta pontuação, o algoritmo expande a região de reparo de forma gananciosa, adicionando nós de fronteira que maximizam o alívio espectral marginal ($\Delta\rho_{rel}$), ou seja, a redução no raio espectral residual. Este processo continua até que uma restrição de orçamento seja atingida ou que não haja mais alívio possível.
   • Poda: Nós redundantes que não contribuem para o alívio espectral são removidos para garantir que a região seja compacta.

2. Reparo Baseado em LLM (Fase 2):

   • Uma vez identificado o subgrafo ideal $R^*$, apenas esta região conectada é serializada e passada para um LLM. O LLM tem a tarefa de identificar a causa raiz e produzir uma decisão de reparo estruturada. Isso contrasta com abordagens de grafo completo que serializam todo o rastro falho, desperdiçando tokens com sintomas descendentes irrelevantes.

Principais Contribuições

• Formulação do Problema: Reenquadra a correção do modelo de mundo como um problema de otimização restrita: encontrar a menor região conectada que estabilize o modelo de mundo residual, em vez de meramente replanejar o grafo completo ou corrigir o maior erro.
• Baselines de Engenharia: Implementa e avalia uma forte família de corretores de engenharia (incluindo Top-K, janelas deslizantes, vizinhanças k-hop e varreduras em cascata) para estabelecer uma base rigorosa.
• Algoritmo WM-SAR: Introduz uma abordagem espectral de grafos que utiliza GEAF e acoplamento nó-aresta para identificar o subgrafo "amplificador". Fornece uma prova teórica de que o raio espectral residual controla o arrependimento do planejamento (planning regret).
• Evidência Empírica: Demonstra que o WM-SAR alcança uma estabilização próxima à do grafo completo usando apenas uma fração dos tokens necessários para o reparo de LLM de grafo total ou varreduras de vizinhança amplas.

Resultados
Experimentos foram conduzidos em um ambiente de teste de árvore de chamadas heterogênea sintética, mimetizando fluxos de trabalho de planejador-executor-validador, bem como em topologias inspiradas no SWE-bench, WebArena e AgentBench.

• Estabilidade vs. Correção de Sintomas: Corretores de engenharia (ex: Greedy-Point, baseados em janela) conseguem reduzir o erro imediato, mas frequentemente falham em achatar a curva de erro de longo horizonte porque deixam o canal de amplificação ativo. O WM-SAR, ao visar o raio espectral residual, achata a curva de erro, prevenindo o regresso do erro.
• Eficiência de Tokens: O WM-SAR alcança uma recuperação de causa raiz comparável ou superior ao reparo de LLM de grafo completo, utilizando significativamente menos tokens (ex: ~855 tokens vs. ~2157+ tokens para prompts de grafo completo em experimentos com GPT-4o-mini).
• Sensibilidade ao Orçamento: Sob orçamentos de reparo apertados, o WM-SAR atinge alto alívio espectral com tamanhos de região pequenos (ex: ~8 nós), enquanto métodos de engenharia exigem regiões muito maiores (frequentemente aproximando-se da cobertura total do grafo) para alcançar estabilidade semelhante.
• Robustez entre Modelos: A vantagem de desempenho do WM-SAR mantém-se em diferentes níveis de LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash), indicando que o benefício advém de uma melhor seleção de contexto, e não de peculiaridades específicas do modelo.
• Limitações: O método depende de sinais de erro por nó que sejam observáveis. Em cenários de atribuição de caixa-preta (ex: benchmark "Who&When"), onde apenas a resposta final é conhecida, o desempenho do WM-SAR degrada-se, pois a pontuação GEAF não pode ser calculada, revertendo para um comportamento similar à seleção de um nó de sumidouro (sink-node) simples.

Significância e Alegações
O artigo argumenta que o principal modo de falha das estratégias atuais de reparo de agentes é o desalinhamento entre o alvo de reparo (sintomas visíveis) e o objetivo de estabilidade (amplificação residual). Ao mudar o foco para "reparar o amplificador", o WM-SAR permite que os agentes mantenam modelos de mundo estáveis em horizontes longos sem incorrer nos custos proibitivos do replanejamento de grafo completo.

Os autores afirmam que esta abordagem oferece uma alternativa fundamentada à varredura heurística, fornecendo um alvo de reparo "mais limpo" para os LLMs, que preserva a ponte causal enquanto omite o ruído descendente de distração. O trabalho sugere que sistemas de agentes futuros devem priorizar a identificação e o reparo dos operadores estruturais que propagam o erro, em vez de simplesmente reagir às falhas mais visíveis.