From Plan to Action: How Well Do Agents Follow the Plan?

Resumo Técnico: Da Planificação à Ação: Quão Bem os Agentes Seguem o Plano?

1. Problema e Motivação

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) têm como objetivo automatizar tarefas de engenharia de software através de loops autônomos de "raciocinar-agir-observar". Embora seja comum instruir esses agentes a seguirem planos específicos (sequências ordenadas de etapas, como navegação, reprodução de bugs, correção e validação), não se sabe a que extensão os agentes realmente cumprem essas instruções.

A falta de uma análise sistemática sobre a conformidade com o plano impede a distinção entre:

• Soluções alcançadas através de raciocínio estratégico correto.
• Soluções alcançadas através de sobreajuste (overfitting) a benchmarks, contaminação de dados ou memorização de fluxos de trabalho durante o treinamento.

O artigo questiona se os agentes seguem os planos instruídos, como se comportam na ausência de planos e qual o impacto de variações nesses planos no sucesso da tarefa.

2. Metodologia

Os autores realizaram uma análise extensa e sistemática de 16.991 trajetórias geradas pelo agente SWE-agent para resolver problemas em dois benchmarks populares: SWE-bench Verified e SWE-bench Pro.

• Modelos Avaliados: Quatro LLMs distintos (GPT-5 mini, DeepSeek-V3, DeepSeek-R1 e Devstral-small).

• Configurações de Plano: Foram testadas 8 variações de planos:

  1. Padrão: Navegação (N) → Reprodução (R) → Correção (P) → Validação (V).
  2. Sem Plano: Remoção total das instruções do prompt.
  3. Redução: Remoção da fase de Reprodução ou Validação.
  4. Aumento: Adição de fases relevantes (ex: execução de testes de regressão, resumo de mudanças).
  5. Reordenamento: Troca da ordem das fases (ex: Correção antes da Reprodução).
  6. Lembrete Periódico: Re-injeção do plano a cada 5 passos da trajetória.

• Métricas de Conformidade (Novas): Os autores introduziram uma métrica processual chamada Conformidade ao Plano (PC), composta por três dimensões:

  1. Conformidade de Fase do Plano (PPC): Mede se todas as fases exigidas foram cobertas.
  2. Conformidade de Ordem do Plano (POC): Mede se as fases foram executadas na ordem correta (usando a subsequência crescente mais longa).
  3. Fidelidade da Fase do Plano (PPF): Penaliza a presença de fases não instruídas (ações "fora do plano").
  • A pontuação final $PC$ é a média geométrica dessas três métricas.

• Ferramentas de Análise: Utilizaram Graphectory (representação gráfica das trajetórias) e Langutory (abstração linguística das ações) para analisar o fluxo de fases.

3. Principais Resultados e Descobertas

• Conformidade Variável: Os agentes não seguem os planos rigidamente. O Devstral-small segue a ordem estritamente, mas com muitas ações fora do plano. O DeepSeek-R1 tem baixa conformidade geral. O GPT-5 mini adapta sua estratégia baseada na dificuldade do problema (pula a reprodução em problemas fáceis).
• Impacto da Ausência de Plano: Mesmo sem um plano explícito, os agentes tendem a seguir o fluxo padrão internalizado durante o treinamento. No entanto, remover o plano reduz a taxa de sucesso, indicando que o plano atua como um guia importante para o raciocínio local, mesmo que não seja seguido perfeitamente.
• O Paradoxo do "Plano Ruim":
  • Um plano incompleto ou mal estruturado (ex: remover uma fase essencial) causa um dano maior do que não ter plano nenhum.
  • Aumento do Plano: Adicionar fases relevantes (como testes de regressão) pode degradar o desempenho se essas fases não estiverem alinhadas com a estratégia interna do modelo, criando sobrecarga ou distração.
• Lembretes Periódicos: Re-injetar o plano a cada poucos passos reduz violações e melhora o sucesso, combatendo o efeito de "esquecimento" devido ao contexto longo (janela de contexto).
• Generalização (SWE-bench Pro): Ao testar em um benchmark mais difícil e menos contaminado (Pro), a conformidade ao plano caiu em média 13%. Os agentes mostraram padrões diferentes, muitas vezes abandonando a geração de testes de reprodução e validando correções apenas com testes existentes, sugerindo que o plano padrão não é mais eficaz para guiar agentes em problemas complexos e novos.
• Causas de Violação: Fatores como sobreajuste a benchmarks, contaminação de dados, pressão da janela de contexto e otimização por recompensas de curto prazo impactam a adesão ao plano.

4. Contribuições Chave

1. Primeira Análise em Larga Escala: Estudo sistemático sobre a conformidade de agentes de programação a planos instruídos.
2. Novas Métricas: Introdução de métricas quantitativas (PPC, POC, PPF) para medir a conformidade ao plano, indo além da simples taxa de sucesso da tarefa.
3. Análise de Causas Raiz: Especulação e evidência sobre por que os agentes violam planos (ex: internalização de fluxos de trabalho vs. instruções explícitas).
4. Insights sobre Generalização: Demonstração de que planos funcionam bem em dados contaminados (benchmarks comuns), mas falham em cenários mais limpos e desafiadores, exigindo novas abordagens.

5. Significado e Conclusão

O artigo conclui que a eficácia de um plano está intimamente ligada ao seu alinhamento com o fluxo de trabalho internalizado pelo modelo e à complexidade da tarefa.

A descoberta mais crítica é que instruir modelos a seguir planos específicos pode ser menos eficaz do que ensinar os modelos a raciocinar e agir de forma adaptativa. O foco da pesquisa futura deve mudar de "codificar planos específicos em prompts" para paradigmas de fine-tuning que ensinem os modelos a seguir instruções de planejamento de forma robusta, evitando a memorização de fluxos de trabalho específicos que podem não se generalizar para problemas reais e não contaminados.

Em suma, os agentes atuais muitas vezes "alucinam" ou ignoram planos quando estes conflitam com sua estratégia interna ou quando o problema exige flexibilidade, sugerindo que a próxima geração de agentes deve ser treinada para a adaptação estratégica em vez da obediência cega a roteiros pré-definidos.