💬 NLP

Online Monitoring and Corrective Steering of Programming Agents

Este artigo apresenta o LivePlan, um framework de baixo custo que melhora o desempenho de agentes de programação em problemas complexos do GitHub ao empregar um monitor determinístico para detectar desvios comportamentais em tempo real e consultar seletivamente um consultor de LLM para correções direcionadas, alcançando assim melhorias significativas na taxa de resolução com overhead mínimo.

Autores originais: Shuyang Liu, Saman Dehghan, Ji Young Kim, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shuyang Liu, Saman Dehghan, Ji Young Kim, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores podem escrever seu próprio software, corrigindo erros e construindo novos recursos por conta própria. Este é o reino dos "agentes de IA", trabalhadores digitais que utilizam Grandes Modelos de Linguagem (LLMs) — o mesmo tipo de poder cerebral inteligente por trás dos chatbots — para ler código, entender o que está errado e tentar consertar. Mas aqui está o problema: esses trabalhadores digitais não são perfeitos. Às vezes eles se distraem, saem do caminho, repetem o mesmo erro repetidamente ou desistem antes de terminarem. É como enviar um robô muito inteligente, mas facilmente confuso, para uma biblioteca gigante para encontrar um livro específico; ele pode começar a ler a seção errada, ficar preso em um loop tentando abrir uma porta que está trancada ou decidir ir embora antes de encontrar o livro. Os pesquisadores se importam profundamente com isso porque, se quisermos que a IA lide com trabalhos complexos do mundo real, como corrigir projetos de software massivos, precisamos garantir que esses agentes não apenas se desviem de seus objetivos ou desperdicem tempo e dinheiro em becos sem saída.

Apresentamos o LIVEPLAN, um novo sistema projetado para agir como um treinador vigilante e em tempo real para esses robôs de programação. Os pesquisadores, Shuyang Liu e sua equipe, notaram que as tentativas anteriores de corrigir esses agentes errantes tinham uma falha importante: elas frequentemente tentavam "julgar" o trabalho do robô e "dar conselhos" ao mesmo tempo usando um único céreço de IA. Isso era como pedir a um único árbitro que tanto apitasse uma falta quanto dissesse imediatamente ao jogador exatamente como jogar o resto do jogo. O problema? O árbitro poderia ficar confuso, inventar uma falta que não aconteceu e dar instruções ruins que, na verdade, fariam o jogador errar ainda mais.

O LIVEPLAN resolve isso dividindo o trabalho em dois papéis distintos. Primeiro, ele utiliza um monitor determinístico — pense nisso como um guarda de trânsito rigoroso e que segue regras. Este guarda não adivinha nem alucina; ele simplesmente observa sinais claros e específicos de problemas, como o robô repetindo o mesmo passo duas vezes seguidas, pulando uma verificação de segurança crucial ou encarando a mesma parede por tempo demais. Se o guarda de trânsito vê um problema, então ele chama um conselheiro inteligente (uma IA poderosa) para dar uma dica rápida e de alto nível sobre como retomar o caminho. A chave é que o conselheiro só fala quando o guarda de trânsito diz: "Ei, temos um problema aqui", em vez de interromper constantemente o robô com conselhos não solicitados.

A equipe testou este sistema em problemas reais do GitHub, que são como listas de tarefas para corrigir erros em grandes projetos de software. Eles descobriram que o LIVEPLAN foi um divisor de águas. Comparado aos agentes "vanilla" padrão que apenas rodam sem um treinador, o LIVEPLAN ajudou a resolver significativamente mais problemas — aumentando as taxas de sucesso em até 15,2% nas tarefas mais difíceis, com uma melhoria média de 9,9%. Talvez o mais impressionante seja que ele fez isso adicionando apenas um custo minúsculo de cerca de US$ 0,08 por correção.

O artigo também mostra o que acontece quando você não usa essa abordagem cuidadosa. Eles testaram outros métodos que tentavam replanejar toda a jornada do robô do zero ou faziam verificações com muita frequência. Esses métodos frequentemente davam errado: os treinadores de "replanejamento" às vezes inventavam problemas que não existiam e enviavam o robô em caçadas a fantasmas, enquanto os "check-ins frequentes" muitas vezes davam conselhos tarde demais para serem úteis. A abordagem do LIVEPLAN de esperar por sinais claros antes de intervir provou ser o ponto ideal. Ele guiou com sucesso os agentes através dos problemas complicados e difíceis que geralmente os deixam travados, sem atrapalhar aqueles que eles já eram bons em resolver. Em suma, ao deixar um verificador de regras simples vigiar a porta e só chamar o cérebro grande quando necessário, os pesquisadores encontraram uma maneira de manter esses trabalhadores digitais focados, eficientes e muito mais propensos a terminar o trabalho.

Resumo Técnico: LIVEPLAN – Monitoramento Online e Direcionamento Corretivo de Agentes de Programação

Declaração do Problema

Corrigir problemas do GitHub em projetos de software de larga escala é uma tarefa de longo horizonte que frequentemente exige que agentes percorram trajetórias complexas. Os atuais agentes baseados em LLM sofrem frequentemente de deriva comportamental (behavioral drift) e ineficiências, como pular fases críticas (ex: validação), repetir ações falhas ou oscilar entre pensamentos sem progresso. Esses problemas levam a falhas na tarefa ou custos inflados, mesmo quando o agente eventualmente obtém sucesso.

As abordagens existentes para corrigir essas derivas sofrem de três limitações primárias:

Julgamento e Aconselhamento Conflados: Métodos anteriores frequentemente utilizam um único LLM para diagnosticar problemas de trajetória e recomendar correções. Isso cria um conflito de interesses onde o "conselheiro" é incentivado a encontrar problemas (viés de sicofantia), potencialmente gerando conselhos enganosos que descarrilam uma trajetória que estava, na verdade, no caminho certo.
Acionamento Ineficiente: Abordagens que dependem de avaliação periódica por LLM (ex: a cada $N$ passos) ou análise post-hoc frequentemente fornecem feedback tarde demais para que o agente se recupere ou incorrem em custos excessivos ao reexecutar trajetórias inteiras.
Confiabilidade do Juiz LLM: Usar um LLM como juiz introduz falta de confiabilidade; eles podem perder problemas reais ou sinalizar problemas espúrios devido a alucinações, carecendo do determinismo necessário para uma intervenção robusta.

Metodologia: LIVEPLAN

O artigo propõe o LIVEPLAN, um framework de monitoramento e intervenção online que desacopla o julgamento do aconselhamento. Ele é implementado sobre o framework SWE-agent e consiste em três componentes principais:

1. Monitor (Juiz Determinístico)

Em vez de usar um LLM, o LIVEPLAN emprega um monitor baseado em regras e determinístico para avaliar a trajetória do agente em tempo real.

Representações de Trajetória: O monitor utiliza duas representações abstratas:
- GRAPHECTORY: Um grafo enriquecido onde os nós são ações distintas do agente e as arestas representam a execução cronológica. Ele rastreia loops de ação e auto-loops.
- LANGUTORY: Uma abstração de ações de baixo nível em uma sequência de fases de resolução de problemas (ex: Navegação, Reprodução, Patching, Validação).
Detecção de Sinais: O monitor verifica essas representações contra um banco de dados configurável de sinais gerais para detectar derivas comportamentais. Estas incluem:
- Derivas de Bloqueio (Blocking Drifts): Violações críticas, como pular fases (ex: submeter sem aplicar o patch), aplicação prematura de patch ou oscilação (repetição de raciocínio/ações sem progresso). Estas disparam intervenção imediata.
- Derivas de Não-Bloqueio (Non-Blocking Drifts): Ineficiências como estagnação prolongada em uma única fase ou ações repetidas. Estas disparam conselhos de direcionamento, mas não bloqueiam a execução.
Processador de Intervenção: Se uma deriva for detectada, o processador decide se bloqueia a ação atual (para derivas de bloqueio) ou se anexa o conselho ao histórico (para derivas de não-bloqueio), até um limite configurável para evitar paralisação.

2. Advisor (Aconselhamento Baseado em LLM)

O Advisor baseado em LLM é consultado apenas quando o Monitor detecta uma deriva.

Entrada: Ele recebe a descrição do problema, um recorte da trajetória recente (desde o último conselho), o último conselho (se houver) e o conselho predefinido correspondente à deriva detectada.
Saída: Ele gera uma correção de alto nível para o próximo passo, em vez de um replanejamento global. Isso mantém a intervenção focada e evita a sobre-restrição do executor.
Mecanismo de Resfriamento (Cooling Mechanism): Para gerenciar custo e latência, o Advisor está sujeito a um período de "resfriamento" ( $\theta_c$ ), garantindo que não seja invocado para cada passo individual, mesmo que as derivas sejam frequentes.

3. Fluxo de Trabalho (Workflow)

O sistema opera em um loop: o agente propõe um passo $\rightarrow$ o Monitor atualiza tentativamente as representações da trajetória $\rightarrow$ as regras são verificadas. Se nenhuma deriva for encontrada, o passo é executado. Se uma deriva for encontrada, o Advisor é consultado (se o resfriamento permitir), e o conselho resultante é injetado no contexto do agente para direcionar o próximo passo.

Principais Contribuições

Técnica: A introdução do LIVEPLAN, que separa a detecção determinística de derivas comportamentais da geração de conselhos corretivos via LLM. Esta arquitetura evita a alucinação e o viés inerentes ao uso de um único LLM para ambas as tarefas.
Avaliação Empírica: Uma avaliação em larga escala através de dois benchmarks (SWE-bench Verified e SWE-bench Pro) utilizando cinco LLMs diversos (três executores, dois conselheiros). O estudo gerou 7.752 trajetórias, fornecendo um conjunto de dados para pesquisas futuras.
Análise Centrada no Processo: Além das taxas de resolução, o artigo analisa a conformidade da trajetória, a prevalência de deriva e a divergência de estratégia, oferecendo insights sobre como as intervenções melhoram o desempenho do agente.

Resultados Experimentais

O LIVEPLAN foi avaliado contra o vanilla SWE-agent, SAGE (um baseline de replanejamento) e variantes de ablação (Periodic Advisor, Predefined Advice).

Taxas de Resolução: O LIVEPLAN superou consistentemente todos os baselines.
- No SWE-bench Pro, alcançou ganhos de até 15,2% (média de 9,9%) sobre agentes vanilla.
- No SWE-bench Verified, alcançou ganhos de até 11,2%.
- As melhorias foram mais pronunciadas em instâncias de dificuldade média e difícil.
Eficiência de Custo: O custo adicional por instância foi mínimo, com média de $0,08. Em alguns casos (ex: MiniMax-M2.2.5), o LIVEPLAN na verdade reduziu os custos totais ao encurtar trajetórias ineficientes.
Comparação com SAGE: O LIVEPLAN superou significativamente o SAGE, que frequentemente falhava porque seus replanejamentos globais eram factualmente incorretos (alucinavam caminhos de arquivos ou métodos), fazendo com que os agentes falhassem imediatamente. O conselho direcionado ao próximo passo do LIVEPLAN provou ser mais robusto.
Comparação com Periodic Advisor: Embora os periodic advisors sejam acionados com frequência, eles frequentemente fornecem conselhos enganosos. O LIVEPLAN acionou o Advisor com menos frequência, porém com maior precisão, resultando em melhores taxas de resolução.
Robustez: Uma reavaliação em um subconjunto de instâncias com resultados determinísticos confirmou que os ganhos não foram artefatos de não-determinismo de execução.

Significância e Alegações

O artigo alega que o LIVEPLAN representa um passo significativo à frente no direcionamento online de agentes de programação ao abordar a instabilidade fundamental de usar LLMs como juízes. Ao confiar em regras determinísticas para detectar quando um agente está em dificuldades e reservar os LLMs apenas para o que fazer a seguir, o sistema alcança:

Maior Confiabilidade: Evita o "replanejamento enganoso" que faz com que os agentes abandonem trajetórias bem-sucedidas.
Escalabilidade: Incorre em um overhead computacional mínimo comparado a métodos que reexecutam agentes ou invocam LLMs a cada passo.
Generalização: A abordagem é agnóstica ao modelo e funciona em diferentes arquiteturas de LLM e níveis de dificuldade de benchmark.

Os autores concluem que, embora a intervenção em tempo de inferência seja eficaz, trabalhos futuros devem focar no pós-treinamento consciente da intervenção para garantir que os agentes possam executar de forma confiável os conselhos corretivos fornecidos por sistemas como o LIVEPLAN.