Resumo Técnico: Direcionar, Não Resolver

Declaração do Problema

O treinamento de ponta a ponta de agentes de código é intensivo em recursos e frequentemente atinge um platô em relação ao raciocínio de nível estratégico necessário para resolver problemas de código complexos. Evidências empíricas sugerem que, embora os agentes possam aprender habilidades de implementação de baixo nível (executar chamadas de ferramentas, editar código), seu raciocínio de alto nível (resolução de problemas, planejamento, busca) permanece subdesenvolvido quando otimizados conjuntamente com a execução. Aproximadamente 65% das falhas de agentes de código derivam de um raciocínio falho, e não de ações incorretas. Os métodos atuais de pós-treinamento que acoplam o raciocínio de nível estratégico ao comportamento de implementação tendem a saturar rapidamente, deixando o agente incapaz de generalizar padrões de forma eficaz. Além disso, os modelos críticos existentes são tipicamente post-hoc, pontuando trajetórias concluídas em vez de fornecer orientação intra-trajetória para direcionar o agente para longe da falha durante a execução.

Metodologia

Os autores propõem um paradigma "Direcionar, Não Resolver" (Steer, Don't Solve): congelar o agente de código e treinar um modelo crítico separado e pequeno para fornecer feedback de alto nível e de nível estratégico durante a execução do agente.

Arquitetura Central

1. Agente Congelado ($\pi_A$): O agente de código (ex: variantes CWM-32B, Qwen3) permanece congelado durante todo o processo. Ele é responsável por todas as ações concretas, chamadas de ferramentas e edições de código.
2. Intervenção do Crítico: A cada $k$ passos (ex: $k=5$ ou $10$), um modelo crítico $C$ inspeciona a trajetória parcial $\tau_{1:t}$ e o histórico do agente.
3. Ciclo de Feedback: O crítico gera uma crítica textual curta $f_t$ que é anexada ao contexto do agente antes de seu próximo passo. O crítico não interage diretamente com o ambiente.

Design e Treinamento do Crítico

• Destilação de Professor: Um modelo de fronteira (Claude-Opus-4.6) atua como um crítico professor ($C_T$) para gerar dados de treinamento. O crítico aluno ($C_\theta$) é um modelo menor (Qwen3-8B) treinado via Ajuste Fino Supervisionado (SFT) nessas críticas.
• Prompts Concisos vs. Detalhados: O artigo identifica uma escolha de design crítica em relação ao formato do feedback.
  • Prompt Detalhado: Permite que o professor forneça instruções específicas ao nível de ação (ex: "execute este comando", "edite este arquivo"). Embora eficaz para o professor forte, isso leva ao "backseat driving" (dirigir do banco de trás), onde o agente simplesmente copia a solução do professor em vez de raciocinar.
  • Prompt Conciso: Restringe o professor a fornecer apenas feedback de alto nível. Ele proíbe mudanças de código específicas ou abordagens técnicas, focando em vez disso na taxonomia de erros (ex: "Repetição de Passo", "Desvio de Tarefa") e redirecionamento estratégico. O aluno crítico treinado é destilado a partir deste prompt conciso para garantir que ele aprenda a direcionar em vez de ditar.
• Consciência de Orçamento: Durante a inferência, uma vez que o agente se aproxima de seu limite de passos (ex: passo 100 de 150), instruções de consciência de orçamento são anexadas à entrada do crítico, instando-o a priorizar a recomendação de submissão se o agente estiver travado ou tiver uma correção.
• Dados de Treinamento: As trajetórias são coletadas executando o agente congelado com o crítico professor intervindo. O corpus de treinamento utiliza um sinal de supervisão "conciso". Para garantir a transferibilidade, os autores coletam dados de um agente (CWM-32B) e testam em outros, ou misturam trajetórias de agentes alvo no corpus.

Configuração de Avaliação

• Benchmark: SWE-bench Verified (500 problemas do GitHub verificados por humanos).
• Agentes Testados: CWM-32B (denso), Qwen3-32B (denso) e Qwen3-Next-80B-A3B (MoE).
• Métricas: Taxa de Resolução (passando em testes ocultos), Taxa Localizada, Taxa de Não-Vazio e Custo (USD por instância).
• Mecanismo de Fallback: Se uma execução guiada pelo crítico falhar em submeter dentro do orçamento, uma execução base (sem crítico) é executada como fallback para garantir uma comparação de custo justa.

Principais Resultados

1. Ganhos de Desempenho: O crítico treinado melhora significamente a taxa de resolução dos agentes congelados.
   • No CWM-32B, um crítico treinado apenas em trajetórias do CWM-32B melhorou a taxa de resolução em +3,8 pontos (29,2% $\to$ 33,0%).
   • No Qwen3-32B, o mesmo crítico (treinado apenas em dados do CWM-32B) melhorou a taxa de resolução em +3,4 pontos (9,6% $\to$ 13,0%).
   • No Qwen3-Next-80B-A3B, o ganho foi de +3,0 pontos (20,8% $\to$ 23,8%).
   • Adicionar trajetórias do agente alvo ao corpus de treinamento aumentou ainda mais os ganhos, atingindo +5,2 pontos no Qwen3-32B e +4,4 pontos no Qwen3-Next-80B-A3B.
2. Transferibilidade: Um crítico treinado em as trajetórias de um único agente transfere-se efetivamente para agentes não vistos com diferentes arquiteturas (denso vs. MoE) e tamanhos, sugerindo que o sinal de direcionamento aprendido é agnóstico ao agente.
3. Eficiência de Custo:
   • O crítico treinado de 8B custa de 30 a 92 vezes menos que o professor Claude-Opus-4.6.
   • Crucialmente, no agente Qwen3-Next-80B-A3B, o sistema guiado pelo crítico é mais barato de ponta a ponta ($0,04 vs. $0,11) do que o agente não guiado. Isso ocorre porque o crítico encurta as trajetórias do agente (reduzindo o computacional do agente) o suficiente para compensar o custo das chamadas do crítico.
4. Descobertas de Ablação:
   • O treinamento é essencial: Um crítico de 8B pronto para uso (não treinado) não proporcionou ganho de desempenho sobre a linha de base.
   • O formato do prompt importa: Embora o professor tenha performado melhor com prompts detalhados, o aluno treinado performou melhor com prompts concisos. O prompt detalhado causou o "backseat driving" no professor, um comportamento que o aluno de 8B não conseguiu replicar fielmente ou generalizar, levando a um desempenho inferior quando destilado.

Significância e Alegações

O artigo afirma ser o primeiro estudo de treinamento de modelos críticos especificamente para agentes de código como uma alternativa de separação de preocupações ao escalonamento do próprio agente.

• Complemento Prático: Os resultados demonstram que um crítico pequeno e bem treinado é um complemento prático e de custo-benefício para escalar o treinamento de agentes. Ele recupera capacidades de raciocínio de nível estratégico que o treinamento de ponta a ponta deixa subdesenvolvidas.
• Separação de Preocupações: Ao desacoplar a estratégia (crítico) da execução (agente), o sistema aprende padrões mais simples e generalizáveis. O crítico lida com o diagnóstico e o redirecionamento de alto nível, enquanto o agente lida com a implementação.
• Eficiência: A abordagem alcança melhorias de Pareto-ótimo, oferecendo maior precisão a custos menores em comparação tanto com agentes não guiados quanto com sistemas que utilizam modelos de fronteira caros como críticos.

Os autores concluem que o treinamento de modelos críticos é um caminho viável para melhorar os agentes de código sem os custos proibitivos de retreinar os próprios agentes ou depender de professores caros e de caixa-preta durante a inferência.