Resumo Técnico: De Patches a Trajetórias (P2T)

Declaração do Problema

O método dominante para instilar capacidades de investigação e raciocínio em agentes de engenharia de software (SWE) de código aberto é o Ajuste Fino Supervisionado (SFT) em trajetórias longas geradas por modelos professores robustos. No entanto, o SFT padrão trata cada resposta retida como um alvo de imitação. Consequentemente, os agentes estudantes herdam não apenas os resultados bem-sucedidos, mas também falhas em etapas intermediárias, como saltos infundados, loops redundantes e exploração especulativa.

Os pipelines atuais de construção de dados dependem de amostragem de rejeição filtrada por resultado: eles retêm apenas trajetórias onde o patch final passa em uma suíte de testes. Essa abordagem sofre de três limitações críticas:

1. Falta de Supervisão de Processo: Não fornece feedback sobre etapas intermediárias de raciocínio, apenas o resultado terminal.
2. Ineficiência: As trajetórias retidas frequentemente contêm visualizações de arquivos redundantes, chamadas de ferramentas não informativas e loops, aumentando os custos de inferência.
3. Desperdício de Dados: Descarta instâncias onde o professor falha em produzir um patch aprovado, mesmo que a investigação do professor tenha descoberto fatos intermediários valiosos.
4. Risco de Vazamento: Simplesmente usar o patch de referência ($p^\star$) para guiar a geração arrisca o "vazamento de solução", onde o agente faz edições ou alegações antes de reunir as evidências necessárias, levando a saltos injustificados que o estudante então imita.

O desafio central é construir dados de treinamento que sejam simultaneamente eficazes (cada etapa estreita a lacuna epistêmica até a correção correta com raciocínio fundamentado) e eficientes (cada etapa é portadora de informação, evitando redundância), sem expor o patch de referência ao agente estudante.

Metodologia: P2T (De Patches a Trajetórias)

Os autores propõem o P2T, um framework que trata o patch de referência ($p^\star$) escrito pelo desenvolvedor como informação privilegiada durante a curadoria de dados. O estudante nunca vê $p^\star$; em vez disso, o processo de curadoria destila $p^\star$ em uma estrutura latente para guiar a construção da trajetória.

O P2T opera em duas fases:

Fase 1: Destilação do Grafo de Processo (Fase Reversa)

O patch de referência $p^\star$ é convertido em um grafo de processo latente $G^\star_i = (V_i, E_i)$.

• Nós ($V_i$): Representam fatos contextuais intermediários (por exemplo, localizações de arquivos, comportamentos em tempo de execução) e marcos de solução (por exemplo, scripts de reprodução, planos de correção, edições) que um desenvolvedor competente deve estabelecer antes que a correção seja derivável.
• Arestas ($E_i$): Codificam relações de pré-requisito, garantindo uma ordem topológica onde um nó só é descoberto após seus pré-requisitos serem estabelecidos.
• Construção: Um loop iterativo Propositor-Crítico usando agentes LLM:
  • Propositor: Identifica fatos ou marcos ausentes necessários para derivar $p^\star$.
  • Crítico: Faz cumprir o não-vazamento, podando qualquer nó cujo "desbloqueador" (a ação necessária para descobri-lo) pressuponha conhecimento do próprio $p^\star$.
• Resultado: Um grafo $G^\star$ que codifica os pré-requisitos necessários para a correção sem revelar a correção em si.

Fase 2: Realização de Trajetória Bi-Objetivo com Horizonte Recedente (Fase Direta)

As trajetórias são construídas amostrando continuações cegas de um modelo professor e curando-as contra $G^\star$.

• Geração de Candidatos: Em cada janela deslizante, o sistema amostra $K$ "sementes cegas" do professor. Em seguida, gera "variantes mutadas" aplicando no máximo uma edição localizada a um passo da semente, redirecionando-o para um nó disponível em $G^\star$.
• Seleção Bi-Objetivo: O sistema seleciona um segmento com base em dois critérios:
  1. Eficácia: Medida por uma pontuação de progresso ($Prog_t$) que conta nós recém-estabelecidos em $G^\star$, penalizando alegações prematuras. Um portão de fundamentação garante que nenhum passo referencie entidades ou faça alegações não apoiadas ainda pela história visível.
  2. Eficiência: Medida pelo comprimento da trajetória (contagem de tokens ou contagem de passos).
• Regra de Compromisso: O sistema aplica uma regra de "mais-curto-acima-do-piso": entre segmentos que atendem a um limite mínimo de eficácia, compromete-se o mais curto. Isso garante que a trajetória seja concisa enquanto mantém uma fundamentação rigorosa.
• Terminação: O processo se repete até que um patch seja gerado. Apenas trajetórias onde o patch final passa na suíte de testes são admitidas no conjunto de dados de SFT.

Contribuições Principais

1. Formulação do Problema: Os autores enquadram a construção de dados de SFT para agentes SWE como um problema de otimização bi-objetivo sobre a eficácia por etapa e o comprimento da trajetória, demonstrando que a amostragem de rejeição filtrada por resultado padrão falha em fornecer sinais em qualquer um dos eixos.
2. Framework P2T: Um framework de curadoria inovador que utiliza $p^\star$ como informação privilegiada. Ele destila $p^\star$ em um grafo de processo sem vazamento $G^\star$ e realiza trajetórias que são curtas, fundamentadas e guiadas por $G^\star$ sem expor o patch ao estudante.
3. Validação Empírica: Usando apenas 1,8 mil instâncias curadas do SWE-Gym, o P2T alcança melhorias simultâneas em eficácia e eficiência sobre baselines filtradas por resultado.

Resultados Experimentais

Os autores avaliaram o P2T no SWE-bench Verified e no SWE-bench Lite usando dois modelos estudantes (Qwen2.5-Coder-14B/32B) e dois curadores professores (Qwen3-Coder-480B, GLM-5-FP8).

• Ganhos de Desempenho: No SWE-bench Verified, o P2T melhorou o Pass@1 em até +10,8 pontos (por exemplo, de 39,6% para 50,4% para o estudante de 32B) em comparação com a baseline de amostragem de rejeição por aprovação de teste.
• Ganhos de Eficiência: O P2T reduziu os custos de inferência por instância em ~15% (por exemplo, de \0,92 para \0,78), demonstrando que as trajetórias curadas são significativamente mais curtas e menos redundantes.
• Análise de Qualidade:
  • As trajetórias curadas foram 9,3% mais curtas e 31,0% menos redundantes (em termos de ações de visualização de arquivo) do que os rolagens rejeitados.
  • Essas melhorias estruturais transferiram-se para os estudantes treinados, que emitiram rolagens 10,3% mais curtas e 19,5% menos redundantes do que as de estudantes treinados na baseline.
• Estudos de Ablação:
  • A remoção da verificação de fundamentação causou uma queda de ~7,2 pontos no Pass@1, confirmando a necessidade de prevenir saltos infundados.
  • A remoção da regra de mais-curto-acima-do-piso aumentou o comprimento da trajetória e a contagem de tokens, reduzindo o Pass@1, indicando que trajetórias mais curtas carregam menos ruído de imitação.
  • Um estudo de valor da informação confirmou que os ganhos são impulsionados pela informação codificada em $G^\star$ e não apenas pela maquinaria de curadoria ou escala de dados.

Significado e Alegações

O artigo alega que a unidade correta de supervisão para agentes capazes não é a trajetória ou o artefato terminal isoladamente, mas a estrutura que os conecta.

• Fatorização de Informação Privilegiada: O P2T demonstra que patches de referência, frequentemente descartados como mera verdade fundamental, podem ser aproveitados como sinais privilegiados para moldar dados de treinamento de alta qualidade sem comprometer a capacidade do estudante de aprender habilidades genuínas de investigação.
• Otimização Simultânea: O trabalho desafia o trade-off entre exploração (eficácia) e eficiência. Ao usar um grafo de processo para ancorar o progresso, o P2T alcança simultaneamente taxas de resolução mais altas e custos de inferência mais baixos, provando que "exploração cautelosa e bem fundamentada" não exige necessariamente "encurtamento agressivo" que convida a atalhos não suportados.
• Qualidade de Dados sobre Escala: Os resultados sugerem que a qualidade por trajetória, derivada de uma supervisão de processo principista, é um motor mais potente do desempenho do agente do que simplesmente escalar o volume de dados filtrados por resultado.

Os autores mantêm uma postura modesta, reconhecendo limitações como a dependência de suítes de testes executáveis e patches de referência, e a natureza empírica (em vez de formal) das verificações de fundamentação mediadas por LLM. Eles posicionam o P2T como um passo em direção a uma abordagem mais estruturada para a supervisão de processos em agentes de engenharia de software.