Resumo Técnico: Socratic-SWE

Declaração do Problema

Agentes de engenharia de software (SWE) impulsionados por Grandes Modelos de Linguagem (LLMs) emergiram como um benchmark crítico para inteligência em cenários do mundo real, exigindo interação de longo horizonte com repositórios de código para localização de bugs, reparo e verificação. No entanto, o treinamento desses agentes é limitado pela escassez de tarefas de SWE de alta qualidade. Os métodos existentes de dados sintéticos geralmente dependem de mutação estática, injeção de bugs ou procedimentos de reescrita fixos. Essas abordagens geram distribuições de tarefas que são independentes do próprio progresso de treinamento do agente e de suas fraquezas específicas, levando a um desalinhamento entre o currículo e as lacunas reais de capacidade do modelo. Além disso, embora o treinamento por aprendizado por reforço (RL) produza "rastros de resolução" valiosos (registros de comportamento do agente, uso de ferramentas e falhas), os métodos atuais descartam esses rastros após a extração de recompensas escalares, falhando em utilizá-los para evoluir o currículo de treinamento.

Metodologia: Socratic-SWE

Os autores propõem o Socratic-SWE, um framework de ciclo fechado e autoevoluinte que transforma rastros históricos de resolução em sinais de treinamento estruturados. O sistema opera através de um loop de coevolução envolvendo uma política compartilhada $\pi_\theta$ que alterna entre dois papéis: um Gerador e um Resolvedor.

1. Registro de Habilidades do Agente (Destilação de Rastros)

Em vez de descartar os rastros, o Socratic-SWE os destila em um Registro de Habilidades do Agente ($S$). Este processo envolve três estágios:

• Coleta de Rastros: O Resolvedor interage com repositórios semente, gerando um corpus de rastros ($T$), incluindo trajetórias bem-sucedidas e falhas.
• Extração de Habilidades: Um modelo de destilação ($M_{distill}$) analisa esses rastros para identificar padrões comportamentais recorrentes. Para rastros bem-sucedidos, ele extrai estratégias generalizáveis; para rastros falhos, ele resume modos de falha e princípios corretivos.
• Construção do Registro: As habilidades candidatas são deduplicadas e filtradas para formar um registro estruturado. Cada habilidade é um documento estruturado contendo um nome, descrição, condições de aplicabilidade e uma lista ordenada de operações.

2. Geração de Tarefas Guiada por Habilidades

O papel do Gerador utiliza o Registro de Habilidades do Agente para construir tarefas de reparo direcionadas em repositórios de código reais.

• Propostas Adaptativas: O Gerador amostra uma habilidade $s \in S$ e um repositório $r$ para propor uma tarefa $\tau$ e um sinal de verificação $v$. Este processo é condicionado à evidência ($E_t$) coletada do desempenho anterior do Resolvedor, garantindo que as tarefas visem as lacunas de capacidade atuais.
• Validação em Estágios: As tarefas candidatas passam por um pipeline de validação baseado em execução de quatro estágios em um ambiente de sandbox:
  1. Formato: Validade sintática.
  2. Fundamentação (Grounding): Verificação de que os artefatos da tarefa existem no repositório.
  3. Execução: Estabilidade e reprodutibilidade da suíte de verificação.
  4. Semântica: Confirmação de que a tarefa distingue entre estados falhos e reparados.
• Recompensa Consciente de Gradiente: Para garantir que as tarefas não sejam apenas válidas, mas também úteis, o Gerador é recompensado com base no alinhamento do gradiente do resolvedor. O sistema calcula uma direção de gradiente alvo ($G_v$) a partir de um conjunto de tarefas de validação confiáveis mantido de fora. A recompensa para uma tarefa candidata é a similaridade de cosseno entre o gradiente do resolvedor induzido pela tarefa ($g_\tau$) e $G_v$. Isso prioriza tarefas que direcionam o resolvedor em uma direção consistente com melhorias confiáveis.

3. Resolvedor de Reparo de Repositório

O papel do Resolvedor treina no currículo aceito de tarefas. Ele interage com o sandbox do repositório para gerar patches. A função de recompensa ($r_S$) é multicomponente, recompensando:

• Passagem de suíte completa (todos os testes passando).
• Taxas de reparo parcial.
• Evitação de regressão (preservando testes que originalmente passavam).
  O Resolvedor é otimizado usando GDPO (Otimização de Política Direta Agrupada) para lidar efetivamente com os componentes heterogêneos de recompensa.

Principais Contribuições

1. Paradigma de Autoevolução Baseado em Rastros: O artigo demonstra que os rastros de resolução, tipicamente descartados após a computação da recompensa, podem servir como um substrato reutilizável para agentes autoevoluintes. O Socratic-SWE converte o comportamento histórico em habilidades estruturadas que guiam um loop fechado de rastro-habilidade-tarefa.
2. Otimização de Currículo Consciente de Gradiente: Os autores introduzem um mecanismo de currículo que combina geração condicionada por habilidade com validação baseada em execução e uma recompensa de alinhamento de gradiente do resolvedor. Isso garante que as tarefas geradas sejam tanto verificáveis quanto alinhadas com direções de melhoria confiáveis.
3. Desempenho Empírico Superior: O framework alcança resultados de estado da arte entre os baselines de autoevolução sob o mesmo orçamento de computação, demonstrando forte capacidade de autoevolução e transferência.

Resultados Experimentais

O framework foi avaliado em quatro benchmarks: SWE-bench Verified, SWE-bench Lite, SWE-bench Pro e Terminal-Bench 2.0. Os experimentos utilizaram um orçamento de computação fixo de 36.000 instâncias de treinamento (12k por iteração ao longo de 3 iterações) e compararam contra cinco baselines de autoevolução (SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR) e um agente base.

• Desempenho: Após três iterações, o Socratic-SWE alcançou 50,40% no SWE-bench Verified, um aumento de +7,80 pontos sobre o agente base e +3,40 sobre o baseline mais forte (SSR). Também atingiu 36,67% no Lite, 22,85% no Pro e 14,61% no Terminal-Bench 2.0.
• Escalabilidade: Ao contrário dos baselines que estagnam ou regridem após 2 iterações, o Socratic-SWE mostrou ganhos consistentes através da terceira iteração. A escala estendida para 5 iterações mostrou que ele atinge um teto mais alto (52,00%) em comparação ao SSR (48,00%).
• Estudos de Ablação: Remover o Registro de Habilidades causou a maior queda de desempenho (-4,20 pontos), confirmando que o design de currículo guiado por habilidades é o principal motor. Substituir a destilação de rastros por habilidades manuais ou usar GRPO padrão em vez de GDPO também resultou em degradação significativa.

Significância e Alegações

O artigo afirma que o Socratic-SWE fornece um substrato escalável para agentes de SWE autoevoluintes ao aproveitar os próprios rastros de resolução do agente para adaptar continuamente seu currículo de treinamento. Os autores argumentam que esta abordagem supera as limitações da síntese de dados estática e agnóstica ao modelo, criando um loop dinâmico e consciente do modelo onde:

• Rastros são transformados em habilidades.
• Habilidades guiam a geração de tarefas direcionadas.
• Tarefas geradas produzem novos rastros para evolução posterior.

Os resultados sugerem que os rastros de resolução contêm sinal suficiente para impulsionar a autoevolução sustentada sem anotação externa, efetivamente adiando a saturação das curvas de aprendizado observadas em outros métodos de self-play. O framework é particularmente eficaz porque utiliza os modos de falha ricos e diagnosticáveis inerentes aos rastros de SWE, combinados com a verificação determinística baseada em execução.

Limitações

Os autores reconhecem diversas limitações:

• Ambiente de Mundo Fechado: A avaliação depende de um pool fixo de repositórios semente. À medida que o Registro de Habilidades se torna mais completo, o sistema enfrenta retornos decrescentes devido a sinais de treinamento redundantes.
• Dependência de Validação: O método depende de um conjunto de validação mantido de fora para definir a recompensa de alinhamento de gradiente do gerador, o que pode limitar a robustez se a distribuição de validação não representar o cenário de implantação alvo.
• Requisitos de Execução: A abordagem assume verificação executável e interação em sandbox, o que significa que os ganhos podem não se transferir diretamente para configurações que carecem de testes confiáveis ou execução determinística.
• Escopo: A avaliação é atualmente limitada a benchmarks específicos de SWE e terminais; a transferência mais ampla para outras linguagens ou fluxos de trabalho ainda precisa ser estabelecida.