Resumo Técnico: daVinci-Dev: Mid-training Nativo de Agente para Engenharia de Software

1. Definição do Problema

A fronteira das capacidades de Grandes Modelos de Linguagem (LLMs) em engenharia de software mudou da geração de código de turno único para a engenharia de software agêntica, onde os modelos devem navegar, editar e testar repositórios complexos de forma autônoma. Embora as abordagens de estado da arte atuais dependam de pós-treinamento (Ajuste Fino Supervisionado seguido de Aprendizado por Reforço), este paradigma enfrenta limitações críticas:

• Escassez e Descompasso de Dados: O pós-treinamento é limitado pelas capacidades intrínsecas do modelo base e pela quantidade limitada de trajetórias executáveis de alta qualidade disponíveis. A maioria dos dados de treinamento consiste em artefatos estáticos e concluídos (ex: commits mesclados) que carecem dos loops de ação-observação sequenciais inerentes ao desenvolvimento real.
• Descompasso de Distribuição: O treinamento tradicional mostra o que foi produzido, mas obscurece como um desenvolvedor ou agente descobriu arquivos, examinou o contexto e refinou soluções iterativamente com base no feedback de testes. Isso cria uma laciga entre as distribuições estáticas de treinamento e o ambiente dinâmico e rico em feedback de implantação real.
• Mid-Training Subexplorado: Embora o mid-training (MT) tenha se mostrado transformador para domínios como matemática e código, os esforços existentes para engenharia de software frequentemente adotam uma abordagem fatorizada, sintetizando amostras isoladas para tarefas atômicas (ex: localização ou edição) sem preservar o contexto procedimental e a dinâmica de interação que um agente experimenta.

2. Metodologia: Mid-Training Nativo de Agente

O artigo propõe o daVinci-Dev, uma abordagem sistemática de mid-training agêntico que instila comportamentos agênticos fundamentais antes do pós-treinamento. A inovação central é a construção de Dados Nativos de Agente, definidos como supervisão que preserva o fluxo completo de informações e a dinâmica ambiental da engenharia de software real.

A metodologia baseia-se em dois tipos complementares de trajetórias:

A. Trajetórias Contextualmente Nativas ($D_{ctx}$)

• Objetivo: Fornecer ampla cobertura e diversidade preservando o contexto de desenvolvimento completo.
• Fonte: Construído a partir de Pull Requests (PRs) do GitHub.
• Síntese: Em vez de fatorizar os PRs em tarefas isoladas, os autores reconstroem fluxos de trabalho completos. Para cada PR, eles agrupam:
  • Descrição da Issue: A especificação do problema.
  • Arquivos Relevantes: Conteúdo completo dos arquivos no commit base (simulando a fase de "leitura").
  • Edições Temporais: Uma sequência de commits com mensagens de commit refinadas e diffs de código (simulando a fase de "edição").
  • Raciocínio Contextual: Resumos gerados por LLM conectando a issue às edições.
• Escala: 68.6B de tokens derivados de mais de 10M de PRs em diversas linguagens (subconjunto Geral) e repositórios focados em Python (subconjunto Python).

B. Trajetórias Ambientalmente Nativas ($D_{env}$)

• Objetivo: Fornecer autenticidade de interação e capturar o loop de feedback iterativo (Editar $\to$ Testar $\to$ Revisar).
• Fonte: Ambientes executáveis reais derivados de PRs do GitHub.
• Síntese: Usando o framework SWE-AGENT e GLM-4.6, os autores geram rollouts de agentes em ambientes Docker contendo testes unitários reais.
  • O agente interage com o ambiente, recebendo observações reais (saídas de ferramentas, falhas de teste, erros de tempo de execução).
  • As trajetórias não são filtradas por sucesso; trajetórias tanto bem-sucedidas quanto falhas são incluídas para ensinar depuração e tratamento de erros.
• Escala: 3.1B de tokens (aprox. 74k trajetórias), divididos em conjuntos de sucesso ($D_{env}^{pass}$) e falha ($D_{env}^{fail}$).

C. Pipeline de Treinamento

Os modelos (baseados em Qwen2.5-Base) passam por um processo de duas etapas:

1. Mid-Training (MT): Treinamento nos corpora de larga escala nativos de agente ($D_{ctx}$ e/ou $D_{env}$). Isso desloca a distribuição de capacidade do modelo para ser mais "pronta para agente".
2. Pós-Treinamento: Ajuste Fino Supervisionado (SFT) em trajetórias agênticas de alta qualidade (ex: $D_{env}^{pass}$ ou datasets públicos como SWE-smith) para alinhar o modelo com scaffolds específicos.

3. Principais Contribuições

1. Formulação de Mid-Training Nativo de Agente: O artigo define e implementa um paradigma de mid-training que trata o comportamento agêntico como um objetivo de primeira classe, indo além do treinamento de subtarefas fatorizadas para uma supervisão holística e preservadora de contexto.
2. Construção de Dados de Larga Escala: Os autores lançam uma receita prática para construir dois datasets complementares:
   • Um corpus contextualmente nativo de 68.6B de tokens ($D_{ctx}$) preservando fluxos de trabalho completos de PRs.
   • Um corpus ambientalmente nativo de 3.1B de tokens ($D_{env}$) capturando loops de feedback de execução autênticos.
3. Desempenho de Estado da Arte: Os modelos resultantes, daVinci-Dev-32B e daVinci-Dev-72B, alcançam novos resultados de estado da arte no SWE-Bench Verified entre receitas de treinamento abertas usando scaffolds agênticos, apesar de partirem de modelos base não-codificadores.
4. Eficiência de Recursos: A abordagem alcança desempenho superior usando menos da metade dos tokens de mid-training (73.1B vs. ~150B) comparado à receita aberta anterior (KIMI-DEV), demonstrando maior densidade de informação e eficiência de tokens.

4. Resultados Experimentais

Avaliado no SWE-Bench Verified usando o scaffold SWE-AGENT:

• Ganhos de Desempenho:
  • daVinci-Dev-72B: Alcança uma taxa de resolução de 58.5%, superando o SOTA aberto anterior (KIMI-Dev com 48.6% via SFT+RL) e superando baselines que utilizam apenas SFT forte.
  • daVinci-Dev-32B: Alcança uma taxa de resolução de 56.1%, estabelecendo um novo SOTA para modelos de 32B usando scaffolds agênticos, apesar de partir de um modelo base não-codificador (Qwen2.5-32B-Base).
• Robustez: A receita de mid-training produz ganhos consistentes através de diferentes regimes de pós-treinamento (SFT Fraco vs. SFT Forte) e escalas de modelo (32B vs. 72B).
• Generalização: Os modelos mostram melhorias significativas em benchmarks de geração de código geral (HumanEval, EvalPlus) e tarefas de raciocínio científico (GPQA, SciBench), sugerindo que o mid-training agêntico fomenta habilidades de raciocínio transferíveis.
• Leis de Escala (Scaling Laws): O artigo observa uma forte relação log-linear entre passos de treinamento e desempenho ($R^2 \approx 0.90$), indicando que o paradigma ainda não saturou e beneficia-se de maior escalonamento.

5. Significância e Alegações

O artigo argumenta que os dados nativos de agente são o elo perdido crítico para escalar agentes de engenharia de software. Ao unir o descompasso de distribuição entre dados de treinamento estáticos e ambientes de implantação dinâmicos, os autores demonstram que:

• Comportamentos Fundacionais: Capacidades agênticas (localização, edição iterativa, refinamento baseado em testes) podem ser instiladas durante o mid-training, criando uma base mais forte para o pós-treinamento subsequente.
• Sinergia de Tipos de Dados: A combinação de dados contextualmente nativos (para amplitude e diversidade de código) e dados ambientalmente nativos (para profundidade e autenticidade de feedback) é essencial. Dados contextualmente nativos sozinhos melhoram o desempenho, mas adicionar trajetórias ambientalmente nativas permite que o modelo internalize a dinâmica de execução.
• Escalabilidade: A abordagem oferece um caminho escalável para o desenvolvimento futuro de agentes, aproveitando a vasta disponibilidade de repositórios públicos e a verificação automatizada de ambiente para expandir além das atuais limitações de linguagem e tarefa.

Os autores concluem que seu trabalho fornece um "investimento computacional substancial" (datasets, receitas, checkpoints) para a comunidade para facilitar pesquisas adicionais neste paradigma subexplorado.