Resumo Técnico: daVinci-Agency – Desbloqueando Agência de Longo Horizonte de Forma Eficiente em Dados

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em tarefas de curto prazo, escalar para fluxos de trabalho de agência de longo horizonte permanece um desafio significativo. O principal gargalo é a escassez de dados de treinamento de alta qualidade que capturem estruturas de dependência longa autênticas e dinâmicas evolutivas entre estágios.

Os métodos existentes de síntese de dados enfrentam duas limitações críticas:

1. Trajetórias Sintéticas: Métodos que dependem de cenários de característica única ou destilação limitada por professor falham em capturar modos de falha realistas, acúmulo de erros e padrões de refinamento iterativo. Eles tratam os passos de forma independente, carecendo das dependências causais essenciais para um comportamento persistente orientado a objetivos.
2. Anotação Manual: A supervisão de alta fidelidade através de anotação humana é proibitivamente cara e difícil de escalar.

Consequentemente, os modelos atuais têm dificuldade em manter a direção, mitigar erros cumulativos e realizar o refinamento iterativo ao longo de extensos períodos de interação.

2. Metodologia: daVinci-Agency

Os autores propõem o daVinci-Agency, um novo paradigma de síntese de dados que reconceitualiza a construção de dados de treinamento através da lente da evolução de software do mundo real. A percepção central é que as sequências de Pull Requests (PRs) do GitHub incorporam naturalmente os sinais de supervisão necessários para o aprendizado de longo horizonte.

2.1 Mecanismo Central: Cadeia-de-PRs (Chain-of-PRs)

Ao contrário de correções de problemas isolados, o desenvolvimento de software envolve iteração contínua onde múltiplos PRs se alinham com um único objetivo funcional. O daVinci-Agency minera sistematicamente supervisão estruturada de cadeias de PRs (sequências de PRs semanticamente ligados onde $PR_i$ itera sobre, corrige ou estende $PR_{i-1}$). Esta estrutura impõe três mecanismos críticos:

1. Decomposição Progressiva de Tarefas: Alcançada via commits contínuos e sub-consultas que quebram objetivos complexos em unidades de submissão verificáveis.
2. Consistência de Longo Prazo: Imposta através de objetivos funcionais unificados ao longo da cadeia, exigindo que o agente mantenha a coerência de estado conforme a base de código evolui.
3. Refinamento Verificável: Derivado de históricos autênticos de correção de bugs e loops de feedback, ensinando o agente a corrigir erros com base em estados anteriores.

2.2 Pipeline de Curadoria de Dados

O framework opera através de um pipeline rigoroso:

• Obtenção de Dados: Nove repositórios representativos e maduros do GitHub (ex: Scipy, Django) foram selecionados com base em escala (>7.000 PRs), interatividade da comunidade e diversidade linguística.
• Construção de Cadeia de PR: Usando metadados da API do GitHub, o sistema constrói topologias de dependência onde os PRs são ligados por referências semânticas (ex: "fixes #15").
• Formulação de Consulta: Para cada PR em uma cadeia, uma sub-consulta é sintetizada. Crucialmente, detalhes de implementação são ocultados para forçar o agente a navegar e localizar o código, enquanto uma visão global de toda a cadeia é fornecida para garantir a compreensão macroscópica.
• Rollout & Rejeição por Amostragem: Agentes (usando GLM-4.6 como o modelo de rollout) executam tarefas sequencialmente através da cadeia de PR. Um mecanismo de transição de estado garante que as mudanças de código dos estágios anteriores se propaguem para o próximo. Um processo estrito de rejeição por amostragem (usando um avaliador com um limiar $s \ge 0.8$) filtra as trajetórias, retendo apenas aquelas com alta fidelidade semântica às correções de referência (ground truth).

3. Principais Contribuições

1. Um Paradigma de Dados Escalável: A introdução do daVinci-Agency, que utiliza a evolução de PRs do mundo real para construir dados de treinamento de longo horizonte verificáveis sem depender de anotação humana cara ou síntese de característica única.
2. Eficiência de Dados: Demonstrar que o ajuste fino (fine-tuning) em um conjunto de dados notavelmente pequeno (239 amostras) gera melhorias amplas, superando baselines treinados em conjuntos de dados ordens de magnitude maiores (ex: 66k amostras).
3. Aquisição de Meta-Habilidades: Fornecer evidências de que o paradigma efetivamente ensina três meta-habilidades críticas: decomposição de tarefas, consistência de longo prazo e refinamento iterativo.
4. Leis de Escala (Scaling Laws): Revelar leis de escala de dados específicas para tarefas de longo horizonte, mostrando que estender tanto o horizonte de treinamento (comprimento da cadeia) quanto os orçamentos de interação em tempo de inferência melhora significamente o desempenho do agente.

4. Resultados Experimentais

Os autores avaliaram os modelos ajustados (especificamente as séries GLM-4.6, Qwen3) através de diversos benchmarks, incluindo SWE-bench, Toolathlon, DS-1000 e $\tau^2$-Bench.

• Ganhos de Desempenho: O ajuste fino do GLM-4.6 em apenas 239 amostras do daVinci-Agency resultou em um ganho relativo de 47% no Toolathlon e uma melhoria de 148% no desempenho de longo horizonte em comparação com modelos treinados em conjuntos de dados maiores e menos estruturados.
• Comparação com Baselines: O modelo superou baselines treinados em SWE-Smith (66k amostras) e CC-Bench (260 amostras), particularmente em tarefas que exigem evolução entre estágios.
• Estudos de Ablação:
  • A remoção da evolução entre estágios (variante SinglePR) levou à diminuição do desempenho, confirmando a necessidade de cadeias de múltiplos PRs.
  • Cadeias ordenadas cronologicamente sem links semânticos (TemporalChain) mostraram benefícios limitados, destacando que a lógica evolutiva intrínseca é mais crítica do que o mero comprimento da sequência.
• Eficiência: Modelos treinados com daVinci-Agency demonstraram redução significativa no consumo de tokens (ex: 113.6K tokens a menos no SWE-bench para o GLM-4.6) e no uso de ferramentas, indicando maior densidade de informação por token e melhor gestão de contexto.
• Análise de Escala: Estender as trajetórias de treinamento de ~59k para ~85k tokens (ao completar cadeias de PR mais longas) gerou novos ganhos de desempenho, validando o potencial de escala de estruturas sequenciais de longo horizonte.

5. Significância e Alegações

O artigo afirma que o daVinci-Agency estabelece um caminho principiado para desbloquear o potencial intrínseco de longo horizonte dos agentes. Sua significância reside em:

• Superação da Escassez de Dados: Demonstra que modelar trajetórias evolutivas do mundo real oferece uma alternativa escalável aos dados sintéticos ou anotados manualmente.
• Internalização de Comportamento: Os resultados sugerem que os agentes podem internalizar comportamentos complexos e persistentes orientados a objetivos (planejamento, consistência, correção de erros) quando expostos a dados estruturais de alta qualidade, em vez de apenas padrões superficiais.
• Potencial de Autodestilação: Como as trajetórias de treinamento foram geradas pelo próprio modelo (GLM-4.6), os ganhos de desempenho são atribuídos à autoexploração e otimização do modelo dentro de um ambiente curado, em vez de destilação de conhecimento de um "professor" superior.

Os autores concluem que, embora as implementações atuais sejam limitadas a cadeias de até 5 PRs devido a restrições de taxa de sucesso, as leis de escala observadas sugerem que estender essas cadeias é uma direção viável e promissora para pesquisas futuras em sistemas de agência de longo horizonte.