Resumen Técnico: daVinci-Dev: Mid-training Nativo de Agentes para Ingeniería de Software

1. Planteamiento del Problema

La frontera de las capacidades de los Modelos de Lenguaje de Gran Escala (LLM) en la ingeniería de software se ha desplazado de la generación de código de un solo turno hacia la ingeniería de software agéntica, donde los modelos deben navegar, editar y probar repositorios complejos de forma autónoma. Si bien los enfoques actuales de vanguardia dependen del post-entrenamiento (Ajuste Fino Supervisado seguido de Aprendizaje por Refuerzo), este paradigma enfrenta limitaciones críticas:

• Escasez y Desajuste de Datos: El post-entrenamiento está limitado por las capacidades intrínsecas del modelo base y la cantidad limitada de trayectorias ejecutables de alta calidad disponibles. La mayoría de los datos de entrenamiento consisten en artefactos estáticos y completados (por ejemplo, commits fusionados) que carecen de los bucles de acción-observación secuenciales inherentes al desarrollo real.
• Desajuste de Distribución: Los datos de entrenamiento tradicionales muestran qué se produjo, pero ocultan cómo un desarrollador o agente descubrió archivos, examinó el contexto e iteró para refinar soluciones basadas en la retroalimentación de las pruebas. Esto crea una brecha entre las distribuciones de entrenamiento estáticas y el entorno dinámico y rico en retroalimentación del despliegue real.
• Mid-Training Poco Explorado: Si bien el mid-training (MT) ha demostrado ser transformador en dominios como las matemáticas y el código, los esfuerzos existentes para la ingeniería de software suelen adoptar un enfoque factorizado, sintetizando muestras aisladas para tareas atómicas (por ejemplo, localización o edición) sin preservar el contexto procedimental y la dinámica de interacción que experimenta un agente.

2. Metodología: Mid-Training Nativo de Agentes

El artículo propone daVinci-Dev, un enfoque sistemático de mid-training agéntico que imparte comportamientos agénticos fundacionales antes del post-entrenamiento. La innovación central es la construcción de Datos Nativos de Agentes, definidos como supervisión que preserva el flujo completo de información y la dinámica ambiental de la ingeniería de software real.

La metodología se basa en dos tipos de trayectorias complementarias:

A. Trayectorias Contextualmente Nativas ($D_{ctx}$)

• Objetivo: Proporcionar una amplia cobertura y diversidad preservando el contexto completo de desarrollo.
• Fuente: Construidas a partir de Pull Requests (PRs) de GitHub.
• Síntesis: En lugar de factorizar los PRs en tareas aisladas, los autores reconstruyen flujos de trabajo completos. Para cada PR, agrupan:
  • Descripción del Problema (Issue Description): La especificación del problema.
  • Archivos Relevantes: Contenido completo de los archivos en el commit base (simulando la fase de "lectura").
  • Ediciones Temporales: Una secuencia de commits con mensajes de commit refinados y diffs de código (simulando la fase de "edición").
  • Razonamiento Contextual: Resúmenes generados por LLM que conectan el problema con las ediciones.
• Escala: 68.6B de tokens derivados de más de 10M de PRs en diversos lenguajes (subconjunto General) y repositorios centrados en Python (subconjunto Python).

B. Trayectorias Ambientalmente Nativas ($D_{env}$)

• Objetivo: Proporcionar autenticidad en la interacción y capturar el bucle de retroalimentación iterativa (Editar $\to$ Probar $\to$ Revisar).
• Fuente: Entornos ejecutables reales derivados de PRs de GitHub.
• Síntesis: Utilizando el marco SWE-AGENT y GLM-4.6, los autores generan ejecuciones de agentes en entornos Docker que contienen pruebas unitarias reales.
  • El agente interactúa con el entorno, recibiendo observaciones reales (salidas de herramientas, fallos de pruebas, errores de tiempo de ejecución).
  • Las trayectorias no se filtran por éxito; se incluyen tanto las trayectorias exitosas como las fallidas para enseñar depuración y manejo de errores.
• Escala: 3.1B de tokens (aprox. 74k trayectorias), divididos en conjuntos de éxito ($D_{env}^{pass}$) y fallo ($D_{env}^{fail}$).

C. Pipeline de Entrenamiento

Los modelos (basados en Qwen2.5-Base) pasan por un proceso de dos etapas:

1. Mid-Training (MT): Entrenamiento en los corpus a gran escala y no etiquetados de agentes nativos ($D_{ctx}$ y/o $D_{env}$). Esto desplaza la distribución de capacidad del modelo para que sea más "lista para agentes".
2. Post-Training: Ajuste Fino Supervisado (SFT) sobre trayectorias agénticas de alta calidad (por ejemplo, $D_{env}^{pass}$ o conjuntos de datos públicos como SWE-smith) para alinear el modelo con andamiajes específicos.

3. Contribuciones Clave

1. Formulación de Mid-Training Nativo de Agentes: El artículo define e implementa un paradigma de mid-training que trata el comportamiento agéntico como un objetivo de primera clase, yendo más allá del entrenamiento de subtareas factorizadas hacia una supervisión holística que preserva el contexto.
2. Construcción de Datos a Gran Escala: Los autores lanzan una receta práctica para construir dos conjuntos de datos complementarios:
   • Un corpus contextualmente nativo de 68.6B de tokens que preserva flujos de trabajo completos de PRs.
   • Un corpus ambientalmente nativo de 3.1B de tokens que captura bucles de retroalimentación de ejecución auténticos.
3. Rendimiento de Vanguardia (SOTA): Los modelos resultantes, daVinci-Dev-32B y daVinci-Dev-72B, alcanzan nuevos resultados SOTA en SWE-Bench Verified entre las recetas de entrenamiento abiertas que utilizan andamiajes agénticos, partiendo de modelos base que no son especialistas en código.
4. Eficiencia de Recursos: El enfoque logra un rendimiento superior utilizando menos de la mitad de los tokens de mid-training (73.1B vs. ~150B) en comparación con la receta abierta anterior (KIMI-DEV), demostrando una mayor densidad de información y eficiencia de tokens.

4. Resultados Experimentales

Evaluado en SWE-Bench Verified utilizando el andamiaje SWE-AGENT:

• Ganancias de Rendimiento:
  • daVinci-Dev-72B: Logra una tasa de resolución del 58.5%, superando el SOTA abierto anterior (KIMI-Dev con 48.6% mediante SFT+RL) y superando a los baselines que usan solo un SFT fuerte.
  • daVinci-Dev-32B: Logra una tasa de resolución del 56.1%, estableciendo un nuevo SOTA para modelos de 32B usando andamiajes agénticos, a pesar de partir de un modelo base no especialista en código (Qwen2.5-32B-Base).
• Robustez: La receta de mid-training produce ganancias consistentes en diferentes regímenes de post-entrenamiento (SFT Débil vs. SFT Fuerte) y escalas de modelo (32B vs. 72B).
• Generalización: Los modelos muestran mejoras significativas en benchmarks de generación de código general (HumanEval, EvalPlus) y tareas de razonamiento científico (GPQA, SciBench), lo que sugiere que el mid-training agéntico fomenta habilidades de razonamiento transferibles.
• Leyes de Escalamiento: El artículo observa una fuerte relación log-lineal entre los pasos de entrenamiento y el rendimiento ($R^2 \approx 0.90$), indicando que el paradigma aún no se ha saturado y se beneficia de un mayor escalamiento.

5. Significado y Reivindicaciones

El artículo argumenta que los datos nativos de agentes son el eslabón perdido crítico para escalar los agentes de ingeniería de software. Al cerrar la brecha de desajuste de distribución entre los datos de entrenamiento estáticos y los entornos de despliegue dinámicos, los autores demuestran que:

• Comportamientos Fundacionales: Las capacidades agénticas (localización, edición iterativa, refinamiento basado en pruebas) pueden instilarse durante el mid-training, creando una base más sólida para el post-entrenamiento posterior.
• Sinergia de Tipos de Datos: La combinación de datos contextualmente nativos (para amplitud y diversidad de código) y datos ambientalmente nativos (para profundidad y autenticidad de la retroalimentación) es esencial. Los datos contextualmente nativos por sí solos mejoran el rendimiento, pero añadir trayectorias ambientalmente nativas permite al modelo interiorizar la dinámica de ejecución.
• Escalabilidad: El enfoque ofrece un camino escalable para el desarrollo futuro de agentes, aprovechando la amplia disponibilidad de repositorios públicos y la verificación de entornos automatizada para expandirse más allá de las limitaciones actuales de lenguaje y tarea.

Los autores concluyen que su trabajo proporciona una "inversión computacional sustancial" (datasets, recetas, checkpoints) a la comunidad para facilitar la investigación adicional en este paradigma poco explorado.