SERA: Soft-Verified Efficient Repository Agents

Resumen Técnico: SERA: Agentes de Repositorio Eficientes con Verificación Suave

Declaración del Problema

Los agentes de codificación de pesos abiertos poseen una ventaja teórica sobre los sistemas de código cerrado: la capacidad de especializarse en bases de código privadas mediante la codificación de patrones específicos del repositorio y conocimiento de dominio directamente en los pesos del modelo. Sin embargo, la realización de esta ventaja se ha visto obstaculizada por el alto costo y la complejidad del entrenamiento. Los enfoques tradicionales dependen de la Aprendizaje por Refuerzo (RL), que exige entornos de ejecución en entornos controlados (sandboxes) complejos e infraestructura distribuida, o de canales de generación de datos sintéticos (por ejemplo, SWE-smith) que requieren una infraestructura rigurosa de pruebas unitarias para verificar las correcciones de errores. Estas barreras han concentrado el desarrollo de agentes de codificación dentro de laboratorios industriales con grandes recursos, dejando a equipos más pequeños e investigadores académicos sin la capacidad práctica de especializar modelos para sus propios repositorios privados.

Metodología: Generación con Verificación Suave (SVG)

Los autores introducen la Generación con Verificación Suave (SVG), un método diseñado para generar trayectorias de entrenamiento de alta calidad sin necesidad de pruebas unitarias o complejos canales de inyección de errores. La SVG opera sobre dos observaciones fundamentales derivadas de la simplificación de métodos anteriores:

1. Verificación Suave sobre Verificación Dura: En lugar de ejecutar pruebas unitarias para verificar los datos sintéticos, la SVG compara la superposición parcial línea por línea (recall) entre dos parches generados por el mismo modelo profesor.

   • Ejecución 1 (Rollout 1): Un modelo profesor ($M$) es instado con una instrucción vaga para realizar un cambio en una función seleccionada al azar en una base de código ($C$), produciendo una trayectoria ($T_1$) y un parche ($P_1$).
   • Generación de PR Sintético: $T_1$ se convierte en una descripción de un Pull Request (PR) sintético.
   • Ejecución 2 (Rollout 2): El modelo profesor intenta reproducir el parche original ($P_1$) dada únicamente la descripción del PR sintético, produciendo una segunda trayectoria ($T_2$) y un parche ($P_2$).
   • Verificación: Los parches se comparan utilizando el recall a nivel de línea ($r = |P_2 \cap P_1| / |P_1|$). Los datos se seleccionan basándose en este puntaje de recall. Los autores encuentran que incluso los datos no verificados ($r=0$) o los datos con verificación suave ($0 < r < 1$) funcionan de manera comparable a los datos con verificación dura ($r=1$), eliminando la necesidad de infraestructura de pruebas por completo.

2. Instrucciones Vagas para la Diversidad: En lugar de centrarse únicamente en la corrección de errores, el método utiliza instrucciones vagas (por ejemplo, "corregir problemas relacionados con la gestión de estado") para generar cambios diversos, incluyendo refactorización y mejoras de documentación. Esto diversifica los datos de entrenamiento y mejora el rendimiento en benchmarks como SWE-bench.

Pipeline de Entrenamiento:

• Modelo Profesor: Se utiliza GLM-4.5-Air (o GLM-4.6) como modelo profesor debido a su naturaleza de pesos abiertos, sus trazas de razonamiento y su eficiencia de costos.
• Modelo Base: Se utiliza Qwen 3-32B para el ajuste fino supervisado (SFT).
• Escala de Datos: El método generó más de 200,000 trayectorias sintéticas a partir de 121 bases de código.
• Estrategia de Truncamiento: Para manejar contextos largos, los autores descubrieron que preservar la "razón de truncamiento" (la proporción de una trayectoria que cabe dentro de la ventana de contexto) es crítico. Seleccionar trayectorias con altas razones de truncamiento (por ejemplo, 0.95) produce un mejor rendimiento que el truncamiento aleatorio.

Contribuciones Clave

1. Modelos SERA: El lanzamiento de SERA-32B, un agente de codificación de 32B parámetros entrenado mediante SFT con datos de SVG. Logra resultados de vanguardia entre los modelos totalmente de código abierto (datos, método y código abiertos) en SWE-bench Verified, igualando o superando el rendimiento de modelos de pesos abiertos como Devstral-Small-2.
2. Eficiencia de Costos: Crear modelos SERA es 26 veces más barato que los enfoques de Aprendizaje por Refuerzo (por ejemplo, SkyRL) y 57 veces más barato que los métodos previos de datos sintéticos (por ejemplo, SWE-smith) para alcanzar un rendimiento equivalente. El costo total para la generación de datos y el entrenamiento fue de aproximadamente $2,000 (40 días de GPU).
3. Especialización de Repositorio: Los autores demuestran que los modelos de pesos abiertos pueden especializarse en bases de código privadas (por ejemplo, Django, Sympy, Sphinx) utilizando solo ~8,000 trayectorias sintéticas por repositorio. Estos modelos especializados igualan o superan el rendimiento del modelo profesor en tareas específicas del repositorio, una hazaña imposible para los modelos generalistas que dependen únicamente del acceso a la ventana de contexto.
4. Validación de la Verificación Suave: El artículo proporciona evidencia empírica de que la verificación mediante pruebas unitarias no es estrictamente necesaria para generar datos de entrenamiento de codificación efectivos, reduciendo significativamente la barrera para la generación de datos.
5. Leyes de Escalamiento y Robustez: El estudio establece leyes de escala para agentes de codificación, mostrando que el rendimiento sigue una ley de potencia predecible con el tamaño de los datos. También destaca la importancia crítica de utilizar múltiples semillas aleatorias (al menos 3) para distinguir la señal del ruido, señalando que muchas mejoras reportadas en el campo caen dentro del margen de la varianza de ejecución a ejecución.

Resultados

• Rendimiento en SWE-bench Verified:
  • SERA-32B (Profesor GLM-4.6): Logró un 49.5% con 32K de contexto y un 54.2% con 64K de contexto.
  • Esto supera a otros modelos totalmente de código abierto (por ejemplo, SWE-smith con 25.6–32.6%, SkyRL con 39.4%) e iguala a modelos fuertes de pesos abiertos como Devstral-Small-2 (50.0% a 32K).
• Eficiencia de Especialización:
  • Especializar un modelo en el repositorio de Django con 8,000 muestras logró un 52.23% de precisión, superando al modelo profesor (GLM-4.5-Air) con 51.2% y al modelo de pesos abiertos Devstral-Small-2 con 51.3%.
  • Las leyes de escala indican que la especialización completa ($\alpha=1.0$) alcanza el rendimiento del profesor con 8k muestras, mientras que los datos generales por sí solos ($\alpha=0.0$) no logran igualarlo incluso con el doble de muestras.
• Umbrales de Verificación: Los experimentos mostraron que no hay una diferencia estadísticamente significativa en el rendimiento entre modelos entrenados con trayectorias de verificación dura ($r=1.0$), verificación suave ($r=0.5$) o trayectorias completamente no verificadas ($r=0.0$), lo que sugiere que la habilidad de traducir la intención en código se aprende incluso a partir de trayectorias imperfectas.

Significado y Reivindicaciones

El artículo afirma que SERA hace que la especialización de agentes de codificación en bases de código privadas sea práctica y asequible. Al eliminar la necesidad de infraestructura de pruebas y configuraciones complejas de RL, los autores permiten que equipos pequeños e investigadores académicos construyan agentes especializados que superen a los sistemas de frontera en sus propias bases de código.

Las implicaciones clave destacadas por los autores incluyen:

• Democratización: Reducción de la barrera de entrada para la investigación de agentes de codificación, alejándola de los grandes laboratorios industriales con clústeres masivos de GPU.
• Privacidad e IP: Permite a las organizaciones entrenar modelos en código propietario sin exponer los datos a proveedores de API de terceros, abordando preocupaciones críticas de privacidad y propiedad intelectual.
• Ciencia Abierta: La liberación de 200,000 trayectorias sintéticas, el código de entrenamiento y los pesos del modelo proporciona una base para la investigación reproducible, permitiendo a la comunidad iterar sin reconstruir una infraestructura costosa.

Los autores mantienen la modestia respecto a sus afirmaciones, reconociendo limitaciones como la falta de evaluación en bases de código verdaderamente privadas (debido a la ausencia de una verdad fundamental para la evaluación) y el potencial de optimización específica del modelo (los resultados se basan en las familias Qwen y GLM). Enfatizan que, si bien su método acelera el progreso, el campo requiere prácticas estadísticas rigurosas (múltiples semillas, análisis de relación señal-ruido) para evitar confundir el ruido con una mejora genuina.