Resumen Técnico: De Parches a Trayectorias (P2T)

Enunciado del Problema

El método dominante para inculcar capacidades de investigación y razonamiento en agentes de ingeniería de software (SWE) de código abierto es el Ajuste Fino Supervisado (SFT) sobre trayectorias largas generadas por modelos docentes fuertes. Sin embargo, el SFT estándar trata cada respuesta retenida como un objetivo de imitación. En consecuencia, los agentes estudiantes heredan no solo los resultados exitosos, sino también defectos en los pasos intermedios, como saltos sin fundamento, bucles redundantes y exploración especulativa.

Las pipelines actuales de construcción de datos dependen del muestreo de rechazo filtrado por resultados: retienen únicamente las trayectorias donde el parche final pasa una suite de pruebas. Este enfoque adolece de tres limitaciones críticas:

1. Falta de Supervisión del Proceso: No proporciona retroalimentación sobre los pasos de razonamiento intermedios, solo el resultado terminal.
2. Ineficiencia: Las trayectorias retenidas a menudo contienen vistas de archivos redundantes, llamadas a herramientas no informativas y bucles, lo que incrementa los costos de inferencia.
3. Desperdicio de Datos: Descarta instancias donde el docente falla en producir un parche aprobatorio, incluso si la investigación del docente descubrió hechos intermedios valiosos.
4. Riesgo de Fuga: Simplemente utilizar el parche de referencia ($p^\star$) para guiar la generación arriesga la "fuga de solución", donde el agente realiza ediciones o afirmaciones antes de reunir la evidencia necesaria, lo que lleva a saltos injustificados que el estudiante luego imita.

El desafío central es construir datos de entrenamiento que sean simultáneamente efectivos (cada paso reduce la brecha epistémica hacia la corrección adecuada mediante razonamiento fundamentado) y eficientes (cada paso es portador de información, evitando redundancias), sin exponer el parche de referencia al agente estudiante.

Metodología: P2T (De Parches a Trayectorias)

Los autores proponen P2T, un marco que trata el parche de referencia escrito por el desarrollador ($p^\star$) como información privilegiada durante la curación de datos. El estudiante nunca ve $p^\star$; en su lugar, el proceso de curación destila $p^\star$ en una estructura latente para guiar la construcción de la trayectoria.

P2T opera en dos fases:

Fase 1: Destilación del Grafo de Procesos (Fase Inversa)

El parche de referencia $p^\star$ se convierte en un grafo de procesos latente $G^\star_i = (V_i, E_i)$.

• Nodos ($V_i$): Representan hechos contextuales intermedios (por ejemplo, ubicaciones de archivos, comportamientos en tiempo de ejecución) y hitos de solución (por ejemplo, scripts de reproducción, planes de corrección, ediciones) que un desarrollador competente debe establecer antes de que la corrección sea derivable.
• Aristas ($E_i$): Codifican relaciones de prerequisito, asegurando un orden topológico donde un nodo solo es descubrible después de que sus prerequisitos estén establecidos.
• Construcción: Un bucle iterativo Propositor-Crítico utilizando agentes LLM:
  • Propositor: Identifica hechos o hitos faltantes necesarios para derivar $p^\star$.
  • Crítico: Hace cumplir la no-fuga, podando cualquier nodo cuyo "desbloqueador" (la acción requerida para descubrirlo) presuponga conocimiento de $p^\star$ en sí mismo.
• Resultado: Un grafo $G^\star$ que codifica los prerequisitos necesarios para la corrección sin revelar la corrección en sí.

Fase 2: Realización de Trayectoria Bi-Objetivo con Horizonte Deslizante (Fase Directa)

Las trayectorias se construyen muestreando continuaciones ciegas de un modelo docente y curándolas contra $G^\star$.

• Generación de Candidatos: En cada ventana deslizante, el sistema muestrea $K$ "semillas ciegas" del docente. Luego genera "variantes mutadas" aplicando como máximo una edición localizada a un paso de semilla, redirigiéndolo hacia un nodo disponible en $G^\star$.
• Selección Bi-Objetivo: El sistema selecciona un segmento basado en dos criterios:
  1. Efectividad: Medida por una puntuación de progreso ($Prog_t$) que cuenta los nodos recién establecidos en $G^\star$, penalizando afirmaciones prematuras. Una compuerta de fundamentación asegura que ningún paso haga referencia a entidades o realice afirmaciones no respaldadas aún por el historial visible.
  2. Eficiencia: Medida por la longitud de la trayectoria (recuento de tokens o recuento de pasos).
• Regla de Compromiso: El sistema aplica una regla de "más corto sobre el suelo": entre los segmentos que cumplen un umbral mínimo de efectividad, compromete el más corto. Esto asegura que la trayectoria sea concisa mientras mantiene una fundamentación rigurosa.
• Terminación: El proceso se repite hasta que se genera un parche. Solo las trayectorias donde el parche final pasa la suite de pruebas son admitidas en el conjunto de datos de SFT.

Contribuciones Clave

1. Formulación del Problema: Los autores enmarcan la construcción de datos de SFT para agentes SWE como un problema de optimización bi-objetivo sobre la efectividad por paso y la longitud de la trayectoria, demostrando que el muestreo de rechazo filtrado por resultados estándar no proporciona señales en ninguno de los ejes.
2. Marco P2T: Un marco de curación novedoso que utiliza $p^\star$ como información privilegiada. Destila $p^\star$ en un grafo de procesos sin fuga $G^\star$ y realiza trayectorias que son cortas, fundamentadas y guiadas por $G^\star$ sin exponer el parche al estudiante.
3. Validación Empírica: Utilizando solo 1.8k instancias curadas de SWE-Gym, P2T logra mejoras simultáneas en efectividad y eficiencia sobre las líneas base filtradas por resultados.

Resultados Experimentales

Los autores evaluaron P2T en SWE-bench Verified y SWE-bench Lite utilizando dos modelos estudiantes (Qwen2.5-Coder-14B/32B) y dos curadores docentes (Qwen3-Coder-480B, GLM-5-FP8).

• Ganancias de Rendimiento: En SWE-bench Verified, P2T mejoró Pass@1 en hasta +10.8 puntos (por ejemplo, de 39.6% a 50.4% para el estudiante de 32B) en comparación con la línea base de muestreo de rechazo por aprobación de pruebas.
• Ganancias de Eficiencia: P2T redujo los costos de inferencia por instancia en ~15% (por ejemplo, de \0.92 a \0.78), demostrando que las trayectorias curadas son significativamente más cortas y menos redundantes.
• Análisis de Calidad:
  • Las trayectorias curadas fueron 9.3% más cortas y 31.0% menos redundantes (en términos de acciones de visualización de archivos) que las ejecuciones rechazadas.
  • Estas mejoras estructurales se transfirieron a los estudiantes entrenados, quienes emitieron ejecuciones que fueron 10.3% más cortas y 19.5% menos redundantes que las de los estudiantes entrenados con la línea base.
• Estudios de Ablación:
  • Eliminar la verificación de fundamentación causó una caída de ~7.2 puntos en Pass@1, confirmando la necesidad de prevenir saltos sin fundamento.
  • Eliminar la regla de más corto sobre el suelo aumentó la longitud de la trayectoria y el recuento de tokens, reduciendo Pass@1, lo que indica que las trayectorias más cortas llevan menos ruido de imitación.
  • Un estudio de valor de la información confirmó que las ganancias son impulsadas por la información codificada en $G^\star$ y no solo por la maquinaria de curación o la escala de datos.

Significado y Afirmaciones

El artículo afirma que la unidad correcta de supervisión para agentes capaces no es la trayectoria ni el artefacto terminal de forma aislada, sino la estructura que los vincula.

• Factorización de Información Privilegiada: P2T demuestra que los parches de referencia, a menudo descartados como mera verdad fundamental, pueden aprovecharse como señales privilegiadas para dar forma a datos de entrenamiento de alta calidad sin comprometer la capacidad del estudiante para aprender habilidades genuinas de investigación.
• Optimización Simultánea: El trabajo desafía la compensación entre exploración (efectividad) y eficiencia. Al utilizar un grafo de procesos para anclar el progreso, P2T logra tanto tasas de resolución más altas como costos de inferencia más bajos, demostrando que la "exploración cautelosa y bien fundamentada" no requiere necesariamente un "acortamiento agresivo" que invite a atajos no soportados.
• Calidad de Datos sobre Escala: Los resultados sugieren que la calidad por trayectoria, derivada de una supervisión de procesos principista, es un impulsor más potente del rendimiento del agente que simplemente escalar el volumen de datos filtrados por resultados.

Los autores mantienen una postura modesta, reconociendo limitaciones como la dependencia de suites de pruebas ejecutables y parches de referencia, y la naturaleza empírica (en lugar de formal) de las verificaciones de fundamentación mediadas por LLM. Posicionan P2T como un paso hacia un enfoque más estructurado para la supervisión de procesos en agentes de ingeniería de software.