Resumen Técnico: Más allá del Fallo-al-Pasar: Fortalecimiento Iterativo de Pruebas de Reproducción de Errores y Correcciones Co-generadas

Planteamiento del Problema

La Reparación Automática de Programas (APR) impulsada por Modelos de Lenguaje de Gran Escala (LLMs) ha avanzado significativamente, pero reparar errores directamente desde informes de lenguaje natural sigue siendo fundamentalmente subdeterminado. Los informes de errores suelen estar incompletos, y muchos parches candidatos parecen superficialmente razonables sin haber solucionado realmente la causa raíz. Si bien las Pruebas de Reproducción de Errores (BRTs) se utilizan cada vez más para guiar la reparación al convertir descripciones de problemas en señales ejecutables, el criterio de evaluación estándar para estas pruebas —el Fallo-al-Pasar (F→P)— es insuficiente.

El criterio F→P requiere que una prueba generada falle en el código con el error y pase en la corrección "dorada" (correcta). Sin embargo, los autores demuestran que el F→P por sí solo no garantiza que una prueba sea efectiva para la reparación posterior. Específicamente:

1. Pruebas Laxas: Algunas pruebas F→P son "laxas", lo que significa que detectan el síntoma observado pero admiten parches plausibles pero incorrectos que no abordan la causa raíz.
2. Pruebas Desalineadas: Algunas pruebas rechazan la corrección correcta pero aceptan las incorrectas.
3. Acoplamiento Prueba-Corrección: En la co-generación (donde un agente genera tanto la prueba como la corrección simultáneamente), los errores en la prueba y la corrección están correlacionados. Un agente puede generar una prueba débil (laxa) y una correspondiente corrección incorrecta que pasa la prueba, lo que lleva al agente a detenerse prematuramente bajo la falsa supresión de éxito.

Metodología

El artículo propone un marco de dos fases llamado COHARDEN para abordar estas limitaciones. La metodología se basa en un nuevo métrica de evaluación y un bucle de fortalecimiento iterativo.

1. Evaluación de Parches de Mutación (MPE)

Para distinguir entre pruebas efectivas e inefectivas, los autores introducen la Evaluación de Parches de Mutación (MPE). En lugar de depender únicamente de la corrección dorada, la MPE evalúa una prueba generada contra un conjunto de parches de mutación plausibles pero incorrectos. Estos parches se generan aplicando operadores semánticos (por ejemplo, supresión de síntomas, correcciones incompletas, atajos específicos de entrada, sustitución de comportamiento) a la corrección dorada.

Basándose en cómo reacciona una prueba a estas mutaciones, se clasifica en tres categorías:

• Rigurosa: La prueba falla en el código con el error, pasa en la corrección dorada y rechaza las mutaciones plausibles pero incorrectas.
• Laxa: La prueba falla en el código con el error y pasa en la corrección dorada, pero acepta mutaciones plausibles pero incorrectas (subdeterminando el espacio de reparación).
• Desalineada: La prueba rechaza la corrección dorada (conflicto con la especificación de corrección).

2. El Marco COHARDEN

COHARDEN es un bucle de co-generación diseñado para producir pruebas Rigurosas y correcciones correctas evitando las trampas de la co-generación estándar. Opera en dos fases:

• Fase 1: Lax-init (Generación Primero-la-Prueba):
  Antes de intentar cualquier corrección de código, el agente genera una prueba de reproducción ($t_0$) dirigida al fallo observable (por ejemplo, una excepción, discrepancia de salida). Al agente se le prohíbe explícitamente modificar el código fuente en esta etapa. Esto desacopla la prueba inicial de cualquier hipótesis de corrección específica (potencialmente incorrecta), reduciendo el riesgo de generar una prueba "Desalineada" que codifique erróneamente una solución equivocada.

• Fase 2: Fortalecimiento Iterativo:
  Partiendo de $t_0$, el agente entra en un bucle para refinar conjuntamente la prueba ($t_k$) y la corrección ($c_k$). En cada ronda:

  1. Mutar: La corrección actual $c_k$ se muta para crear un conjunto de parches adversarios ($C_k$).
  2. Evaluar: La prueba actual $t_k$ y la prueba de la ronda anterior $t_{k-1}$ se ejecutan contra $C_k$. Esto puebla una Matriz Temporal (análoga a la matriz de confusión MPE) para rastrear cuántas mutaciones son aceptadas o rechazadas.
  3. Fortalecer: El agente recibe retroalimentación sobre los mutantes "supervivientes" (parches que pasaron la prueba). El objetivo es ajustar la prueba para que rechace estos mutantes.

  Criterio de Convergencia: El bucle continúa hasta que la prueba ha "cambiado no trivialmente" y la Tasa de Laxitud (la fracción de mutaciones aceptadas por la nueva prueba pero rechazadas por la prueba de referencia) cae por debajo de un umbral ($\tau = 0.2$). Esto asegura que la prueba evolucione de Laxa a Rigurosa sin requerir acceso a la corrección dorada durante el bucle.

Contribuciones Clave

1. Evaluación de Parches de Mutación (MPE): Un marco de evaluación más detallado que particiona las BRTs en categorías Rigurosa, Laxa y Desalineada. Esto expone una dimensión de calidad ortogonal al F→P, revelando que el F→P es demasiado grueso.
2. Análisis Empírico de la Utilidad de las BRT:
   • Los autores muestran que la ganancia de éxito en la reparación proveniente de las pruebas que pasan el F→P proviene íntegramente del nivel Riguroso; las pruebas Laxas aportan una ganancia de cero ($\Delta = 0.0$).
   • Identifican que la co-generación estándar produce pruebas Laxas donde los errores de la prueba y la corrección están correlacionados (la tasa de fallo conjunto es 1.87$\times$ mayor que la predicción independiente), causando que los agentes se detengan en soluciones incorrectas.
3. Marco COHARDEN: Un bucle de co-generación de dos fases que utiliza la señal de Laxitud como un criterio de convergencia dentro del bucle. Al generar primero la prueba y fortalecerla iterativamente contra conjuntos de mutación, COHARDEN produce pruebas de reproducción más fuertes y correcciones de mayor calidad.

Resultados Experimentales

Los autores evaluaron COHARDEN en el subconjunto SWE-bench Verified $\cap$ SWT-bench Verified (433 instancias) utilizando OpenHands con GPT-5-mini como base.

• Rendimiento: COHARDEN logró un 69.4% de Resuelto (correcciones que pasan las pruebas doradas) y un 78.9% de F→P (pruebas que pasan las correcciones doradas).
• Comparación:
  • Superó al baseline más fuerte de solo corrección (SWE-Agent) por +9.6 puntos porcentuales en Resuelto.
  • Superó al baseline de co-generación más fuerte (InfCode) por +7.9 puntos porcentuales en Resuelto.
  • Superó al baseline de co-generación vanilla (OpenHands + COGEN) por +8.0 puntos porcentuales en Resuelto.
• Generalización: Se observaron ganancias consistentes a través de diferentes backbones de LLM (GPT-5.4, Claude Opus 4.5) y en el benchmark SWE-bench Lite.
• Costo: El costo promedio por instancia fue de $0.84, comparable a los métodos de co-generación existentes, logrando la mayoría de las ganancias dentro de las primeras rondas de fortalecimiento.

Significancia

El artículo argumenta que el campo de la reparación automática de programas debe ir más allá del criterio de Fallo-al-Pasar. Los autores demuestran que la capacidad de una prueba para pasar una corrección de referencia específica no es un sustituto de su capacidad para restringir el espacio de búsqueda hacia la causa raíz correcta. Al formalizar la distinción entre pruebas Rigurosas y Laxas y utilizar la retroalimentación basada en mutaciones para fortalecer iterativamente las pruebas, COHARDEN cierra la brecha entre la generación de pruebas y una reparación efectiva. El trabajo sugiere que los sistemas de APR futuros deben tratar la calidad de la prueba no como una métrica binaria de paso/fallo, sino como una propiedad dinámica que debe fortalecerse activamente contra variaciones plausibles e incorrectas para asegurar una corrección de errores robusta.