Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection

Resumen Técnico: Prompting Heterogéneo y Retroalimentación de Ejecución para la Generación y Selección de Pruebas de Problemas de Ingeniería de Software (SWE)

Declaración del Problema
Los problemas de Ingeniería de Software (SWE), que describen errores o funciones faltantes, suelen venir acompañados de descripciones informales que carecen de pruebas de reproducción automatizadas. La ausencia de tales pruebas dificulta la verificación de los problemas y la aceptación de los parches de código. El desafío específico abordado en este artículo es la generación automática de pruebas de reproducción de "falla-para-pasar" ($F \to P$) directamente desde las descripciones de los problemas y el código existente (pre-parche) ($c_{old}$), sin acceso al parche de código resolutivo ($c_{new}$). Una prueba $F \to P$ válida debe fallar cuando se ejecuta en $c_{old}$ (reproduciendo el problema) y pasar cuando se ejecuta en $c_{new}$ (confirmando la corrección). Esta tarea es difícil porque las descripciones de los problemas son informales y el código objetivo para que la prueba pase aún no existe.

Metodología: e-Otter++
Los autores presentan e-Otter++, un sistema que extiende el marco de trabajo previo Otter++. El sistema opera a través de tres componentes principales: un generador de pruebas, un generador de parches de código y un selector de pruebas.

1. Generación de Pruebas con Prompting Heterogéneo:
   En lugar de confiar únicamente en el aumento de las temperaturas de decodificación de los LLM para generar candidatos diversos (una práctica común que a menudo carece de diversidad), e-Otter++ emplea prompting heterogéneo. Esto implica dos variaciones sistemáticas:

   • Morfos de Descripción de Problemas: Un LLM reescribe la descripción original del problema de cinco formas distintas antes de la generación de la prueba: estándar (formateo), simple (simplificación de jerga), dropCode (eliminación de fragmentos de código potencialmente engañosos), initTest (incorporación de una prueba inicial) e initPatch (incorporación de una propuesta de parche inicial).
   • Máscaras de Contexto: El prompt de generación de pruebas se modifica para incluir o excluir contextos de localización específicos (por ejemplo, salidas del planificador, localización de la prueba, localización del parche), creando cinco variaciones de prompt distintas.
     Al combinar esto, el sistema genera un conjunto diverso de 10 pruebas candidatas por problema.

2. Reparación de Pruebas Aumentada por Ejecución:
   Las pruebas candidatas generadas se ejecutan en $c_{old}$. Aunque se espera que fallen, pueden fallar por razones incorrectas (por ejemplo, errores de sintaxis o excepciones no relacionadas) en lugar de reproducir el problema específico descrito. e-Otter++ introduce un mecanismo de crítico:

   • Un LLM analiza la descripción del problema y el registro de ejecución para determinar si la prueba falla por la "razón correcta".
   • Si la falla es incorrecta, el crítico identifica el contexto necesario (por ejemplo, líneas con errores específicas, fragmentos de código relevantes o firmas de funciones) y aumenta el prompt de reparación.
   • El sistema repara la prueba de forma iterativa (hasta 10 intentos) utilizando este contexto enriquecido hasta que la prueba falla por la razón correcta o se alcanza el límite de iteración.

3. Selección de Pruebas mediante Parches Subrogados:
   Dado que $c_{new}$ no está disponible, e-Otter++ no puede verificar directamente si una prueba pasa en la corrección real. Para resolver esto, el sistema utiliza Agentless para generar 40 parches de código candidatos (subrogados para $c_{new}$) y los filtra hasta obtener los 5 más frecuentes.

   • El selector de pruebas ejecuta las pruebas candidatas en estos parches subrogados.
   • Se priorizan las pruebas que son $F \to P$ en los parches subrogados.
   • Un selector basado en reglas clasifica las fallas (fallos de aserción frente a errores) y utiliza la cobertura de código (la proporción de líneas añadidas/eliminadas por el parche que la prueba cubre) como criterio de desempate para seleccionar la única prueba final.

Contribuciones Clave
El artículo realiza tres contribuciones novedosas:

1. Reparación de Pruebas Aumentada por Ejecución: Un método para aumentar la corrección de las pruebas utilizando retroalimentación de ejecución para recuperar código relacionado y aumentar el prompt de reparación, asegurando que las pruebas fallen por las razones especificadas en el problema.
2. Prompting Heterogéneo para la Diversidad: Aumento de la diversidad de los candidatos de prueba mediante morfos de descripción de problemas y máscaras de contexto, en lugar de depender únicamente del muestreo de alta temperatura.
3. Selección Basada en Parches Subrogados: Una técnica para seleccionar la prueba final utilizando la retroalimentación de ejecución de parches de código imperfectos y generados como un proxy para la corrección de la verdad fundamental.

Resultados
El sistema fue evaluado en TDD-Bench Verified (449 muestras) y SWT-bench Lite (276 muestras), ambos derivados de SWE-bench.

• Desempeño: e-Otter++ logró una tasa de Falla-para-Pasar ($F \to P$) del 63.0% en TDD-Bench Verified y del 52.5% en SWT-bench Lite (usando el modelo Claude-3.7-Sonnet). Esto supera significativamente los mejores resultados publicados anteriormente (Otter++ con 37.0% y 29.0%, respectivamente).
• Eficacia de los Componentes:
  • La reparación aumentada por ejecución mejoró las tasas de $F \to P$ en un 11.1% a 74.3% a través de diferentes configuraciones.
  • El prompting heterogéneo (morphs + masks) aumentó el $F \to P@N$ (tasa de al menos una prueba exitosa entre $N$ candidatos) en más de un 13% en comparación con el uso de solo máscaras.
  • El uso de parches de código generados como un pre-filtro para la selección proporcionó un aumento significativo en el desempeño (por ejemplo, un aumento del 32.9% en $F \to P$ en TDD-Bench Verified).
• Generalizabilidad: El enfoque fue validado en SWE-rebench, un benchmark libre de contaminación, donde mejoró la tasa de $F \to P$ en un 75% relativo sobre el sistema base Otter, demostrando robustez contra la contaminación de datos.
• Utilidad de Validación: Se demostró que las pruebas generadas validan eficazmente los parches de código de otros agentes de SWE, mejorando significamente la precisión de las soluciones propuestas por los sistemas líderes de la tabla de clasificación.

Significancia y Reivindicaciones
Los autores afirman que e-Otter++ representa un salto sustancial en el estado del arte para la generación de pruebas de reproducción a partir de problemas de SWE. El artículo argumenta que la combinación de prompting heterogéneo y retroalimentación de ejecución —específicamente el uso novedoso de parches subrogados para la selección y la reparación aumentada por contexto— supera las limitaciones de los métodos anteriores que tenían dificultades con la diversidad de las pruebas y la falta de un código base objetivo para la verificación.

El trabajo pretende consolidar la práctica del Desarrollo Guiado por Pruebas (TDD) automatizando la tediosa creación de pruebas de reproducción, ayudando así tanto a ingenieros humanos como a agentes de SWE automatizados en la resolución de problemas y el aseguramiento de la calidad a largo plazo. Los autores mantienen la modestia respecto al alcance, señalando que el sistema actualmente maneja archivos de prueba únicos y es evaluado principalmente en Python, pero enfatizan que las mejoras relativas sugieren que las técnicas son efectivas incluso en conjuntos de datos diversos y no contaminados.