Can Old Tests Do New Tricks for Resolving SWE Issues?

Título: ¿Pueden las pruebas antiguas realizar nuevos trucos para resolver problemas de SWE?
Autores: Yang Chen, Toufique Ahmed, Reyhaneh Jabbarvand y Martin Hirzel
Evento: Proc. ACM Softw. Eng. 3, FSE (julio de 2026)

1. Enunciado del Problema

Los proyectos de software del mundo real poseen grandes suites de pruebas de regresión con alta cobertura de código, sin embargo, estas suites a menudo fallan al detectar todos los errores, dejando muchos problemas sin resolver en los rastreadores de código abierto. Si bien las pruebas de regresión se utilizan tradicionalmente para garantizar la compatibilidad hacia atrás, también pueden cumplir un papel complementario en la depuración de versiones actuales al guiar la reproducción de problemas reportados y validar parches candidatos. Sin embargo, aprovechar estas suites para la depuración automatizada presenta desafíos significativos:

• Escala y Ruido: Las suites de pruebas completas suelen ser demasiado grandes y ruidosas para ser útiles en su totalidad, especialmente dentro de las pipelines de Modelos de Lenguaje Grandes (LLM) agénticas, donde los límites de contexto, los costos de inferencia y la precisión del razonamiento se degradan con una entrada excesiva.
• La Brecha de Minimización: Las técnicas existentes de minimización de suites de pruebas se centran en mantener la cobertura o las capacidades de detección de errores de la suite existente. No abordan el desafío específico de la minimización de pruebas basada en problemas: seleccionar un subconjunto mínimo de pruebas relevantes para un problema recién reportado donde el parche resolutivo es desconocido.
• El Desafío Central: El conjunto de métodos que eventualmente se modificarán para solucionar un problema es latente y no observable en el momento de la selección de pruebas. El sistema debe predecir estos métodos "sospechosos" basándose únicamente en la descripción del problema y seleccionar las pruebas que los cubran, sin conocer el parche final.

2. Metodología: TestPrune

El artículo propone TestPrune, una técnica totalmente automatizada diseñada para extraer un subconjunto pequeño y altamente relevante de pruebas de regresión para asistir flujos de trabajo de depuración basados en LLM. El enfoque consta de tres etapas principales:

A. Localización de Funciones Sospechosas
En lugar de intentar una localización precisa a nivel de línea (lo que conlleva el riesgo de omitir pruebas relevantes), TestPrune utiliza un LLM para identificar una lista de "funciones sospechosas" basándose en la descripción del problema de GitHub y la estructura del repositorio. Esto sirve como una aproximación del conjunto latente de métodos que se modificarán.

B. Recuperación de Archivos de Prueba y Generación de Cobertura

• Recuperación: Se solicita al LLM que seleccione los $k$ principales archivos de prueba candidatos del repositorio (ajustado a 10 en los experimentos). El prompt incluye la descripción del problema, las funciones sospechosas y las dependencias de los archivos de prueba para proporcionar contexto semántico.
• Cobertura: TestPrune ejecuta los métodos de prueba que pasan en estos archivos candidatos para generar mapas de cobertura a nivel de línea contra las funciones sospechosas. Si no se encuentra cobertura, el proceso itera solicitando archivos de prueba adicionales.

C. Algoritmos de Minimización Codiciosos
Una vez recopilados los datos de cobertura, TestPrune aplica un algoritmo codicioso para minimizar el conjunto de pruebas. Formula el problema como un problema de conjunto de golpe mínimo ponderado (NP-difícil) y ofrece dos variantes heurísticas:

1. Greedy-Additional (Adicional Codicioso): Selecciona iterativamente las pruebas que cubren el máximo número de líneas actualmente sin cubrir en las funciones sospechosas. Recalcula la cobertura en cada paso.
2. Greedy-Total (Total Codicioso): Clasifica las pruebas basándose en su cobertura total de todas las líneas sospechosas, independientemente de selecciones anteriores, e itera añadiendo las pruebas de mayor clasificación hasta que no se observe una mejora significativa.

• Resolución de Empates: Cuando múltiples pruebas ofrecen una cobertura igual, el sistema selecciona hasta tres pruebas directamente; si existen más, se invoca un LLM para romper el empate.

Integración Aguas Abajo
La suite de pruebas minimizada se integra en dos tipos de clientes aguas abajo:

1. Generación de Pruebas de Reproducción: Proporcionando contexto enfocado (por ejemplo, al marco Otter) para ayudar a los LLM a generar pruebas de reproducción de "fallar a pasar" (fail-to-pass).
2. Selección y Validación de Parches:
   • Sistemas Agénticos (por ejemplo, SWE-agent, Trae Agent): Proporcionando retroalimentación de pruebas de regresión durante el bucle iterativo del agente para guiar el refinamiento del parche y prevenir regresiones.
   • Sistemas No Agénticos (por ejemplo, Agentless): Utilizando la suite minimizada para clasificar y validar parches candidatos, filtrando aquellos que rompen la funcionalidad existente.

3. Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza el problema de minimización de pruebas basado en problemas, definiendo métricas de éxito (precisión y recuperación de cobertura) para seleccionar pruebas relevantes para un parche desconocido.
2. Técnica TestPrune: El primer enfoque para localizar automáticamente un conjunto minimizado y relevante de pruebas de regresión de un repositorio basado en una descripción de problema, aprovechando LLMs para la localización y análisis de cobertura para la selección.
3. Evaluación Exhaustiva: Una evaluación rigurosa que demuestra que TestPrune mejora tanto las tasas de reproducción de problemas como las tasas de resolución de problemas en múltiples puntos de referencia y marcos de agentes.

4. Resultados Experimentales

Los autores evaluaron TestPrune en SWE-Bench Lite y SWE-Bench Verified utilizando modelos como GPT-4o y Claude-3.7-Sonnet.

• Eficiencia (RQ1): TestPrune reduce el tamaño de la suite de pruebas en más de 1.000× en comparación con la suite completa (promediando ~9–11 pruebas por instancia frente a miles). Esto resulta en una reducción de 27× en el tiempo de ejecución (de ~24 minutos a ~52 segundos por instancia).
• Calidad (RQ2): Las pruebas minimizadas logran una alta relevancia:
  • Precisión: 0,63 (TestPrune-Additional), lo que significa que el 63% de las pruebas seleccionadas cubren las funciones con errores de verdad fundamental.
  • Recuperación de Cobertura: 0,71, indicando que las pruebas seleccionadas cubren el 71% de las líneas cubiertas por la suite completa de regresión "dorada".
• Reproducción de Problemas (RQ3): Integrar TestPrune en Otter aumentó la tasa de reproducción "fallar a pasar" (F→P) entre un 6,2% y un 9,0% en relación con la línea base.
• Resolución de Problemas (RQ4):
  • No Agéntico (Agentless): Reemplazar las pruebas de regresión predeterminadas con pruebas seleccionadas por TestPrune, combinadas con pruebas de reproducción generadas por Otter, mejoró la tasa de resolución de problemas entre un 9,4% y un 12,9%.
  • Agéntico (SWE-agent, Trae Agent): Integrar TestPrune mejoró las tasas de resolución entre un 8,0% y un 9,4%.
  • Eficiencia de Costos: El enfoque redujo el costo promedio por instancia entre un 8,0% y un 23,0% para sistemas agénticos. La sobrecarga de TestPrune en sí misma es mínima, costando aproximadamente $0,02 (GPT-4o) a $0,05 (Claude-3.7-Sonnet) por instancia.

5. Significado y Afirmaciones

El artículo afirma que las "pruebas antiguas" pueden realmente realizar "nuevos trucos" si se seleccionan estratégicamente. El significado de este trabajo radica en:

• Cerrando la Brecha: Demuestra que las pruebas de regresión, a menudo vistas como guardias estáticos, pueden ser reutilizadas dinámicamente para guiar activamente la depuración de nuevos problemas.
• Habilitando Flujos de Trabajo Agénticos: Al resolver los problemas de límite de contexto y ruido inherentes a las grandes suites de pruebas, TestPrune hace que las pipelines de depuración basadas en LLM sean más eficientes, fiables y rentables.
• Generalizabilidad: Las mejoras se observan en diversos marcos (Otter, Agentless, SWE-agent, Trae) y modelos, lo que sugiere que la estrategia de minimización de pruebas basada en problemas es una mejora generalizable para la ingeniería de software automatizada.
• Relación Costo-Beneficio: Los autores enfatizan que las ganancias de rendimiento se logran con costos adicionales de API insignificantes, haciendo que la técnica sea práctica para su implementación en el mundo real.

El artículo concluye que TestPrune proporciona una solución escalable y efectiva al problema de minimización de pruebas basado en problemas, mejorando significativamente las capacidades de los actuales agentes de ingeniería de software automatizados.