TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation

Resumen Técnico: TestMap – Infraestructura de Evidencia para la Generación de Pruebas Asistida por Modelos Fundacionales

Planteamiento del Problema
Los modelos fundacionales (FM) son cada vez más capaces de generar pruebas unitarias plausibles; sin embargo, determinar su corrección, utilidad, mantenibilidad y valor de integración sigue siendo un desafío significativo. El problema central es un problema de "validación recursiva": las pruebas generadas son tanto artefactos de código como artefactos de validación. Deben ser validadas antes de que puedan ser confiables para validar el sistema bajo prueba. Actualmente, el proceso de validación está fragmentado en diversas herramientas (sistemas de construcción, ejecutores de pruebas, herramientas de cobertura, herramientas de mutación, analizadores estáticos), que a menudo informan solo resultados agregados en lugar de conectar la evidencia con los candidatos de prueba individuales. Además, los enfoques existentes frecuentemente descartan candidatos fallidos o intermedios, perdiendo datos valiosos sobre las limitaciones del modelo, la falta de contexto o posibles defectos en el sistema bajo prueba.

Metodología: La Infraestructura TestMap
El artículo presenta TestMap, un prototipo de infraestructura de código abierto diseñado para automatizar la generación y evaluación de pruebas asistidas por FM respaldadas por evidencia, dirigiéndose específicamente a repositorios C#/.NET. TestMap trata las pruebas generadas como "candidatos" en lugar de respuestas finales, registrando su ciclo de vida completo.

El sistema opera a través de un pipeline estructurado:

1. Ingesta de Repositorio y Análisis Estático: TestMap clona un repositorio objetivo, utiliza las APIs de Roslyn para analizar la solución y realiza un análisis estático para mapear el código fuente, las dependencias y las estructuras de prueba. Recopila métricas de código y detecta "olores" de código (test smells) utilizando una versión personalizada de xNose.
2. Ejecución de Línea Base: Antes de la generación, se ejecuta la suite de pruebas existente para establecer una línea base de cobertura, puntuaciones de mutación y resultados de ejecución.
3. Selección de Objetivos y Construcción de Contexto: Los objetivos de generación (por ejemplo, métodos de origen) se seleccionan basados en criterios configurables como líneas no cubiertas, mutantes supervivientes o pruebas relacionadas. Se construye un "paquete de evidencia" que incluye el código objetivo, pruebas relacionadas, brechas de cobertura y convenciones del framework.
4. Generación Guiada por el Modelo: TestMap emplea un pipeline de generación descompuesto (inspirado en RUG) en lugar de una generación de un solo prompt. Divide la tarea en pasos de planificación (planificación de escenarios, nomenclatura de métodos, disposición/arrangement, planificación de entradas, planificación de acciones, planificación de aserciones) seguidos de la síntesis final. Soporta diferentes modos de contexto (por ejemplo, NoHistory frente a ChainedHistory) y presupuestos de pass@k.
5. Validación y Reparación: Los candidatos generados se someten a una validación de pre-ejecución (extracción de sintaxis, inserción, diagnósticos del compilador) y una validación de post-ejecución (construcción, ejecución, cobertura, mutación). Los candidatos fallidos no se descartan; se preservan con datos de diagnóstico. Si está habilitado, un bucle de reparación utiliza errores del compilador, registros de ejecución y fallos de aserción para solicitar al modelo revisiones.
6. Persistencia de la Evidencia: Todos los artefactos —incluyendo prompts, respuestas del modelo, registros de construcción, resultados de ejecución, deltas de cobertura, resultados de mutación e historiales de reparación— se persisten en una base de datos SQLite. Esto permite un análisis granular de candidatos individuales y comparaciones de estrategias agregadas.

Contribuciones Clave
El artículo realiza las siguientes contribuciones:

1. Enmarcado del Problema: Enmarca la generación de pruebas asistida por FM como un problema de validación recursiva donde las pruebas generadas deben ser validadas antes de servir como evidencia.
2. Prototipo TestMap: Introduce una infraestructura de evidencia de código abierto que automatiza el análisis de repositorios, la validación de candidatos, la recolección de evidencia, el seguimiento de reparaciones y el registro de experimentos.
3. Preservación del Ciclo de Vida: El sistema preserva el ciclo de vida completo de los candidatos, incluyendo resultados fallidos, reparados, de bajo impacto y de evidencia positiva, permitiendo el estudio de resultados intermedios.
4. Experimentos Específicos de Repositorio: Facilita experimentos que comparan modelos, prompts, estrategias de generación y flujos de trabajo de reparación en bases de código concretas, yendo más allá de los benchmarks estandarizados.
5. Modelo de Evidencia: Define un modelo de evidencia estructurado que vincula los candidatos con el contexto del repositorio, los parámetros de generación, los resultados de ejecución y los indicadores de calidad.

Resultados y Hallazgos
El artículo no presenta un estudio empírico a gran escala con métricas de rendimiento cuantitativas (por ejemplo, "TestMap mejoró la cobertura en un X%"). En su lugar, los "resultados" son la demostración de la capacidad de la infraestructura para:

• Ingerir y analizar con éxito repositorios reales de C#/.NET.
• Ejecutar el pipeline completo de generación-a-validación, incluyendo el manejo de fallos de construcción y errores de ejecución.
• Persistir historiales detallados de candidatos, distinguiendo entre resultados de ValidationFailed, Validated, ValidatedLowImpact y ValidatedEvidencePositive.
• Soportar comparaciones de estrategias de generación específicas de un repositorio (por ejemplo, prompting ingenuo frente a prompting basado en métricas).

Los autores señalan que la infraestructura revela que las pruebas generadas a menudo requieren reparación y que los candidatos fallidos proporcionan evidencia crítica sobre la calidad del oráculo, las brechas de contexto y las ineficiencias de las herramientas.

Significancia y Reivindicaciones
El artículo afirma que TestMap aborda una brecha crítica de infraestructura en la ingeniería de software. Su significancia radica en cambiar el enfoque de simplemente producir pruebas ejecutables a hacer que las pruebas generadas sean observables, repetibles y comparables.

• Más allá de los Benchmarks: TestMap complementa los benchmarks estandarizados al proporcionar evidencia sobre cómo se comporta la generación asistida por FM bajo las restricciones reales de un repositorio específico (sistemas de construcción, dependencias, estilos de prueba existentes).
• Evidencia para la Toma de Decisiones: Al preservar los candidatos fallidos y reparados, la herramienta apoya la revisión por parte del desarrollador y el análisis empírico, ayudando a distinguir entre limitaciones del modelo, problemas de las herramientas y defectos reales del sistema.
• Dirección Futura: Los autores concluyen que el futuro de las pruebas asistidas por FM requiere una infraestructura que no solo genere pruebas, sino que proporcione la evidencia necesaria para decidir si esas pruebas son útiles, mantenibles y confiables. TestMap se presenta como un paso hacia esta infraestructura de evidencia, reconociendo desafíos abiertos como la calidad de las aserciones, la inestabilidad (flakiness), la atribución de métricas y la aceptación del desarrollador.

El artículo mantiene un tono modesto, declarando explícitamente que el prototipo actual no estudia directamente las decisiones del desarrollador ni mide las mejoras en la calibración de la confianza, sino que proporciona la infraestructura de datos necesaria para tales estudios futuros.