Resumen Técnico: Ensamble de Simuladores para Pruebas de Sistemas de Conducción Autónoma Confiables

1. Planteamiento del Problema

Las pruebas basadas en escenarios utilizando simuladores de conducción son el método estándar para validar los Sistemas de Asistencia de Conducción Avanzada (ADAS) y reducir la necesidad de costosas pruebas en carretera. Sin embargo, investigaciones existentes indican que los resultados de la ejecución de las pruebas suelen ser inconsistentes. Estas inconsistencias surgen de dos fuentes primarias:

1. Fragilidad de la prueba (Test Flakiness): Comportamiento no determinista donde el mismo escenario de prueba arroja resultados de aprobado/fallido diferentes incluso dentro del mismo simulador, a menudo debido a problemas de sincronización, tiempos o incertidumbres ambientales.
2. Desacuerdo entre simuladores: Diferentes simuladores (por ejemplo, BeamNG, Udacity, Donkey) pueden producir resultados divergentes para la misma entrada de prueba debido a diferencias en sus motores de física, renderizado o detalles de implementación.

Los enfoques actuales para mitigar estos problemas son limitados. Algunos descartan las pruebas frágiles, mientras que otros, como el marco "Digital Siblings" (DSS), ejecutan campañas de generación de pruebas independientes en diferentes simuladores y fusionan los resultados como un paso de post-procesamiento. Esta fusión post-hoc es ineficiente porque el algoritmo de búsqueda evoluciona los casos de prueba basándose en la retroalimentación de un solo simulador, lo que potencialmente desperdicia recursos en fallos específicos del simulador (inválidos) antes de que sean filtrados.

El problema central abordado es la falta de una metodología de pruebas que pueda identificar fallos agnósticos al simulador (fallos válidos que representan defectos reales en el ADAS) directamente durante el proceso de búsqueda, en lugar de hacerlo después, manteniendo la eficiencia.

2. Metodología: MultiSim

Los autores proponen MultiSim, un nuevo enfoque de pruebas de software basadas en búsqueda (SBST) que trata a múltiples simuladores como un ensamble durante el proceso de generación de pruebas.

2.1 Formulación de Optimización Multiobjetivo

MultiSim reformula el problema de las pruebas como un problema de optimización multiobjetivo (MOO). En lugar de evaluar una entrada de prueba en un solo simulador, el sistema la evalúa en un ensamble de simuladores simultáneamente. El vector de aptitud (fitness) para una entrada de prueba $x$ se define como:
$$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$$
Donde:

• $f_k(x)$: El valor de aptitud (por ejemplo, error de trayectoria transversal o cross-track error) obtenido del simulador $S_k$.
• $f_d(x)$: La distancia promedio entre los valores de aptitud de todos los simuladores. Minimizar este término impulsa la búsqueda hacia escenarios donde los simuladores están de acuerdo.
• $f_a(x, A)$: La distancia de la entrada de prueba actual a las pruebas encontradas previamente en un archivo $A$. Maximizar este término asegura la diversidad en el espacio de búsqueda.

Al minimizar los valores de aptitud (indicando fallo) y la distancia entre simuladores, el algoritmo prioriza los fallos agnósticos al simulador: escenarios donde el ADAS falla consistentemente a través de diferentes entornos de simulación.

2.2 Representación de Pruebas y Operadores

• Representación: Los escenarios viales se modelan utilizando puntos de control interpolados mediante splines de Catmull–Rom. El espacio de búsqueda está parametrizado por ángulos y longitudes de segmento.
• Operadores Genéticos: El enfoque emplea operadores genéticos estándar (selección, cruce, mutación) adaptados para la geometría vial. El cruce intercambia segmentos de carretera entre carreteras padre, mientras que la mutación altera aleatoriamente los ángulos o longitudes de los segmentos. Las carreteras inválidas (por ejemplo, aquellas que intersectan límites del mapa) se regeneran.
• Función Oráculo: Una prueba se considera un fallo si el error máximo de trayectoria transversal (XTE) excede un umbral predefinido (por ejemplo, 2.2 metros), indicando que el vehículo se ha salido de su carril.

2.3 Estrategia de Validación

Para confirmar que los fallos identificados son verdaderamente agnósticos al simulador, los autores emplean una fase de validación:

1. Mapeo de Características: Las pruebas fallidas generadas se mapean a un espacio de características definido por la curvatura de la carretera y el número de giros.
2. Re-ejecución: Las pruebas fallidas se re-ejecutan múltiples veces (para dar cuenta de la fragilidad) en simuladores que no fueron utilizados durante la fase de búsqueda.
3. Umbralización: Una prueba se clasifica como un "fallo válido" solo si falla consistentemente (por ejemplo, 100% de tasa de fallo) a través de todos los simuladores de validación.

2.4 Mejora mediante Modelo Sustituto (RQ3)

Para mejorar la eficiencia, los autores proponen una mejora utilizando un modelo sustituto (un clasificador de aprendizaje automático). Este modelo predice si una entrada de prueba candidata resultará en un desacuerdo del simulador. Si la probabilidad predicha de desacuerdo supera un umbral, el candidato es descartado antes de ejecutar la simulación completa y costosa. Esto permite que la búsqueda se concentre en regiones de alto valor del espacio de entrada.

3. Estudio Empírico y Resultados

El estudio evaluó MultiSim contra SingleSim (pruebas de un solo simulador) y DSS (Digital Siblings) utilizando tres modelos de ADAS de mantenimiento de carril de complejidad creciente:

• DAVE-2: Una red neuronal convolucional (CNN).
• ViT: Una arquitectura basada en Vision Transformer.
• TCP: Una red de política híbrida de control de trayectoria.

Los experimentos utilizaron tres simuladores: BeamNG, Udacity y Donkey, probados en varias combinaciones (BD, BU, UD).

3.1 Efectividad (RQ1)

• Tasa de Fallos Válidos: MultiSim logró una tasa de fallos válidos promedio del 70%, superando a DSS (65%) y SingleSim (47%).
• Rendimiento de Configuración: La configuración BD (BeamNG + Donkey) produjo las tasas de validez más altas para DAVE-2 (99%) y ViT (98%). La configuración BU (BeamNG + Udacity) funcionó mejor para TCP (80%).
• Significancia Estadística: Las pruebas de suma de rangos de Wilcoxon confirmaron que MultiSim supera significativamente a SingleSim y DSS en la generación de fallos válidos, con grandes tamaños de efecto en la mayoría de las comparaciones.

3.2 Eficiencia (RQ2)

• Presupuesto de Búsqueda: MultiSim demostró una eficiencia comparable a SingleSim, requiriendo un presupuesto de búsqueda similar para encontrar el primer fallo válido.
• Comparación con DSS: MultiSim generalmente mostró una mejor eficiencia que DSS, particularmente en la configuración BD, donde encontró fallos válidos más rápido que el enfoque de post-procesamiento de DSS.

3.3 Predicción y Modelos Sustitutos (RQ3)

• Rendimiento del Clasificador: Un clasificador de Bosque Aleatorio (Random Forest) logró el mejor rendimiento en la predicción de desacuerdos de simuladores (puntuaciones F-1 de 74–83%, AUC de 0.81–0.89).
• Impacto: La integración del modelo sustituto (BD-P) aumentó el número de fallos válidos en aproximadamente un 38% en promedio y redujo la variabilidad en el presupuesto de búsqueda requerido para encontrar el primer fallo válido. Logró omitir simulaciones de bajo valor sin sacrificar el descubrimiento de fallos válidos.

4. Contribuciones Clave

1. Enfoque MultiSim: Un nuevo marco de pruebas basado en la búsqueda que integra múltiples simuladores directamente en el bucle de optimización, tratando el acuerdo entre simuladores como un objetivo de primera clase para identificar fallos agnósticos al simulador.
2. Validación Empírica: Un extenso estudio que demuestra que MultiSim supera tanto a las pruebas de un solo simulador como al marco de vanguardia DSS en términos de la tasa de fallos válidos identificados.
3. Integración de Sustitutos: Una demostración de que los predictores de aprendizaje automático pueden utilizarse para filtrar los desacuerdos de los simuladores durante la búsqueda, mejorando tanto la efectividad como la eficiencia.
4. Replicación Abierta: Los autores proporcionan el código fuente, los datos experimentales y el enfoque de generación de pruebas para fomentar la investigación abierta.

5. Significado y Reivindicaciones

El artículo afirma que combinar un ensamble de simuladores durante la búsqueda es un enfoque prometedor para la replicación automatizada en las pruebas de ADAS. El significado radica en cambiar el paradigma de la validación post-hoc de los resultados del simulador a la construcción de consenso in-process.

• Fiabilidad: Al priorizar los escenarios donde los simuladores están de acuerdo, MultiSim reduce el riesgo de identificar fallos que son artefactos de la implementación de un simulador específico (fallos dependientes del simulador).
• Eficiencia: El enfoque evita la ineficiencia de generar y luego descartar fallos específicos del simulador, un problema común en los métodos de post-procesamiento como DSS.
• Generalizabilidad: Aunque el estudio se centra en el mantenimiento de carril, los autores señalan que la arquitectura modular (basada en OpenSBT) y el concepto de acoplamiento de simuladores se pueden generalizar a otras funciones de ADAS (por ejemplo, frenado de emergencia) y niveles más altos de autonomía, siempre que se establezcan representaciones de escenarios consistentes.

Los autores mantienen la modestia respecto al alcance, reconociendo que la combinación óptima de simuladores depende del Sistema Bajo Prueba (SUT) específico y sus modos de fallo dominantes (por ejemplo, relacionados con el control frente a los relacionados con la percepción). También señalan que, si bien el enfoque mitiga los síntomas del desacuerdo entre simuladores, no resuelve inherentemente las causas raíz de las discrepancias, lo cual requeriría una inspección más profunda del código del simulador.