Resumen Técnico: CoCoMagic para la Prueba Metamórfica Diferencial de Sistemas Autónomos

1. Declaración del Problema

Los Sistemas Autónomos (SA), particularmente los Sistemas de Conducción Autónoma (SCA), experimentan actualizaciones iterativas frecuentes que implican reentrenamiento de modelos, ajuste de hiperparámetros y cambios arquitectónicos. Estas actualizaciones corren el riesgo de introducir degradaciones de comportamiento no deseadas o violaciones de seguridad que no estaban presentes en versiones anteriores. La prueba de estos sistemas enfrenta tres desafíos principales:

1. El Problema del Oráculo: En entornos complejos y abiertos, definir una salida esperada de verdad fundamental para cada escenario a menudo es inviable.
2. Realismo del Escenario: Los casos límite construidos artificialmente pueden exponer debilidades, pero a menudo carecen de relevancia práctica. Las fallas en escenarios que se asemejan a las condiciones operativas del mundo real son más críticas para la evaluación de la seguridad.
3. Interpretabilidad: Cuando se detectan diferencias de comportamiento entre versiones, los desarrolladores a menudo carecen de información procesable sobre las causas raíz (por ejemplo, factores ambientales específicos o interacciones) que impulsan estas divergencias.

Los métodos existentes de prueba basados en búsqueda a menudo luchan con la eficiencia computacional en espacios de alta dimensión y no logran comparar sistemáticamente las versiones para aislar las degradaciones inducidas por la actualización. Además, la Prueba Diferencial (PD) estándar identifica diferencias en la salida pero no puede evaluar las implicaciones de seguridad sin un oráculo de prueba, mientras que la Prueba Metamórfica (PM) estándar aborda el problema del oráculo pero puede no apuntar eficientemente a las divergencias específicas de la versión.

2. Metodología: CoCoMagic

Los autores proponen CoCoMagic (Generador Automatizado Diferencial y Metamórfico Co-evolutivo Cooperativo para Casos Interpretables), un marco que integra la Prueba Diferencial, la Prueba Metamórfica y los Algoritmos Co-evolutivos Cooperativos (ACCC) con una capa de interpretabilidad.

2.1 Marco Central

CoCoMagic formula la generación de casos de prueba como un problema de búsqueda restringida para encontrar pares de escenarios fuente ($s$) y perturbaciones metamórficas ($q$) que maximicen la diferencia en las violaciones de la Relación Metamórfica (RM) entre una versión de referencia ($V_{ref}$) y una versión de prueba ($V_{test}$).

• Prueba Diferencial (PD): Compara las salidas de dos versiones de SA bajo entradas idénticas para detectar divergencias de comportamiento.
• Prueba Metamórfica (PM): Aborda el problema del oráculo definiendo RMs—relaciones entre entradas y relaciones de salida esperadas (por ejemplo, "si aparece un peatón, la velocidad debería disminuir"). Las violaciones ocurren cuando la relación de salida no se cumple.
• Algoritmo Co-evolutivo Cooperativo (ACCC): El espacio de búsqueda se descompone en dos poblaciones co-evolucionantes:
  1. Escenarios Fuente ($P_s$): Representan las condiciones operativas iniciales.
  2. Perturbaciones ($P_q$): Representan transformaciones derivadas de las RMs (por ejemplo, agregar un peatón, cambiar el clima).
     Los individuos de ambas poblaciones colaboran para formar soluciones completas (pares escenario-perturbación). La aptitud de un individuo se determina por su mejor colaboración con los miembros de la población opuesta.

2.2 Mecanismos Clave

• Función de Aptitud: El objetivo es maximizar la diferencia absoluta en los niveles de violación de RM entre $V_{ref}$ y $V_{test}$:
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  donde $E$ cuantifica la extensión de la violación de RM.
• Búsqueda Restringida y Realismo: Para asegurar que los casos de prueba generados sean prácticamente relevantes, la búsqueda se restringe mediante un conjunto de escenarios de ejecución ($S$) recopilados de ejecuciones reales del sistema. Una métrica de disimilitud penaliza las soluciones que se desvían significativamente de estos escenarios realistas, guiando la búsqueda hacia condiciones operativamente plausibles.
• Inicialización en Tiempo de Ejecución (RI): La población inicial se siembra con escenarios muestreados del conjunto de escenarios de ejecución $S$, en lugar de una generación aleatoria, para acelerar la convergencia hacia modos de falla realistas.
• Interpretabilidad (Análisis de Causa Raíz): Post-generación, los autores emplean el algoritmo RuleFit. RuleFit entrena un modelo sobre los casos de prueba identificados para extraer reglas legibles por humanos (por ejemplo, "SI velocidad > 70 km/h Y niebla, ENTONCES la violación aumenta"). Esto explica por qué las versiones divergen, vinculando atributos específicos del escenario con las diferencias de comportamiento observadas.

3. Contribuciones Clave

1. Método de Prueba Novel: La introducción de CoCoMagic, que combina de manera única la PM y la PD dentro de un marco co-evolutivo cooperativo para apuntar específicamente a las divergencias de comportamiento entre versiones de SA.
2. Búsqueda Guiada por Realismo: La integración de estrategias de restricciones e inicialización en tiempo de ejecución para asegurar que los casos de prueba generados reflejen condiciones operativas del mundo real, abordando la "brecha de realismo" en las pruebas automatizadas.
3. Integración de Interpretabilidad: La incorporación de una capa de análisis basada en RuleFit que transforma los resultados de pruebas de alta dimensión en reglas procesables y legibles por humanos para la depuración y la evaluación de seguridad.
4. Validación Empírica: Una evaluación exhaustiva en un SCA de grado industrial (InterFuser) dentro del simulador Carla, demostrando superioridad sobre los métodos de búsqueda de referencia.

4. Resultados Experimentales

Los autores evaluaron CoCoMagic frente a la Búsqueda Aleatoria (BA) y un Algoritmo Genético Estándar (AGE) utilizando el SCA InterFuser en el simulador Carla.

• Efectividad (PQ1): CoCoMagic identificó significativamente más casos de prueba distintos que revelan violaciones de RM que las referencias. Logró una aptitud promedio (gravedad de la discrepancia) 53% superior al AGE y 40% superior a la BA.
• Eficiencia (PQ2): CoCoMagic descubrió soluciones distintas más rápido, logrando una mejora del 126% en el Área Bajo la Curva (AUC) sobre el AGE y del 169% sobre la BA. También redujo el tiempo de ejecución en aproximadamente 17% en comparación con las referencias, en parte porque generó menos escenarios inválidos (que provocan fallos en el simulador).
• Impacto de las Restricciones y la Inicialización (PQ3):
  • Aplicar restricciones e Inicialización en Tiempo de Ejecución (RI) mejoró significativamente la Distancia Promedio de Ejecución (DPE), haciendo que los casos de prueba fueran ~50% más similares a los escenarios de ejecución del mundo real.
  • Sin embargo, este enfoque en el realismo resultó en una compensación: una reducción en el número total de soluciones distintas encontradas (hasta una reducción de ~34% con RI y restricciones combinadas) y una ligera disminución en la gravedad de los casos límite más extremos encontrados.
• Interpretabilidad (PQ4):
  • Precisión: RuleFit logró una precisión comparable a modelos complejos de caja negra (Random Forest y GBDT) mientras producía un conjunto compacto de reglas (~29 reglas frente a miles de rutas en GBDT).
  • Validación por Expertos: Los expertos industriales calificaron las reglas generadas como altamente comprensibles (puntuación promedio 4.0/5.0) y útiles para priorizar las condiciones de prueba (puntuación promedio 3.8/5.0).

5. Significado y Afirmaciones

El artículo afirma que CoCoMagic ofrece un enfoque eficiente, efectivo e interpretable para la prueba diferencial de sistemas autónomos en evolución. Su significado radica en:

• Cerrando la Brecha del Oráculo: Al utilizar RMs, valida propiedades de seguridad sin necesidad de salidas de verdad fundamental.
• Prueba Consciente de la Versión: A diferencia de los métodos anteriores que prueban una sola versión, CoCoMagic optimiza explícitamente las diferencias entre versiones, apoyando directamente las pruebas de regresión y la validación de actualizaciones.
• Información Procesable: El componente de interpretabilidad va más allá de simplemente señalar fallas para explicar las condiciones específicas (por ejemplo, clima, velocidad, proximidad de objetos) que causan que una actualización degrade el rendimiento, apoyando así la depuración dirigida.
• Aplicabilidad Práctica: El uso de restricciones asegura que el esfuerzo de prueba se centre en escenarios que probablemente ocurran en la implementación, aumentando el valor práctico del proceso de prueba para sistemas críticos de seguridad.

Los autores mantienen una postura modesta, reconociendo que, aunque su método mejora el realismo y la eficiencia, existe una compensación inherente entre explorar la amplitud total del espacio de búsqueda (encontrar casos límite raros y severos) y centrarse en escenarios realistas y fundamentados operativamente. Posicionan a CoCoMagic como una herramienta para apoyar, en lugar de reemplazar, el juicio humano en la evaluación de la seguridad.