Resumen Técnico: Explicación de Fallos en Sistemas Ciberfísicos mediante Causalidad Actual

Declaración del Problema

Los modernos Sistemas Ciberfísicos (CPS, por sus siglas en inglés) autónomos, como los vehículos autónomos, dependen cada vez más de componentes de Redes Neuronales (NN) de "caja negra" para la percepción y el control. Aunque estos sistemas deben operar de forma robusta en entornos complejos y no vistos, su opacidad hace que la verificación formal previa al despliegue sea intratable. En consecuencia, los fallos inesperados —donde el sistema viola su especificación— son inevitables y pueden derivar en resultados catastróficos.

Los métodos actuales para explicar estos fallos son insuficientes. Los marcos de causalidad de tipo general o de tipo son prospectivos y probabilísticos, diseñados para la predicción más que para explicar eventos pasados específicos y poco comunes. Además, las aplicaciones existentes de la causalidad actual (un marco retrospectivo para eventos específicos) se han limitado a modelos simples de profundidad 2, como los clasificadores de imágenes. Aplicar estos marcos estándar directamente a los CPS temporalmente extendidos (que involucran dinámicas continuas, bucles recursivos y tamaños de entrada variables) conduce a explicaciones incorrectas. Específicamente, las aplicaciones ingenuas no logran considerar:

1. La distinción entre parámetros globales del entorno y elementos locales.
2. El hecho de que los CPS solo observan un subconjunto del entorno antes de que ocurra un fallo.
3. La existencia de distintos "tipos" de fallos (por ejemplo, colisiones en diferentes puntos de la trayectoria) que un simple indicador binario de éxito/fallo no puede distinguir.

Metodología

El artículo propone un nuevo marco que adapta la teoría de la causalidad actual a las restricciones específicas del análisis de fallos en CPS.

1. Extensiones Teóricas a la Causalidad Actual

Los autores extienden el marco estándar de la causalidad actual (originalmente definido para clasificadores) para manejar CPS, introduciendo tres modificaciones críticas en la construcción del modelo causal:

• Diferenciación de Entradas (Parámetros vs. Elementos): El entorno se divide en parámetros (variables globales y esenciales como la forma de la pista) y elementos (variables locales y aditivas como obstáculos). En el modelo causal, los parámetros se tratan como constantes exógenas (congeladas en su estado original) porque cambiarlos altera el tipo fundamental de fallo. Solo los elementos se incluyen como variables endógenas sujetas a intervención (enmascaramiento).
• Restricciones de Observación: A diferencia de los clasificadores que procesan toda la entrada a la vez, los CPS procesan el entorno de forma incremental a lo largo del tiempo. El marco restringe las explicaciones potenciales únicamente a aquellos elementos del entorno que fueron observados por el sistema antes del fallo. Los elementos no observados se excluyen del conjunto de explicación para evitar una causalidad lógicamente inválida (por ejemplo, culpar a un obstáculo que el coche nunca vio).
• Abstracción del Tipo de Fallo: Para evitar el problema donde cambios infinitesimales en la trayectoria rompen la condición de "mismo resultado" requerida para la causalidad, los autores proponen abstraer la trayectoria continua en "tipos de fallo" discretos. La variable de salida $O$ no se define meramente como un binario de choque/no choque, sino como una clase específica de fallo (por ejemplo, "colisión con el obstáculo $X$"). Esto asegura que la explicación identifique la causa específica del evento de fallo observado.

2. Algoritmos de Derivación de Explicaciones

El artículo presenta dos algoritmos agnósticos al sistema para derivar explicaciones suficientes (subconjuntos mínimos de elementos observados que, si se mantienen en sus valores originales, garantizan que el fallo ocurra):

• Búsqueda Exhaustiva (Algoritmo 1): Este algoritmo realiza una búsqueda de fuerza bruta sobre todos los subconjuntos de elementos observados. Interviene en el entorno eliminando elementos y re-simulando para verificar si el tipo de fallo se preserva. Aunque garantiza una explicación óptima (mínima), es computacionalmente intratable para escenarios complejos debido al crecimiento exponencial de las ejecuciones de simulación.
• Búsqueda Guiada por Responsabilidad (Algoritmo 2): Para abordar la eficiencia, los autores proponen un algoritmo heurístico basado en la responsabilidad causal.
  1. Aproximación: Muestrea intervenciones aleatorias para estimar el grado de responsabilidad de cada elemento observado (basándose en qué tan frecuente es que su eliminación cambie el resultado).
  2. Búsqueda Heurística: Los elementos se clasifican por responsabilidad. El algoritmo añade incrementalmente elementos de alta responsabilidad a una explicación candidata hasta que el tipo de fallo se preserva.
  3. Minimización (Opcional): Un paso de post-procesamiento opcional realiza una búsqueda exhaustiva sobre el subconjunto candidato resultante para asegurar la minimidad.

Contribuciones Clave

1. Marco Conceptual: El artículo introduce la aplicación de la causalidad actual al análisis de fallos en CPS, identificando y resolviendo las brechas teóricas que surgen al pasar de clasificadores estáticos a sistemas dinámicos y temporalmente extendidos.
2. Directrices de Corrección: Proporciona directrices específicas para la construcción de modelos causales para CPS, enfatizando el manejo de elementos no observados y la abstracción de tipos de fallo.
3. Algoritmos Prácticos: Ofrece dos algoritmos: uno para la derivación de explicaciones exactas y óptimas, y un segundo, heurístico guiado por responsabilidad, que equilibra la precisión con el coste computacional.
4. Validación Empírica: El enfoque se evalúa en un coche autónomo controlado por redes neuronales que navega por una pista obstruida, demostrando las compensaciones entre la optimalidad de la explicación y la eficiencia de la derivación.

Resultados Experimentales

Los autores evaluaron los algoritmos utilizando el simulador LiteRacer con 32 trazas de falsificación que involucraban 6, 9, 12 y 15 obstáculos.

• Precisión: La Búsqueda Exhaustiva (ES) produjo consistentemente explicaciones mínimas. El algoritmo Guiado por Responsabilidad (RG) sin minimización produjo explicaciones más grandes (menos precisas), con tasas de error que aumentaban a medida que crecía el número de obstáculos. Sin embargo, la variante RG con Minimización (RGM) logró recuperar la explicación mínima exacta en todos los casos probados.
• Eficiencia: ES requirió un número de ejecuciones de simulación que creció exponencialmente con el número de obstáculos (por ejemplo, ~1,152 ejecuciones para 15 obstáculos). En contraste, las variantes RG y RGM requirieron drásticamente menos ejecuciones (por ejemplo, ~200–400 ejecuciones), escalando de forma mucho más moderada.
• Compensación (Trade-off): Los resultados resaltan una clara compensación: RG ofrece alta eficiencia pero menor precisión; RGM ofrece un enfoque equilibrado, logrando una precisión casi óptima con un esfuerzo computacional significativamente reducido en comparación con ES.

Significancia y Reivindicaciones

El artículo afirma abrir una nueva dirección para comprender y manejar los fallos de los CPS autónomos al fundamentar el proceso en la rigurosa teoría matemática de la causalidad actual. Los autores sostienen que:

• Los marcos de causalidad estándar son insuficientes para los CPS debido a la extensión temporal y la observabilidad parcial.
• Las directrices propuestas son necesarias para derivar explicaciones correctas; una aplicación ingenua conduce a resultados lógicamente inválidos.
• El marco proporciona un método "agnóstico al sistema", lo que significa que no requiere acceso a los pesos internos de la red neuronal (puramente caja negra), lo que lo hace aplicable a sistemas propietarios.
• El trabajo sirve como un paso fundacional hacia sistemas autónomos explicables y confiables, específicamente al permitir la localización de las causas de los fallos y la generación de nuevos escenarios de fallo para su mitigación.

Los autores mantienen la modestia respecto al alcance actual, señalando que el marco actualmente maneja explicaciones suficientes (conjuntos mínimos que causan el fallo) y depende de modelos causales de profundidad 2. Se identifica como trabajo futuro la extensión del marco para capturar la naturaleza continua y temporalmente extendida de los CPS de manera más profunda y la exploración de explicaciones necesarias.