Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

A continuación se presenta un resumen técnico detallado del artículo "Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing".

1. Planteamiento del Problema

La integración del Aprendizaje Automático (ML), en particular las Redes Neuronales Profundas (DNN), en sistemas críticos para la seguridad (por ejemplo, aviación, conducción autónoma) introduce desafíos significativos de fiabilidad. Las DNN carecen de robustez, a menudo fallan ante entradas imprevistas y muestran una confianza excesiva en predicciones incorrectas. Aunque existen monitores de seguridad en tiempo de ejecución para mitigar estos riesgos, la investigación actual está fragmentada entre diferentes comunidades (fiabilidad frente a aprendizaje automático).

• La Brecha: Los métodos de monitoreo existentes operan en silos con terminologías y alcances diferentes. Algunos se centran en restricciones operativas a nivel de sistema, otros en desplazamientos estadísticos de la distribución de datos y otros en estados internos del modelo.
• La Consecuencia: Esta falta de unificación conduce a una cobertura de seguridad parcial, metodologías superpuestas y dificultad para comparar o combinar diferentes monitores utilizando métricas comunes. No existe un marco unificado para categorizar sistemáticamente las amenazas y seleccionar estrategias de monitoreo apropiadas.

2. Metodología: El Marco SwMF

Los autores proponen un marco unificado llamado SwMF (Marco de Monitoreo de ML Crítico para la Seguridad). Este marco redefine el espacio de entrada del ML y categoriza los enfoques de monitoreo en función de las "amenazas de datos" específicas que abordan.

A. Descomposición del Espacio de Entrada

Los autores proyectan tres conceptos clave sobre el espacio de entrada del ML (por ejemplo, imágenes) para definir dominios y amenazas distintos:

1. Dominio de Diseño Operativo (ODD): El conjunto de condiciones bajo las cuales el sistema está diseñado para operar (por ejemplo, clima, altitud, visibilidad de la pista).
   • Amenaza: Violaciones del ODD. Entradas fuera de las condiciones operativas previstas.
2. Dominio Dentro de la Distribución ($D_{ID}$): Datos extraídos de la misma distribución que los datos de entrenamiento.
   • Amenaza: Amenazas Fuera de la Distribución (OOD). Entradas que están dentro del ODD pero estadísticamente diferentes de los datos de entrenamiento (por ejemplo, desplazamientos de covariables como cambios de iluminación, o desplazamientos semánticos como nuevas clases de objetos).
3. Alcance del Modelo ($D_f$): El subconjunto de entradas donde el modelo ML específico $f$ produce predicciones correctas.
   • Amenaza: Errores Dentro de la Distribución (ID). Entradas que están dentro de $D_{ID}$ pero que aún causan que el modelo falle (por ejemplo, ataques adversarios, fallas físicas sutiles o límites de generalización del modelo).

B. Categorización de Monitores

Basándose en estas amenazas, el marco define tres categorías complementarias de monitores:

1. Monitores ODD: Monitores basados en reglas que verifican las variables del sistema (por ejemplo, GPS, IMU, sensores meteorológicos) contra restricciones predefinidas. Rechazan las entradas antes de que lleguen al modelo ML si las condiciones operativas son inválidas.
2. Monitores OOD: Monitores basados en datos que detectan anomalías estadísticas en los datos de entrada (por ejemplo, brillo, entropía, densidad de bordes) en comparación con la distribución de entrenamiento. Rechazan las entradas que se desvían de la distribución de entrenamiento pero que aún están dentro del ODD.
3. Monitores OMS (Fuera del Alcance del Modelo): Monitores post-hoc que analizan las características internas del modelo ML (por ejemplo, logits, activaciones de neuronas) o salidas para detectar comportamientos anómalos. Apuntan específicamente a entradas donde es probable que el modelo falle, incluso si la entrada parece "normal".

C. Configuración Experimental

• Aplicación: Aterrizaje basado en visión (VBL), específicamente la sub-tarea de Detección de Pista (VBRD).
• Conjunto de Datos: El conjunto de datos LARD (imágenes sintéticas generadas mediante Google Earth Studio).
• Modelo: YOLOv5-n (un detector de objetos de una sola etapa).
• Arquitectura: Una tubería de monitoreo en serie donde los monitores ODD se ejecutan primero, seguidos por los monitores OOD y, finalmente, los monitores OMS después de la predicción del modelo.
• Métricas de Evaluación: Métricas orientadas a la seguridad propuestas por Guerin et al.:
  • Ganancia de Seguridad (SG): Proporción de situaciones peligrosas filtradas correctamente.
  • Peligro Residual (RH): Proporción de situaciones peligrosas pasadas por alto.
  • Costo de Disponibilidad (AC): Proporción de situaciones seguras rechazadas incorrectamente (falsas alarmas).

3. Contribuciones Clave

1. Terminología Unificada: El artículo aclara las definiciones de ODD, OOD y OMS, resolviendo la ambigüedad donde estos términos a menudo se usan indistintamente en la literatura. Distingue explícitamente entre desplazamientos de distribución de datos (OOD) y regiones de fallo del modelo (OMS).
2. Clasificación Basada en Amenazas: Introduce un mapeo formal entre amenazas de datos específicas (violaciones de ODD, desplazamientos OOD, errores ID) y la categoría de monitoreo apropiada, proporcionando una guía de diseño sistemática para ingenieros de seguridad.
3. Demostración de Complementariedad: A través de experimentos, los autores demuestran que estos tres tipos de monitores abordan diferentes modos de fallo y son inherentemente complementarios, en lugar de redundantes.
4. Evaluación Unificada: El marco permite la comparación de diversos monitores utilizando un solo conjunto de métricas de seguridad (SG, RH, AC).

4. Resultados Experimentales

El estudio se llevó a cabo en dos experimentos:

Experimento 1: Conjunto de Prueba Nominal (Datos Sintéticos)

• Línea Base: El modelo YOLOv5-n tuvo un Peligro Residual (RH) de ~20% (lo que significa que el 20% de las imágenes causaron errores).
• Rendimiento Individual:
  • Los monitores ODD detectaron ~4.6% de los errores (SG).
  • Los monitores OOD detectaron ~4.1% de los errores.
  • Los monitores OMS detectaron ~4.0% de los errores.
• Rendimiento Combinado: Cuando se aplicaron secuencialmente los tres monitores, la Ganancia de Seguridad aumentó a 9.7% y el Peligro Residual disminuyó a 10.5%.
• Compensación: El enfoque combinado aumentó el Costo de Disponibilidad (AC) a ~31%, lo que significa que aproximadamente el 30% de las imágenes seguras fueron rechazadas. Esto resalta la compensación entre "seguridad y disponibilidad".

Experimento 2: Datos Corruptos (Prueba de Robustez)

• Configuración: Las imágenes fueron corruptas con cambios de brillo, desenfoque, niebla y ruido.
• Monitor OOD: Muy efectivo para rechazar imágenes corruptas (alta SG), actuando como un filtro "preventivo". Sin embargo, esto resultó en altos Costos de Disponibilidad (AC) porque rechazaba datos incluso cuando el modelo podría haberlos manejado correctamente.
• Monitor OMS: Menos efectivo en datos corruptos en comparación con OOD. Funcionó mejor en entradas "limpias" pero difíciles (errores ID).
• Conclusión: Los resultados validan la arquitectura en serie. Los monitores OOD deben filtrar primero los desplazamientos de distribución obvios, permitiendo que los monitores OMS se centren en fallos sutiles del modelo dentro de la distribución "segura" restante.

5. Significado y Conclusión

• Diseño Sistemático de Seguridad: El marco SwMF proporciona un enfoque estructurado para diseñar sistemas de monitoreo en tiempo de ejecución, asegurando que se cubran todos los vectores de amenaza principales (operativos, estadísticos y específicos del modelo).
• Puente entre Comunidades: Cierra exitosamente la brecha entre la comunidad de fiabilidad (seguridad a nivel de sistema) y la comunidad de ML (distribución de datos y comportamiento del modelo).
• Implicaciones Prácticas: El estudio confirma que, aunque combinar monitores mejora significativamente la seguridad (reduciendo el peligro residual), inevitablemente aumenta la tasa de falsas alarmas (costo de disponibilidad). El trabajo futuro debe centrarse en optimizar esta compensación y mejorar la selección de datos para entrenar estos monitores para representar mejor las amenazas operativas.

En resumen, el artículo argumenta que una estrategia de monitoreo unificada y multicapa es esencial para el despliegue seguro de ML en sistemas de aviación críticos, avanzando más allá de soluciones aisladas hacia una arquitectura de seguridad holística.