Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Este artículo propone un método novedoso y automatizado de Seguridad por Diseño que utiliza una representación basada en kernels multidimensionales para derivar el Dominio de Diseño Operacional (ODD) a partir de datos recopilados, abordando así los desafíos de certificación de sistemas de IA críticos para la seguridad, tal como se valida mediante simulaciones de Monte Carlo y un caso de uso real de prevención de colisiones en aviación.

Lo esencial

Imagina que estás enseñando a un robot a pilotar un avión. Quieres que el robot sea seguro, por lo que necesitas indicarle exactamente dónde y cuándo se le permite volar. En el mundo de la seguridad de la IA, esta "zona permitida" se denomina Dominio de Diseño Operativo (ODD).

Tradicionalmente, los expertos se sentaban frente a una pizarra e intentaban dibujar esta zona a mano, escribiendo reglas como "no vuele bajo la lluvia" o "no vuele por encima de los 30.000 pies". Pero el mundo real es desordenado. El clima, el tráfico y el viento interactúan de formas complejas que es imposible listar perfectamente en una pizarra. Esto a menudo conduce a brechas de seguridad donde el robot cree que está seguro, pero en realidad se encuentra en una situación peligrosa de la que no fue informado.

Este artículo propone una nueva forma de dibujar esa zona de seguridad: deja que los datos la dibujen por ti.

Aquí tienes una explicación sencilla de cómo lo hicieron, utilizando analogías cotidianas:

1. El Problema: El "Mapa en Blanco"

Imagina que tienes un mapa de una ciudad, pero las calles están ocultas bajo la niebla. Sabes que la ciudad existe, pero no sabes exactamente dónde están las carreteras seguras y dónde están los acantilados.

• Antigua forma: Los expertos adivinan dónde están las carreteras basándose en su experiencia. Podrían pasar por alto un acantilado oculto.
• Nueva forma: Soltas miles de canicas brillantes (puntos de datos) sobre el mapa. Donde caen las canicas, sabes que es seguro. Donde no caen, asumes que podría ser peligroso.

2. La Solución: La "Red Brillante"

Los autores crearon un método para convertir esos puntos de datos dispersos en un mapa de seguridad suave y continuo. Lo denominan Representación Basada en Núcleos (Kernel-Based Representation).

Piensa en cada punto de datos (una condición de vuelo segura) como una fogata.

• El Fuego: Justo en la fogata, hace mucho calor (muy seguro).
• El Calor: A medida que te alejas del fuego, el calor se desvanece. No se detiene abruptamente; se vuelve más y más frío hasta que apenas es perceptible.
• La Red: El sistema de IA crea un enorme "mapa de calor" invisible combinando el calor de todas estas fogatas.
  • Si estás parado donde el calor es fuerte, estás dentro de la zona de seguridad.
  • Si estás en un punto frío entre fuegos, estás fuera de la zona de seguridad.

Esto es mejor que dibujar una caja rígida alrededor de las fogatas porque tiene en cuenta las "zonas grises" que hay entre ellas.

3. La "Red de Seguridad" para Errores

¿Qué pasa si accidentalmente sueltas una canica en un lugar que en realidad es peligroso (como el borde de un acantilado)? El sistema debe saber no encender una fogata allí.

• Los autores añadieron una regla: Si un punto de datos "peligroso" recibe demasiado calor de las fogatas cercanas, el sistema apaga las fogatas a su alrededor automáticamente hasta que el punto peligroso vuelva a estar frío.
• Esto asegura que la zona de seguridad nunca cubra accidentalmente un peligro conocido.

4. Por Qué Esto Importa para la Certificación

Para que un avión o un automóvil sea aprobado para su uso, los reguladores necesitan saber que las reglas son sólidas.

• Determinista: El artículo afirma que si ejecutas este proceso dos veces con los mismos datos, obtienes exactamente el mismo mapa de seguridad cada vez. No es una suposición de "caja negra"; es un cálculo matemático.
• Independiente del Orden: No importa si introduces los datos en la computadora por la mañana o por la tarde, o en un orden diferente. El resultado es siempre el mismo.
• Conservador: Si el sistema no está seguro de si un lugar es seguro (porque no hay puntos de datos allí), asume que es inseguro. Este es un enfoque de "más vale prevenir que lamentar", lo cual es crucial para sistemas críticos para la seguridad.

5. La Prueba: La Prueba del "Simulador de Vuelo"

Los autores probaron este método de dos maneras:

1. Simulación Matemática: Crearon una zona de seguridad perfecta y falsa en una computadora y luego intentaron reconstruirla utilizando solo puntos de datos dispersos. Su método de "red brillante" recreó la zona original con una precisión superior al 98%.
2. Aviación del Mundo Real: Lo aplicaron a un problema real de aviación: Evitación de Colisiones. Utilizaron datos de un sistema diseñado para evitar que los aviones choquen entre sí. El método mapeó con éxito las condiciones operativas seguras para este sistema complejo, demostrando que funciona incluso con datos reales y desordenados.

Resumen

Este artículo presenta una herramienta (llamada autoSAFE) que toma datos crudos de un sistema crítico para la seguridad y dibuja automáticamente una "zona de seguridad" precisa y matemáticamente probada a su alrededor. En lugar de adivinar las reglas, aprende los límites de los datos mismos, asegurando que la IA solo opere donde se ha demostrado que es segura. Esto facilita mucho la certificación de sistemas de IA para cosas como pilotar aviones o conducir coches.

Resumen técnico

Resumen Técnico: Definición de Condiciones Operativas para Sistemas Basados en IA Críticos para la Seguridad a partir de Datos

1. Planteamiento del Problema

El despliegue rápido de la Inteligencia Artificial (IA) en dominios críticos para la seguridad (por ejemplo, aviación, automoción) hace necesaria una garantía y certificación de seguridad rigurosas. Un requisito central para certificar sistemas basados en IA es la definición del Dominio de Diseño Operativo (ODD): el conjunto específico de condiciones ambientales y operativas bajo las cuales se pretende que el sistema funcione de manera segura.

Tradicionalmente, los ODD se definen manualmente por expertos del dominio al inicio del ciclo de vida del desarrollo. Sin embargo, para sistemas complejos del mundo real, este enfoque enfrenta desafíos significativos:

• Complejidad: Definir las interrelaciones (ontología) entre parámetros (por ejemplo, cómo afecta el clima a la velocidad de aterrizaje) es difícil y a menudo incompleto.
• Naturaleza Estática: Los ODD definidos por expertos pueden no capturar dependencias implícitas de parámetros ni adaptarse a nuevos datos.
• Brechas de Certificación: Los enfoques actuales basados en datos a menudo carecen de representaciones deterministas e independientes del orden, o de marcos formales para la similitud de ODD, que son prerrequisitos para la certificación formal.

Las representaciones matemáticas existentes (por ejemplo, polítopos convexos) no logran modelar ontologías de ODD no lineales, mientras que los enfoques basados en redes neuronales introducen dependencia del orden e incertidumbre. Existe la necesidad de un método para derivar ODD directamente a partir de datos que sea determinista, independiente del orden, acotado e interpretable.

2. Metodología

El artículo propone un método Safety-by-Design (Seguridad por Diseño) para definir ODD a posteriori a partir de datos recopilados utilizando una representación basada en kernels multidimensionales. La metodología central implica los siguientes pasos:

2.1 Formalización Matemática

Los autores formalizan el ODD como una estructura matemática $O = (X, R^O, f^O, \Omega^O)$, donde $X$ es la taxonomía (espacio de parámetros), $R^O$ es la ontología (restricciones) y $f^O$ es la función de interpretación. Crucialmente, definen la similitud de ODD ($O_1 \sim O_2$) no por equivalencia semántica, sino por equivalencia centrada en datos: dos ODD son similares si generan el mismo conjunto de datos $Y$.

2.2 Representación de Afinidad Basada en Kernels

En lugar de construir manualmente los límites, el método construye el ODD directamente a partir de muestras de datos:

• Puntos de Anclaje: Las muestras dentro de la distribución ($D_{ID}$) sirven como puntos de anclaje ($A$). Las muestras fuera de la distribución ($D_{OOD}$) se excluyen explícitamente.
• Afinidad Local: Para cada punto de anclaje $x_i$, se define una función de afinidad local $\alpha_i(x)$ utilizando un kernel definido positivo (específicamente el kernel de Función de Base Radial (RBF)).
• Afinidad Global: La pertenencia global al ODD se determina por la superposición de afinidades locales:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Una muestra $x$ pertenece al ODD si $\alpha(x) \geq \zeta$, donde $\zeta$ es un umbral predefinido.

2.3 Parametrización Automatizada

Para asegurar que el proceso sea totalmente automatizado y evite el ajuste manual:

• Covarianza Diagonal: Se asume que la matriz de covarianza del kernel $\Sigma$ es diagonal, basándose en la suposición de independencia local y distribución uniforme de los puntos de anclaje.
• Escalado Dependiente de la Distancia: Las entradas diagonales de $\Sigma$ se definen como una función de la distancia al vecino más cercano ($d^*_i$):
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Esto reduce el número de hiperparámetros de $N \times n^2$ a solo dos ($\kappa, \eta$) más una cota inferior $\lambda$.

2.4 Restricción de Consistencia OOD

Para garantizar la seguridad, el método impone que las muestras OOD no deben clasificarse como parte del ODD. Si una muestra OOD $x$ viola el umbral ($\alpha(x) > \xi$), el algoritmo escala iterativamente hacia abajo la matriz de covarianza del kernel más influyente para ese punto. Este proceso es independiente del orden y se demuestra que termina en pasos finitos, asegurando $\alpha(x) \leq \xi$ para todas las muestras OOD.

3. Contribuciones Clave

1. Marco Determinista e Independiente del Orden: El artículo presenta la primera tubería totalmente automatizada para derivar ODD a partir de datos utilizando una representación basada en kernels que está determinada únicamente por los datos y es invariante al orden de las muestras.
2. Definición Formal de Similitud de ODD: Se introduce una definición de similitud de ODD centrada en datos, que permite comparar ODD basados en datos contra la verdad fundamental o proxies sin requerir alineación semántica.
3. Implementación Safety-by-Design: La representación de ODD resultante es acotada, conservadora (subestima el ODD real en regímenes dispersos) e interpretable, satisfaciendo requisitos clave para la futura certificación de IA.
4. Manejo de Datos Escasos: El método está diseñado para funcionar eficazmente incluso con regímenes de datos escasos, haciéndolo aplicable a etapas tempranas de desarrollo.
5. Herramienta de Código Abierto (autoSAFE): Los autores desarrollaron y publicaron como código abierto una herramienta (autoSAFE) que implementa este marco, soportando varios formatos de datos (CSV, JSON/ASAM OpenLABEL) y búsquedas eficientes de vecinos más cercanos.

4. Validación y Resultados

La metodología se validó mediante dos experimentos principales:

4.1 Simulación de Monte Carlo

• Configuración: Se generó un ODD sintético 2D con una restricción de desigualdad lineal. Los puntos de anclaje se muestrearon del ODD real y las muestras de validación se generaron en un hiperrectángulo más amplio.
• Hallazgos: El ODD basado en datos se comparó contra el ODD subyacente real y la envolvente convexa de los puntos de anclaje.
  • Las curvas de precisión y recall mostraron una fuerte correlación entre el ODD basado en datos y la envolvente convexa ($R^2 = 0.9855$ para precisión, $R^2 = 0.9987$ para recall).
  • Esto sugiere que la envolvente convexa puede servir como un proxy confiable para ajustar los umbrales de afinidad cuando el ODD de verdad fundamental es desconocido.
  • Los resultados se mantuvieron para dimensiones de hasta 10 y funciones de relación complejas.

4.2 Caso de Uso Real en Aviación (VCAS)

• Contexto: El método se aplicó al Sistema de Evitación de Colisiones Verticales (VCAS), un componente del sistema ACAS X de próxima generación.
• Datos: El conjunto de datos incluyó 622.110 puntos de anclaje que representan vectores de estado (altitud relativa, tasas verticales, tiempo hasta el punto de aproximación más cercana, consejo anterior).
• Hallazgos:
  • El ODD basado en datos se comparó contra el ODD de verdad fundamental conocido y la envolvente convexa.
  • Se observaron altos coeficientes de determinación ($R^2 = 0.991$ para precisión, $R^2 = 0.999$ para recall).
  • Los resultados confirmaron que el enfoque basado en kernels funciona bien en un escenario realista, de alta dimensión y crítico para la seguridad, a pesar de la menor densidad de puntos de anclaje en comparación con la simulación de Monte Carlo.

5. Significado y Afirmaciones

El artículo afirma que, si bien una reconstrucción "totalmente veraz" de un ODD no siempre es posible solo a partir de datos, el enfoque basado en kernels propuesto aproxima suficientemente el ODD subyacente para fines de certificación.

• Preparación para la Certificación: El método proporciona una base matemáticamente rigurosa, determinista y explicable para definir límites operativos. Esto apoya marcos regulatorios (por ejemplo, EASA) que requieren evaluación continua de la seguridad y límites operativos claros.
• Monitoreo en Tiempo de Ejecución: A diferencia de los límites geométricos rígidos, la función de afinidad continua $\alpha(x)$ permite zonas de advertencia graduadas. A medida que el estado del sistema se desvía de los puntos de anclaje, la puntuación de afinidad decae suavemente, permitiendo la detección temprana de condiciones fuera de la distribución antes de cruzar un límite de seguridad rígido.
• Conservadurismo: El enfoque es inherentemente conservador. En regímenes de datos escasos, el ODD derivado subestima la región segura real, asegurando que el sistema solo se despliegue en áreas respaldadas por datos de entrenamiento suficientes. Esto se alinea con el principio Safety-by-Design.
• Limitaciones: Los autores reconocen que el método depende de los parámetros del kernel ($\kappa, \eta$) y que la suposición de covarianza diagonal simplifica las dependencias entre dimensiones. Señalan que el ODD resultante puede ser excesivamente conservador en regiones dispersas, excluyendo potencialmente condiciones operativas válidas, pero argumentan que este es un compromiso necesario para la garantía de seguridad.

En conclusión, este trabajo establece una vía para la construcción de ODD basada en datos que es compatible con argumentos formales de seguridad, cerrando la brecha entre datos empíricos y los requisitos rigurosos de la certificación de IA en sistemas críticos para la seguridad.