A Subjective Logic-based method for runtime confidence updates in safety arguments

Resumen Técnico: Un Método Basado en Lógica Subjetiva para Actualizaciones de Confianza en Tiempo Real en Argumentos de Seguridad

Enunciado del Problema
Los argumentos de garantía de seguridad para componentes de aprendizaje automático (ML), particularmente en entornos dinámicos como la conducción autónoma, enfrentan un desafío crítico: los argumentos estáticos basados en evidencia de diseño pueden volverse inválidos con el tiempo debido a cambios en la distribución de datos, deriva del modelo o contextos operativos en evolución. Si bien normas como UL 4600 exigen el uso de Indicadores de Desempeño de Seguridad (SPI) para monitorear la validez del sistema, los métodos existentes para incorporar datos en tiempo real a menudo carecen de la granularidad necesaria para cuantificar las actualizaciones de confianza dinámicamente. Los enfoques cualitativos suelen ofrecer únicamente resultados binarios (refutación o sin cambio), mientras que las actualizaciones bayesianas clásicas pueden no priorizar adecuadamente la respuesta inmediata de seguridad sobre la equivalencia exacta de la posterior. Existe la necesidad de un mecanismo formal que integre evidencia continua y por ventanas en tiempo real en argumentos de garantía cuantitativos, permitiendo tanto la acumulación gradual de confianza como penalizaciones inmediatas ante violaciones de seguridad.

Metodología
Los autores proponen un método que extiende los argumentos de garantía cuantitativos estáticos utilizando Lógica Subjetiva (SL) para incorporar SPIs en tiempo real. El núcleo de la metodología implica una regla de actualización específica que combina dos operadores de SL: Fusión de Creencia Acumulativa (CBF) y el Desafiante Refutador (RC).

1. Estructura del Argumento: El caso de seguridad se modela como un argumento estructurado donde cada afirmación $c$ está asociada a una opinión binomial $\omega_c = (b, d, u, a)$, que representa creencia, descreencia, incertidumbre y tasa base.
2. Modelado de SPIs: Los SPIs en tiempo real se tratan como predicados binarios derivados de mediciones umbralizadas sobre una ventana de $k$ observaciones. Una opinión SPI $\omega_{SPI}$ se construye contando éxitos ($r$, sin violaciones) y fallos ($s$, violaciones) dentro de la ventana, mapeados a una opinión SL mediante ecuaciones estándar.
3. La Regla de Actualización: La innovación central es la ecuación de actualización para una opinión de afirmación $\omega_c$ dada una nueva opinión SPI $\omega_{SPI}$:
   $$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$$
   • Operación Interna ($\oplus$): La Fusión de Creencia Acumulativa acumula la evidencia de la ventana SPI. Si no ocurren violaciones, esto aumenta la creencia y reduce la incertidumbre en la afirmación.
   • Operación Externa ($\boxtimes$): El Desafiante Refutador aplica una penalización inmediata. La opinión SPI se niega ($\neg\omega_{SPI}$) de modo que la creencia en una violación de SPI se mapea a descreencia en la afirmación. Este operador reasigna masa de creencia a descreencia proporcionalmente a la gravedad de la violación, asegurando que una sola violación pueda degradar inmediatamente la confianza, independientemente de la acumulación previa.

Este diseño se aparta explícitamente de las actualizaciones bayesianas Beta-Binomial conjugadas estándar. En lugar de simplemente sumar conteos, el método prioriza la responsividad relevante para la seguridad, asegurando que las violaciones desencadenen caídas de confianza correctivas inmediatas, mientras que las no violaciones permiten una recuperación gradual de la confianza.

Contribuciones Clave

• Mecanismo de Actualización Nativo de SL: El artículo introduce una regla de actualización explícitamente no bayesiana que integra SPIs en tiempo real por ventanas en argumentos de garantía cuantitativos. Aprovecha la capacidad de la SL para distinguir entre confianza de primer orden (compromiso con la creencia/descreencia) y confianza de segundo orden (precisión de ese compromiso).
• Regla de Actualización de Doble Propiedad: La combinación de operadores propuesta satisface dos propiedades críticas de seguridad: (1) aumento gradual de la confianza en ausencia de violaciones, y (2) penalizaciones inmediatas y dirigidas ante violaciones.
• Integración Formal de SPIs: El método proporciona una forma formal de vincular SPIs líderes (indicadores proactivos) directamente con afirmaciones específicas dentro del argumento de garantía, permitiendo la reevaluación continua de la validez del argumento.

Resultados Experimentales
El método se demuestra mediante una simulación de un componente de detección de conos de construcción basado en ML dentro de un sistema de vehículo autónomo (plataforma APIKS).

• Escenario: Un detector basado en YOLOv8 se monitorea en busca de falsos negativos en relación con la verdad fundamental. Se define un SPI con un umbral en la relación de conos perdidos.
• Observaciones:
  • Cuando ocurrieron violaciones de SPI (por ejemplo, debido a oclusiones), la creencia de la afirmación cayó inmediatamente y aumentó la descreencia.
  • En períodos sin violaciones, la incertidumbre disminuyó y la creencia se recuperó gradualmente.
  • Las distribuciones Beta resultantes mostraron que el método redujo con éxito la incertidumbre general con el tiempo, manteniendo al mismo tiempo la sensibilidad a eventos críticos para la seguridad.
  • Diferentes escenarios ilustraron cómo el método maneja la evidencia variable: desplazando la masa hacia la descreencia cuando se acumulan violaciones, y hacia la creencia cuando la evidencia es consistente, mientras retiene la incertidumbre cuando los datos son insuficientes (por ejemplo, en segmentos nocturnos cortos).

Significado y Afirmaciones
Los autores afirman que este trabajo ofrece un enfoque práctico y auditable para la garantía de seguridad continua en sistemas basados en IA. Al alinearse con normas como UL 4600, el método cierra la brecha entre los argumentos estáticos de diseño y las realidades operativas dinámicas.

• Gobernanza: El enfoque proporciona una "narrativa de confianza" transparente que mapea señales crudas en tiempo real a opiniones explícitas a nivel de afirmación. Esto apoya a los operadores de flota y gerentes de seguridad para desencadenar mitigaciones (por ejemplo, ajustes de parámetros, supervisión humana) basadas en umbrales cuantitativos.
• Auditabilidad: Crea un vínculo formal entre la evidencia en tiempo real y el caso de seguridad, permitiendo a los reguladores revisar cómo las violaciones específicas impactaron la confianza.
• Integración con MLOps: El método conecta la degradación de la confianza de garantía con acciones de ingeniería, como el reentrenamiento dirigido o la adquisición de datos, vinculando efectivamente los argumentos de seguridad con los flujos de trabajo de MLOps.

El artículo reconoce limitaciones, señalando que la efectividad depende de un umbralizado preciso de SPI y que el modelo actual asume ventanas independientes y no superpuestas. Se sugiere trabajo futuro para abordar correlaciones temporales, descuento basado en el tiempo para evidencia obsoleta y la integración de SPIs tanto líderes como rezagados dentro de una estructura de argumento unificada.