Recipes for Calibration Checks in Safety-Critical Applications

A continuación se presenta un resumen técnico detallado del artículo "Recetas para verificaciones de calibración en aplicaciones críticas para la seguridad" de Romeo Valentin.

1. Planteamiento del Problema

Los sistemas críticos para la seguridad (por ejemplo, vehículos autónomos, monitores médicos, pronosticadores meteorológicos) dependen de pronosticadores probabilísticos que generan distribuciones de probabilidad completas en lugar de estimaciones puntuales. Aunque estos sistemas deben validarse para garantizar que sus estimaciones de incertidumbre sean fiables, las prácticas actuales de validación presentan limitaciones significativas:

• Enfoque en la precisión: Muchas evaluaciones solo verifican la precisión media de las predicciones, ignorando las propiedades distribucionales (varianza, forma) que son cruciales para la toma de decisiones bajo incertidumbre.
• Puntuaciones continuas vs. decisiones: Las métricas de calibración estándar (por ejemplo, Error de Calibración Esperado, CRPS, diagramas de fiabilidad) producen puntuaciones continuas. Estas requieren interpretación humana y umbralización arbitraria, lo cual es inadecuado para la certificación formal de seguridad, donde se requiere un veredicto binario Aprobado/Rechazado con una tasa de rechazo falso controlada.
• Marcos rígidos: La literatura existente trata aspectos diferentes de la calibración (modelos de datos, métricas, tipos de hipótesis, procedimientos de prueba) de forma aislada. No existe un marco unificado que permita a los ingenieros intercambiar componentes (por ejemplo, cambiar de pruebas offline a online) sin tener que volver a derivar toda la metodología.
• Asimetría de seguridad: Las pruebas estándar suelen tratar la sobreconfianza (intervalos demasiado estrechos) y la subconfianza (intervalos demasiado amplios) de forma simétrica. En contextos críticos para la seguridad, la sobreconfianza es peligrosa, mientras que el conservadurismo suele ser aceptable.
• El problema del "N grande": A medida que crecen los tamaños de muestra, las pruebas de hipótesis estándar rechazan modelos por desviaciones infinitesimales, incluso si esas desviaciones son operativamente irrelevantes.

2. Metodología: El Marco de Cuatro Ranuras

El autor propone un marco modular que descompone la verificación de calibración en cuatro "ranuras" intercambiables de forma independiente. Una "receta" específica se forma seleccionando una opción de cada ranura.

Ranura 1: Modelo y Datos

Define la forma del pronóstico y las observaciones.

• Opciones: Univariable/Multivariable, Paramétrico (Gaussiano) vs. No paramétrico (Nubes de partículas, Conjuntos conformales).
• Adaptación: Para modelos no paramétricos (como filtros de partículas) donde no está disponible una función de distribución acumulada (CDF), el marco utiliza proyecciones de semiplano (enfoque sliced-Wasserstein) para reducir problemas multivariados a comprobaciones de cobertura unidimensionales.

Ranura 2: Métrica

Cuantifica la discrepancia entre pronósticos y resultados.

• Cobertura: Verifica si la fracción de resultados que caen dentro de un intervalo de predicción coincide con el nivel nominal (por ejemplo, el 95% de los resultados en el intervalo del 95%).
• PIT (Transformación Integral de Probabilidad): Transforma los resultados en variables uniformes ($U_i = \text{CDF}(\hat{p}, y_i)$). Bajo una calibración perfecta, $U_i \sim \mathcal{U}(0,1)$.
• PIT doblado: Para centrarse en la dispersión (varianza) en lugar del sesgo, el artículo introduce el doblado: $V_i = |2U_i - 1|$. Esto mapea la curva de cobertura directamente a la CDF empírica de $V_i$.
• Potencia estadística: El marco aboga por la prueba de Kolmogorov-Smirnov (KS) sobre el PIT doblado en lugar de pruebas Binomiales por nivel con corrección de Bonferroni. La prueba KS explota la estructura de correlación exacta (puente browniano) entre niveles, recuperando la potencia estadística perdida por las correcciones conservadoras de Bonferroni.

Ranura 3: Formulación de Hipótesis

Define qué constituye una calibración "aceptable".

• Pruebas unilaterales: En lugar de rechazar tanto la sobre-cobertura como la sub-cobertura, el marco permite hipótesis unilaterales que solo rechazan la sobreconfianza (intervalos estrechos) mientras aceptan el conservadurismo (intervalos amplios).
• Bandas de tolerancia: Para abordar el problema del "N grande", el marco introduce pruebas de equivalencia. Define un presupuesto de tolerancia ($\epsilon_{tol}$), aceptando modelos cuya cobertura real esté dentro de un margen pequeño, especificado por ingeniería, del nivel nominal. Esto evita rechazar modelos prácticamente adecuados debido al ruido estadístico en grandes conjuntos de datos.

Ranura 4: Procedimiento de Prueba

Produce la decisión final.

• Offline (Valores p): Utiliza valores p estándar para conjuntos de validación fijos (por ejemplo, Bonferroni o KS).
• Online (Valores e): Para el monitoreo secuencial, el marco utiliza valores e (martingalas de prueba). Los valores e permiten pruebas "válidas en cualquier momento": la prueba puede detenerse en cualquier momento y el error de Tipo I permanece controlado. Esto es crítico para el monitoreo de seguridad en tiempo de ejecución donde los datos llegan continuamente.

3. Contribuciones Clave

1. Gramática modular: Un marco unificado que organiza las pruebas de calibración en cuatro ranuras independientes, permitiendo la creación de diversas "recetas" adaptadas a restricciones de seguridad específicas sin volver a derivar la teoría.
2. Refinamientos críticos para la seguridad:
   • Introducción de pruebas unilaterales que distinguen entre la peligrosa sobreconfianza y el benigno conservadurismo.
   • Integración de bandas de tolerancia para permitir una mala calibración operativamente aceptable, resolviendo el problema de rechazo asintótico.
3. Toma de decisiones operativa: Cambia el paradigma de la puntuación continua (que requiere umbralización humana) a decisiones rigurosas de Aceptar/Rechazar con tasas de falsos positivos controladas, adecuadas para casos de seguridad.
4. Eficiencia estadística: Demuestra que la prueba KS doblada sobre el PIT es estadísticamente más potente que las pruebas Binomiales por nivel con corrección de Bonferroni porque modela correctamente la correlación entre los niveles de cobertura.
5. Monitoreo válido en cualquier momento: Integra valores e para habilitar el monitoreo de calibración continuo y secuencial para sistemas desplegados.

4. Resultados Experimentales

El marco fue validado en dos problemas distintos críticos para la seguridad, demostrando la flexibilidad del mecanismo de intercambio de ranuras:

• Caso 1: Pronóstico de temperatura meteorológica (Offline, Paramétrico)
  • Receta: Modelo Gaussiano univariable + Métrica PIT doblada + Hipótesis bilateral/unilateral + Valor p de KS offline.
  • Resultado: El modelo mostró un ligero sesgo en la media (detectado por KS bilateral) pero estaba bien calibrado en cuanto al ancho de la incertidumbre (aprobó KS doblado unilateral con tolerancia). Esto ilustra cómo diferentes hipótesis responden a diferentes preguntas operativas.
• Caso 2: Localización de robots (Online, No paramétrico)
  • Receta: Filtro de partículas (no paramétrico) + Métrica de cobertura de semiplano + Hipótesis unilateral + Monitor de valor e online.
  • Resultado: El sistema detectó con éxito la "deriva" (desajuste del modelo) en tiempo real. A medida que aumentaba la magnitud de la deriva no modelada, el monitor de valor e cruzó el umbral de rechazo antes y con más frecuencia, demostrando sensibilidad a la degradación del modelo sin requerir un tamaño de muestra fijo.

Estudios de ablación: Los experimentos del apéndice confirmaron que intercambiar una sola ranura (por ejemplo, cambiar la métrica o el procedimiento de prueba) en el mismo conjunto de datos produce decisiones operativamente distintas, validando la modularidad del marco.

5. Importancia

Este artículo proporciona un puente crítico entre la calibración estadística teórica y la certificación de seguridad de la ingeniería práctica.

• Para los profesionales: Ofrece un "libro de recetas" para construir pipelines de validación que sean rigurosos, interpretables y adaptables a requisitos de seguridad específicos (por ejemplo, "podemos tolerar un 2% de sub-cobertura pero no sobre-cobertura").
• Para los casos de seguridad: Transforma la calibración de un "diagnóstico" (una puntuación para observar) a un "certificado" (un aprobado/rechazado binario con una tasa de error conocida), que es un prerrequisito para desplegar IA en sistemas autónomos.
• Unificación teórica: Resuelve la fragmentación entre el aprendizaje automático (cobertura), la verificación de pronósticos (PIT) y el análisis secuencial (valores e), mostrando que son diferentes vistas de la misma estructura probabilística subyacente.

En resumen, el trabajo de Valentin proporciona las herramientas estadísticas necesarias para garantizar que los sistemas de IA probabilísticos no solo "se vean bien" en promedio, sino que estén rigurosamente certificados como seguros bajo incertidumbre.