How Safe Will I Be Given What I Saw? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy

Resumen Técnico: Predicción de Seguridad Calibrada para la Autonomía Controlada por Imagen

1. Planteamiento del Problema

Los robots autónomos modernos dependen cada vez más de controladores de extremo a extremo basados en redes neuronales profundas que utilizan sensores de alta resolución (cámaras) directamente para la toma de decisiones. Sin embargo, predecir la seguridad de estos sistemas presenta desafíos críticos:

• Falta de modelos de estado: A diferencia de los sistemas tradicionales que utilizan estados de baja dimensión (posición, velocidad), estos sistemas operan directamente sobre imágenes, sin acceso a modelos dinámicos o de observación explícitos.
• Desplazamiento de distribución (Distribution Shift): En predicciones a largo plazo, los errores de predicción se acumulan, haciendo que las trayectorias futuras simuladas se desvíen significativamente de la distribución de datos de entrenamiento. Esto provoca que los evaluadores de seguridad estáticos fallen o produzcan estimaciones de riesgo no calibradas (demasiado optimistas o pesimistas).
• Falta de garantías estadísticas: Los métodos existentes a menudo carecen de garantías teóricas sobre la confiabilidad de sus predicciones de probabilidad, lo cual es crucial para la seguridad crítica.

El objetivo del artículo es desarrollar un marco para la predicción de seguridad calibrada en sistemas controlados por visión, donde se pueda estimar la probabilidad de que el sistema permanezca seguro en un horizonte futuro, junto con intervalos de confianza estadísticamente válidos, sin necesidad de modelos dinámicos conocidos.

2. Metodología Propuesta

Los autores proponen una familia de pipelines de aprendizaje modular que combina modelos de mundo, adaptación de dominio y calibración conformal.

A. Arquitectura de Predicción (Monolítica vs. Compuesta)
Se comparan dos enfoques principales:

1. Predicción Monolítica: Un solo modelo mapea directamente la secuencia de imágenes a una etiqueta de seguridad o probabilidad. Es simple pero sufre en horizontes largos.
2. Predicción Compuesta (Propuesta Principal): Descompone el problema en tres etapas:
   • Codificador (Encoder): Utiliza un Autoencoder Variacional (VAE) o VQ-VAE para comprimir las observaciones de alta dimensión (imágenes) en un espacio latente de baja dimensión.
   • Pronosticador (Forecaster): Predice la evolución futura de los estados latentes (no las imágenes completas) utilizando arquitecturas avanzadas como LSTM bidireccionales, Transformers o modelos basados en VQ-VAE.
   • Evaluador (Evaluator): Clasifica la trayectoria latente futura como segura o insegura.

B. Adaptación de Dominio No Supervisada (UDA)
Para abordar el desplazamiento de distribución en las predicciones a largo plazo, se integra un módulo de Adaptación de Dominio No Supervisada (UDA) basado en la Minimización de Entropía Marginal (MEMO).

• Funcionamiento: Durante la inferencia (test-time), el evaluador se adapta a las nuevas distribuciones de entrada (imágenes o estados latentes predichos) sin necesidad de etiquetas manuales.
• Mecanismo: Genera versiones aumentadas estocásticamente de la misma observación, calcula la distribución marginal de predicción y minimiza la entropía de esta distribución. Esto fuerza al evaluador a ser confiable y consistente incluso con datos fuera de distribución (OOD).

C. Calibración Conformal Post-hoc
Para garantizar que las probabilidades predichas sean fiables, se aplica una técnica de calibración conformal:

• Convierte las puntuaciones crudas del modelo en intervalos de probabilidad con garantías estadísticas.
• Utiliza un conjunto de validación para calcular un umbral de error (no conformidad) que asegura que, con un nivel de confianza $1-\alpha$, la probabilidad real de seguridad caiga dentro del intervalo predicho.
• Esto permite al sistema decir: "Hay un 95% de probabilidad de que la probabilidad real de seguridad esté entre X e Y".

3. Contribuciones Clave

1. Familia de Pipelines Modulares: Introducción de arquitecturas compuestas que separan la predicción de la dinámica (mundo) de la evaluación de seguridad, demostrando superioridad sobre los enfoques monolíticos en horizontes largos.
2. Robustez mediante UDA: Desarrollo de un método de adaptación en tiempo de prueba que mantiene la calibración del evaluador de seguridad frente a desplazamientos de distribución causados por errores de predicción acumulados, sin requerir reetiquetado manual.
3. Garantías Teóricas y Prácticas: Aplicación de la calibración conformal para proporcionar límites estadísticos rigurosos sobre los errores de predicción de seguridad, algo previamente inexplorado en entornos de autonomía sin modelo.
4. Evaluación Exhaustiva: Validación en tres escenarios diversos: un coche de carreras simulado, un péndulo invertido (cart pole) y un vehículo físico real (Donkey Car) en pistas de carreras.

4. Resultados Experimentales

Los experimentos se realizaron en entornos de OpenAI Gym y en un despliegue físico real.

• Rendimiento a Largo Plazo: Los predictores compuestos superaron consistentemente a los monolíticos a medida que aumentaba el horizonte de predicción ($k$). Por ejemplo, en el coche de carreras, los modelos compuestos mantuvieron puntuaciones F1 más altas y tasas de falsos positivos (FPR) significativamente menores en horizontes largos ($k=180$).
• Impacto de la Atención: El uso de arquitecturas basadas en Transformers (especialmente con VQ-VAE) mejoró la coherencia temporal y la precisión, reduciendo el Error de Calibración Esperado (ECE) en comparación con modelos recurrentes simples.
• Eficacia de la UDA: Los evaluadores adaptados con UDA mostraron una robustez superior en datos fuera de distribución (OOD). En el escenario del coche de carreras, el evaluador UDA mantuvo un FPR del 7.07% en datos OOD, frente al 52.78% de un evaluador de imagen estándar sin adaptación.
• Calibración: La calibración conformal redujo drásticamente el ECE (a menudo por debajo de 0.01) y proporcionó intervalos de confianza que cubrieron la verdad fundamental en más del 96% de los casos, cumpliendo con las garantías teóricas.
• Espacio Latente vs. Imagen: Los evaluadores que operan en el espacio latente (tras el VAE) demostraron ser más robustos y precisos que los que operan directamente sobre las imágenes, ya que el espacio latente filtra el ruido de píxeles y captura mejor la dinámica subyacente.

5. Significado e Impacto

Este trabajo es fundamental para la seguridad de la autonomía basada en visión por varias razones:

• Viabilidad de la Autonomía sin Mapa: Permite predecir la seguridad en sistemas que no tienen acceso a modelos físicos explícitos ni a mapas de alta definición, operando solo con flujos de video.
• Gestión de la Incertidumbre: Proporciona a los sistemas autónomos una forma cuantitativa y rigurosa de expresar su incertidumbre. En lugar de una respuesta binaria ("seguro/inseguro"), ofrecen un intervalo de confianza, lo que permite a los controladores tomar decisiones más prudentes (ej. frenar o reducir velocidad) cuando la predicción es incierta.
• Escalabilidad: Al evitar la necesidad de modelos dinámicos manuales y etiquetas masivas para la adaptación en tiempo de ejecución, el marco es escalable a entornos dinámicos y no estructurados.
• Seguridad Crítica: La reducción de falsos positivos es vital para evitar intervenciones innecesarias que podrían degradar el rendimiento del robot, mientras que la calibración asegura que los riesgos reales no se subestimen.

En conclusión, el artículo establece un nuevo estándar para la evaluación de seguridad en robots autónomos controlados por visión, demostrando que es posible lograr predicciones precisas, calibradas y robustas frente a cambios ambientales mediante la combinación de modelos de mundo, adaptación de dominio y teoría de la inferencia conformal.