Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

Resumen Técnico: Calibración Conformal Local de la Incertidumbre de la Dinámica a partir de Imágenes Semánticas

Enunciado del Problema
Los sistemas robóticos que operan en entornos del mundo real enfrentan desafíos significativos en la cuantificación de la incertidumbre debido a perturbaciones no modeladas (incertidumbre aleatoria) y desajustes del modelo (incertidumbre epistémica). Aunque la Predicción Conformal (PC) ofrece un marco libre de distribuciones para proporcionar garantías probabilísticas sobre regiones de predicción, los métodos de PC existentes en robótica sufren de dos limitaciones críticas:

1. Falta de Discriminabilidad: La PC estándar proporciona garantías de cobertura promedio (marginal) sobre un conjunto de datos, pero falla en distinguir entre regiones estado-acción con desajuste del modelo alto versus bajo. Esto impide que los planificadores dirijan el sistema hacia estados de menor incertidumbre.
2. Requisito de Datos Específicos del Entorno: Los enfoques actuales típicamente requieren datos de calibración recopilados del entorno exacto de prueba para garantizar la validez. Esto es poco práctico y riesgoso, ya que requiere transitar por entornos nuevos y potencialmente peligrosos (por ejemplo, carreteras heladas) únicamente para calibrar el modelo de dinámica.

Los autores abordan la necesidad de un algoritmo que pueda proporcionar garantías de incertidumbre demostrables y de muestra finita para entornos de prueba no vistos, aprovechando la información de percepción procedente de entornos visualmente similares, pero distintos.

Metodología: OCULAR
El artículo introduce Calibración Local de la Incertidumbre Conformal Consciente de la Observación (OCULAR), un método que calibra un modelo de dinámica gaussiana lineal ($\tilde{f}$) utilizando datos de percepción en el marco del robot. La innovación central consiste en reemplazar las poses en el marco mundial (que requieren datos específicos del entorno) con una representación aprendida de las observaciones semánticas.

La metodología procede en dos fases:

1. Calibración Offline:

   • Procesamiento de la Observación: Las imágenes profundas y semánticas crudas se proyectan en una "huella semántica planar" en el marco del robot ($o'_t$). Esta representación captura el entorno frente al robot mientras descarta las coordenadas irrelevantes del marco mundial.
   • Codificación Latente: Un Autoencoder Convolucional (CAE) se entrena con datos de un conjunto de entornos de calibración para comprimir las huellas planas en un vector latente de baja dimensión ($\phi_t$).
   • Particionamiento Local: El espacio de entrada se define como $X = (v_t, a_t, \phi_t)$, combinando velocidad, acción y la observación latente. Se entrena un Árbol de Decisión (DTree) para particionar este espacio en regiones ($X_k$) donde las puntuaciones de no conformidad (desacuerdo entre $\tilde{f}$ y la verdad fundamental) son aproximadamente constantes. Esto se logra utilizando el algoritmo LOCART para minimizar la varianza de la puntuación dentro de las particiones.
   • Calibración Local: Para cada partición $X_k$, se realiza un procedimiento de Predicción Conformal Dividida (SplitCP) en un subconjunto de retención de los datos de calibración. Esto produce un factor de escala específico de la partición ($\hat{q}_k$) que ajusta la covarianza de las predicciones gaussianas.

2. Despliegue Online:

   • Durante la operación en un entorno nuevo y no visto, el robot procesa su observación actual en el espacio latente y la pasa a través del DTree preentrenado para identificar la partición actual $X_k$.
   • La covarianza predicha por el modelo de dinámica se escala por el factor correspondiente $\xi_k$ derivado de $\hat{q}_k$.
   • Esta estimación de incertidumbre calibrada se introduce en un planificador de Control Predictivo de Modelo (MPC). El planificador construye una región de predicción que está garantizada para contener el verdadero estado siguiente con probabilidad $(1-\alpha)$ y optimiza las trayectorias para evitar regiones donde la incertidumbre calibrada es alta o interseca con obstáculos.

Contribuciones Clave
Los autores hacen tres contribuciones principales:

1. Propuesta de Algoritmo: Proponen OCULAR, un algoritmo que proporciona garantías demostrables de muestra finita sobre la incertidumbre de la dinámica en un entorno nuevo y no visto utilizando únicamente datos de entornos visualmente similares.
2. Validez Teórica: Demuestran que la tubería de proyectar observaciones, codificarlas mediante un CAE y particionarlas mediante un Árbol de Decisión preserva la intercambiabilidad requerida para la Predicción Conformal. Esto permite garantías de cobertura local (condicional) en lugar de solo garantías marginales globales.
3. Validación Empírica: Validan el enfoque en un sistema de doble integrador sujeto a perturbaciones aleatorias y un desajuste de modelo significativo (simulando superficies resbaladizas). Los experimentos utilizan tanto sensores planares simplificados como cámaras realistas de Isaac Sim.

Resultados
Los experimentos se realizaron en cuatro mapas planares y tres escenarios de carretera de Isaac Sim, comparando OCULAR contra:

• NoCP: Modelo no calibrado (falla en datos fuera de distribución (OOD)).
• SplitCP: Calibración global utilizando datos del entorno de prueba (excesivamente conservador en distribución, insuficientemente protector en OOD).
• LUCCa: Calibración local utilizando datos del entorno de prueba (requiere datos específicos del entorno).

Los hallazgos clave incluyen:

• Cobertura: OCULAR alcanza la probabilidad de cobertura establecida por el usuario (90%) tanto en regiones en distribución como en regiones OOD (por ejemplo, carreteras heladas) sin utilizar ningún dato del entorno de prueba. Por el contrario, NoCP subcobertura severamente las regiones OOD, y SplitCP falla en adaptarse a las variaciones locales de incertidumbre.
• Eficiencia de Volumen: OCULAR construye regiones de predicción que son solo un 12–15% más grandes que una región óptima "oráculo", demostrando una alta eficiencia de volumen comparable a los métodos que tienen acceso a datos del entorno de prueba (como LUCCa).
• Planificación Segura: En tareas de optimización de trayectorias, OCULAR navega exitosamente por regiones de alta incertidumbre reduciendo la velocidad y evitando colisiones, logrando tasas de éxito del 100% en todos los mapas probados. Los métodos sin calibración (NoCP) o con calibración global (SplitCP) resultaron frecuentemente en colisiones debido a un optimismo excesivo o un conservadurismo excesivo, respectivamente.

Significado y Afirmaciones
El artículo afirma que OCULAR cierra la brecha entre las garantías teóricas de incertidumbre y el despliegue robótico práctico. Al utilizar información de percepción para generalizar entre entornos, el método elimina la necesidad de recopilación de datos de calibración específicos del entorno, lo cual es riesgoso. Los autores enfatizan que sus garantías son no asintóticas y libres de distribuciones, sin requerir suposiciones fuertes sobre la dinámica del sistema real desconocida.

Los autores notan modestamente que, aunque demuestran garantías de seguridad de un paso y planificación heurística de múltiples pasos, no afirman garantías teóricas rigurosas para la seguridad de múltiples pasos debido a la no intercambiabilidad de las observaciones generadas por el mapa durante la ejecución. Además, reconocen la sensibilidad a los hiperparámetros en el CAE y el Árbol de Decisión, y que el aprendizaje actual de la representación latente está desacoplado de la utilidad de predicción de incertidumbre, sugiriendo una vía para trabajo futuro.