Resumen Técnico: Cuantificación de la Incertidumbre de la Dinámica Aleatoria y Epistémica mediante la Calibración Conforme Local

1. Planteamiento del Problema

Los sistemas de control robótico suelen depender de aproximaciones de la dinámica (analíticas, simuladas o aprendidas) que pueden ser inexactas cuando se despliegan en entornos novedosos. Aunque existen muchos métodos para cuantificar la incertidumbre aleatoria (estocasticidad inherente al sistema), estas estimaciones son insuficientes para entornos novedosos donde las interacciones físicas subyacentes cambian, induciendo incertidumbre epistémica (incertidumbre debida a la falta de datos o desajuste del modelo).

El desafío central es proporcionar garantías de seguridad probables y no asintóticas para la planificación de movimiento cuando:

1. La función de dinámica real $f$ es desconocida y potencialmente discontinua.
2. El modelo aproximado $\tilde{f}$ puede ser arbitrariamente erróneo en el dominio de despliegue ($P_{test}$) en comparación con el dominio de entrenamiento ($P_{train}$).
3. El sistema debe satisfacer una restricción de seguridad $P(Y_\tau \in C) \geq 1-\alpha$ sobre un horizonte de planificación, donde $C$ es un conjunto seguro.

Los enfoques existentes suelen depender de supuestos fuertes (por ejemplo, distribuciones de error gaussianas), proporcionan solo límites asintóticos, o utilizan factores de calibración globales que son excesivamente conservadores e informativos para espacios de estado-acción de alta dimensión.

2. Metodología: Calibración Conforme Local (LUCCa)

Los autores proponen LUCCa, un marco basado en la predicción conforme que calibra las estimaciones de incertidumbre aleatoria de un predictor de dinámica para dar cuenta de la incertidumbre epistémica. El método opera en dos fases: una fase de calibración fuera de línea (offline) y una fase de planificación en línea (online).

2.1 Conceptos Clave

• Predicción Conforme Dividida (SplitCP): El método utiliza SplitCP para construir regiones de predicción que son válidas en un sentido frecuentista sin asumir la estructura del predictor o la distribución de los datos.
• Distancia de Mahalanobis como Puntuación de No Conformidad: Dado que el predictor de dinámica $\tilde{f}$ produce una distribución Normal Multivariante (MVN) $\mathcal{N}(\hat{\mu}, \hat{\Sigma})$, la puntuación de no conformidad $r$ se define como la distancia de Mahalanobis entre la distribución predicha y el estado observado real:
  $$R^{(i)} = d_M(\tilde{f}(\bar{X}^{(i)}), Y^{(i)}) = \sqrt{(Y^{(i)} - \hat{\mu})^\top \hat{\Sigma}^{-1} (Y^{(i)} - \hat{\mu})}$$
  El análisis teórico muestra que, si el modelo fuera perfecto, la distancia de Mahalanobis al cuadrado seguiría una distribución Chi-cuadrado ($\chi^2_{dim(S)}$).
• Calibración Local (LOCART): En lugar de aplicar un único factor de escala global (lo que conduce a regiones de predicción excesivamente conservadoras), LUCCa emplea el método LOCART. Este particiona el espacio estado-acción utilizando un regresor de árbol de decisión entrenado con los residuos de la calibración.
  • Partición: El conjunto de datos de calibración se divide. Una parte entrena un árbol de decisión para mapear pares estado-acción $(s, u)$ a nodos hoja que representan regiones de error de modelo similares.
  • Escalamiento Local: Para cada nodo hoja $k$, se calcula un factor de escala conforme específico $\xi_k$ basado en los residuos de los puntos de datos que caen en dicha partición.
  • Calibración: Durante la planificación en línea, la covarianza predicha $\hat{\Sigma}$ se escala localmente: $\hat{\Sigma}_{cal} = \xi_k \hat{\Sigma}$. Esto crea regiones de predicción hiperelipsoidales que se adaptan a la dificultad local de la dinámica.

2.2 Flujo del Algoritmo

1. Calibración Fuera de Línea (Offline):
   • Recolectar un conjunto de datos de calibración $D_{cal}$ de transiciones $(s_t, u_t, s_{t+1})$ del entorno de despliegue (o un proxy).
   • Calcular los residuos $R^{(i)}$ para todos los puntos de calibración.
   • Ajustar un árbol de decisión (LOCART) para particionar el espacio estado-acción y calcular los factores de escala locales $\xi_k$ para cada partición.
2. Planificación en Línea (MPC):
   • Dado un estado actual, el planificador (por ejemplo, MPPI) muestrea trayectorias.
   • Para cada paso en el despliegue (rollout), la dinámica aproximada $\tilde{f}$ propaga la distribución del estado.
   • El factor de escala local $\xi_k$ (determinado por la ubicación del par estado-acción actual en el árbol de decisión) se aplica a la covarianza propagada.
   • El planificador optimiza una función de costo que incluye una penalización por la traza de la incertidumbre calibrada (fomentando trayectorias a través de regiones de menor error de modelo) y la evitación de colisiones con las regiones de predicción calibradas.

3. Principales Contribuciones

1. Propuesta de Algoritmo: Introducción de LUCCa, un algoritmo que proporciona regiones de predicción probabilísticamente válidas para los estados futuros de un robot al calibrar las estimaciones de incertidumbre aleatoria para dar cuenta de la incertidumbre epistémica.
2. Garantías Teóricas:
   • Prueba de validez para cualquier conjunto finito de datos de calibración, cualquier predictor que produzca una normal multivariante, y cualquier función de dinámica real desconocida.
   • Demostración de que el método logra cobertura local (condicionada a las particiones estado-acción) con muestras finitas, y logra cobertura condicional asintótica bajo supuestos leves.
   • Prueba de que para el primer paso de planificación, la región calibrada contiene el estado real con una probabilidad $\geq 1-\alpha$. Para pasos subsecuentes, las garantías se mantienen si las dinámicas aproximadas son lineales y se cumplen supuestos específicos sobre el controlador.
3. Adaptabilidad Local: El uso de factores de escala dependientes del estado-acción evita el exceso de conservadurismo de la calibración global, permitiendo al planificador distinguir entre regiones de alta y baja precisión del modelo.
4. Validación Empírica: Demostración de la efectividad del método en un sistema de doble integrador con cambios significativos en la dinámica (por ejemplo, cambios en la fricción), mostrando una mejora en la seguridad y las tasas de éxito en comparación con las líneas base no calibradas.

4. Resultados Experimentales

Los autores evaluaron LUCCa en un sistema de doble integrador en cuatro entornos que contienen regiones de dinámica precisa y regiones de desajuste de modelo significativo (simulando una fricción menor).

• Cobertura Empírica: En el entorno "Corridor", LUCCa mantuvo la cobertura empírica por encima del umbral del 90% (para $\alpha=0.1$) en todos los pasos temporales, incluso en regiones de alto error de modelo. En contraste, la línea base no calibrada subestimó significativamente la incertidumbre en las regiones de desajuste, lo que provocó que la cobertura cayera muy por debajo del 90% a medida que el horizonte se extendía.
• Desempeño de la Planificación de Movimiento con MPC mediante MPPI:
  • Seguridad: LUCCa logró una tasa de colisión del 0% en los entornos Corridor y Passage, y del 3% en L-Turn, en comparación con el 30%, 83% y 80% respectivamente para la línea base no calibrada.
  • Tasa de Éxito: LUCCa logró un 100% de éxito en Corridor y Passage, comparado con el 70% y el 17% de la línea base.
  • Eficiencia: Aunque la línea base a veces alcanzaba las metas más rápido (al ignorar la incertidumbre y tomar caminos arriesgados), colisionaba con frecuencia. El proceso de LUCCa, que penalizaba la alta incertidumbre, causó que el robot redujera la velocidad en regiones de alto error, evitando así colisiones.
• Sobrecarga Computacional: El paso de calibración local (consultar el árbol de decisión y escalar la covarianza) añadió aproximadamente 0.3 ms por paso de planificación (un aumento del 32% en la duración del paso), lo cual los autores consideran insignificante para el despliegue práctico.

5. Significado y Reivindicaciones

El artículo afirma que LUCCa aborda una limitación fundamental en la robótica basada en datos: la incapacidad de desplegar de forma segura modelos aprendidos o analíticos en entornos novedosos donde la dinámica puede cambiar.

• Rigor Teórico: A diferencia de los métodos heurísticos de cuantificación de incertidumbre, LUCCa proporciona garantías no asintóticas de muestra finita sin asumir la forma de la dinámica real o la distribución de los errores.
• Utilidad Práctica: Al pasar de una calibración global a una local, el método genera regiones de predicción que son "afiladas" (ajustadas) en regiones de alta precisión del modelo y "adaptativas" (más grandes) en regiones de alta incertidumbre epistémica. Esto permite a los planificadores tomar decisiones informadas entre la exploración y la seguridad.
• Planificación Crítica para la Seguridad: El método permite la construcción de planes probabilísticamente seguros para sistemas con dinámica estocástica desconocida, asegurando que las trayectorias permanezcan dentro de conjuntos seguros con una probabilidad especificada por el usuario, incluso cuando el modelo es arbitrariamente erróneo en dominios no caracterizados.

Los autores concluyen que, si bien las garantías de seguridad de múltiples pasos están teóricamente probadas para dinámicas lineales bajo supuestos específicos del controlador, los resultados empíricos sugieren que el método proporciona una cobertura local robusta incluso para escenarios de planificación más complejos.