Safety Beyond the Training Data: Robust Out-of-Distribution MPC via Conformalized System Level Synthesis

Resumen Técnico: CP-SLS-MPC

1. El Problema

La planificación y el control robóticos basados en modelos aprendidos (aprendizaje de dinámicas) enfrentan un desafío crítico: garantizar la seguridad y la robustez cuando el sistema opera fuera de la distribución de los datos de entrenamiento (OOD - Out-of-Distribution).

• Limitaciones actuales: Los planificadores clásicos asumen modelos precisos, lo cual es irreal. Los planificadores basados en datos pueden explotar errores del modelo, llevando a comportamientos inseguros.
• Brechas existentes: Los métodos actuales que cuantifican el error (como los "tubos de alcanzabilidad") suelen ser conservadores, requieren una cobertura densa de datos y no pueden operar temporalmente fuera de la distribución sin degradar severamente el rendimiento o perder garantías de seguridad. Además, muchos no utilizan información de gradiente para optimizar activamente la reducción de la incertidumbre.

2. Metodología Propuesta: CP-SLS-MPC

Los autores proponen CP-SLS-MPC, un marco de control predictivo de modelo (MPC) robusto y basado en optimización rápida que combina dos técnicas principales:

A. Predicción Conformal Ponderada (WCP) para Límites de Error

• En lugar de asumir errores de modelo fijos o invariantes en el espacio, el método utiliza Predicción Conformal (CP) para generar límites de error de alta confianza que dependen del estado y del control.
• Se entrena un modelo de incertidumbre heurístico (una red neuronal que predice una matriz de covarianza) y luego se calibra mediante WCP.
• Ventaja clave: Los pesos en la calibración se ajustan según la distancia entre el punto de prueba y los datos de calibración. Esto permite que los límites de error se expandan (se vuelvan más conservadores) cuando el robot se aleja de los datos de entrenamiento (OOD) y se contraigan cuando está cerca de ellos.
• El resultado es un conjunto de predicción elipsoidal $E(z_k, v_k)$ que garantiza con alta probabilidad que el error real del modelo $\varepsilon(x, u)$ esté contenido dentro de él.

B. Síntesis a Nivel de Sistema (SLS) para Control Robusto

• Se integra el marco de Síntesis a Nivel de Sistema (SLS) en el MPC. SLS permite una parametrización convexa de la respuesta de lazo cerrado para sistemas lineales variantes en el tiempo (LTV).
• El problema de control se descompone en:
  1. Optimizar una trayectoria nominal $(z, v)$.
  2. Optimizar un controlador de seguimiento de perturbaciones (feedback) que mantiene el sistema dentro de un "tubo" de alcanzabilidad.
• Acoplamiento: Los límites de error obtenidos por WCP se utilizan para definir las perturbaciones acotadas en el modelo LTV. Esto permite "estrechar" (tightening) las restricciones del MPC de manera eficiente, asegurando que la trayectoria real (con errores) permanezca dentro de los límites de seguridad.

C. Reducción Activa de Incertidumbre

• El método incluye una función de costo adicional que penaliza la distancia a los puntos de datos de entrenamiento. Esto incentiva al planificador a elegir trayectorias que pasen por regiones donde el modelo es más preciso, reduciendo activamente la incertidumbre durante la ejecución.

3. Contribuciones Clave

1. Método de Optimización Rápida: Un algoritmo MPC basado en optimización que utiliza dinámicas aprendidas y garantiza seguridad probabilística de muestra finita mediante límites de error conformales dependientes del estado-control.
2. Garantías Teóricas: Análisis riguroso que proporciona garantías de seguridad de alta probabilidad y acota la "brecha de cobertura" (coverage gap) bajo deriva de distribución, demostrando que el sistema puede operar de manera segura temporalmente fuera de la distribución.
3. Validación Empírica: Demostración en sistemas no lineales de alta complejidad (un coche de 4D y un cuadricóptero de 12D), superando a las líneas base no robustas y a las que usan límites fijos.

4. Resultados Experimentales

Los autores evaluaron el método en simulaciones con dos sistemas principales:

• Coche Dubins (4D):

  • Escenarios OOD: Se probó en regiones donde los datos de entrenamiento eran escasos o inexistentes. Mientras que el MPC "Vanilla" (sin robustez) fallaba al no considerar el error, y el método con límites esféricos fijos (CP-Ball) era demasiado conservador o fallaba en evitar obstáculos, CP-SLS-MPC (CP-Ellipsoid) logró navegar con éxito.
  • Adaptabilidad: A medida que se recolectaban datos en línea, los límites de error se ajustaban rápidamente, permitiendo una ejecución más eficiente.
  • Reducción Activa: En experimentos donde se introdujo fricción y dinámicas atractivas en una zona no vista, el método con reducción activa de incertidumbre planificó rutas más largas pero más seguras, evitando la zona de alto error y reduciendo el volumen de los tubos de incertidumbre.

• Cuadricóptero (12D):

  • Se probó la escalabilidad a sistemas de alta dimensión. El método logró planificar trayectorias seguras alrededor de un obstáculo esférico en una región OOD caracterizada por una aceleración hacia abajo aumentada.
  • Comparativa: CP-SLS-MPC tuvo una tasa de éxito del 80% (8 de 10 intentos), mientras que el MPC Vanilla falló en el 60% de los casos (solo 4 éxitos). El método propuesto mantuvo una distancia segura al obstáculo, mientras que el Vanilla colisionó.

• Rendimiento Computacional:

  • Aunque el método es más costoso computacionalmente que el MPC Vanilla (debido a la optimización de los tubos), se ejecuta en tiempo real (aprox. 126 ms por paso en el coche, 222 ms en el cuadricóptero) utilizando el solucionador Acados y técnicas de programación convexa secuencial (SCP).

5. Significado e Impacto

Este trabajo representa un avance significativo en el control robótico seguro basado en aprendizaje:

• Seguridad en lo Desconocido: Permite a los robots operar de manera segura en entornos donde los datos de entrenamiento son insuficientes, algo crucial para aplicaciones del mundo real donde la cobertura de datos perfecta es imposible.
• Eficiencia vs. Conservadurismo: A diferencia de los métodos anteriores que eran excesivamente conservadores (evitando cualquier zona OOD), CP-SLS-MPC utiliza la estructura elipsoidal de la incertidumbre para ser menos conservador en direcciones de baja incertidumbre, permitiendo trayectorias más eficientes.
• Marco Unificado: Integra exitosamente la teoría de la inferencia conformal (para estadística de seguridad) con la teoría de control óptimo (SLS), ofreciendo garantías teóricas sólidas sin sacrificar la capacidad de replanificación en tiempo real.

En conclusión, CP-SLS-MPC ofrece un marco robusto que cierra la brecha entre el aprendizaje de dinámicas y la ejecución segura, permitiendo a los sistemas autónomos adaptarse y navegar con confianza más allá de los límites de sus datos de entrenamiento.