Trajectory Planning for Safe Dual Control with Active Exploration

Resumen Técnico: Planificación de Trayectorias para Control Dual Seguro con Exploración Activa

1. Planteamiento del Problema

El control de sistemas robóticos bajo incertidumbre de modelo es un desafío fundamental. Existen dos enfoques tradicionales que presentan limitaciones:

• Planificación Robusta: Garantiza la seguridad considerando los peores casos de incertidumbre, pero ignora la reducción de dicha incertidumbre, lo que resulta en un comportamiento excesivamente conservador y un rendimiento degradado.
• Control Dual (Exploración Activa): Busca reducir la incertidumbre de los parámetros del modelo durante la ejecución de la tarea. Sin embargo, la mayoría de los enfoques actuales incorporan la exploración mediante términos ponderados en la función de costo. Esto carece de garantías formales sobre cuándo la exploración es beneficiosa y no asegura explícitamente la seguridad ni respeta un presupuesto de misión (costo máximo tolerable).

El problema central abordado en este trabajo es el Control Dual con Restricción de Presupuesto: ¿Cómo reducir activamente la incertidumbre paramétrica mediante exploración, garantizando al mismo tiempo el cumplimiento estricto de restricciones de seguridad y manteniendo el costo total de la misión dentro de un presupuesto predefinido (que limita la degradación del rendimiento de la tarea)?

2. Metodología: El Marco "Dual-gatekeeper"

Los autores proponen un marco arquitectónico llamado Dual-gatekeeper. A diferencia de los métodos que optimizan un compromiso implícito entre exploración y explotación, este marco trata la exploración como una decisión verificable.

Flujo de Funcionamiento:

1. Política de Respaldo Robusto (Backup): En cada ciclo de re-planificación, se calcula primero una trayectoria de respaldo conservadora que garantiza la seguridad bajo la incertidumbre actual (peor caso). Esta es la línea base segura.
2. Generación de Candidatos: Se generan dos tipos de segmentos de política para horizontes finitos:
   • Conservadores: Mantienen el comportamiento de respaldo.
   • Informativos: Diseñados específicamente para excitar el sistema y reducir la incertidumbre de los parámetros (ej. trayectorias que maximizan la información).
3. Filtrado y Verificación (Gatekeeper):
   • Seguridad: Se verifica si los candidatos informativos pueden ejecutarse de forma segura bajo la incertidumbre actual. Si no se puede certificar la seguridad, se descartan.
   • Presupuesto: Se calcula el costo predicho de ejecutar el candidato informativo frente al conservador. Si el costo adicional excede el presupuesto de exploración ($B_{exp}$), se descarta.
4. Selección y Compromiso: Entre los candidatos que son a la vez seguros y viables presupuestariamente, se selecciona aquel que ofrece la mayor reducción de incertidumbre predicha (descontada por la longitud del horizonte).
5. Ejecución y Actualización: El sistema ejecuta la política seleccionada. Al final del horizonte, se actualiza el conjunto de parámetros factibles utilizando Identificación por Miembro del Conjunto (SMID) con los nuevos datos, y el ciclo se repite.

Mecanismos de Seguridad Implementados:
El marco es modular y se demuestra con dos instancias de seguridad:

• Instancia 1 (Tube MPC): Utiliza Control Predictivo de Modelo basado en Tubos. La seguridad se garantiza manteniendo el estado real dentro de un "tubo" robusto alrededor de una trayectoria nominal.
• Instancia 2 (Gatekeeper de Seguridad): Utiliza una arquitectura de filtrado donde las trayectorias nominales (de alto rendimiento) se verifican mediante simulaciones de rollovers (rollouts) bajo incertidumbre. Solo se ejecutan si pasan una prueba de seguridad probabilística antes de comprometerse.

3. Contribuciones Clave

• Marco de Decisión Verificable: Introduce un enfoque donde la exploración no es un término ponderado en el costo, sino una decisión discreta que debe superar umbrales estrictos de seguridad y presupuesto.
• Garantías Formales: Proporciona pruebas teóricas de que el sistema mantiene la seguridad (cumplimiento de restricciones de estado y entrada) y la viabilidad del presupuesto de exploración en todo momento.
• Modularidad: Demuestra la flexibilidad del marco al integrarlo con mecanismos de seguridad dispares (Tube MPC y Gatekeeper de filtrado).
• Predicción de Reducción de Incertidumbre: Propone métodos para predecir cuánto se reducirá la incertidumbre antes de ejecutar una trayectoria, utilizando tanto simulaciones en paralelo como análisis de consistencia de datos.

4. Resultados Experimentales

El marco se validó en dos estudios de caso con incertidumbre paramétrica:

A. Navegación de Cuadricópteros (Instancia Tube MPC):

• Escenario: Un cuadricóptero con coeficientes de arrastre aerodinámico desconocidos.
• Resultados: El método propuesto logró reducir significativamente los límites de los parámetros desconocidos en tiempo real.
• Eficiencia: Logró un costo de misión del 82.5% (en comparación con la línea base conservadora al 100%) mientras se mantenía dentro del presupuesto de exploración del 110%. Esto demuestra que la reducción de incertidumbre permitió un comportamiento menos conservador y más eficiente.

B. Carreras de Coches Autónomos (Instancia Gatekeeper):

• Escenario: Un coche de carreras compitiendo en una pista con un coeficiente de fricción neumática-carretera ($\mu$) desconocido.
• Comparativa: Se comparó contra varias líneas base, incluyendo control nominal sin seguridad, control ponderado sin seguridad, y solo política de respaldo (fallback).
• Rendimiento:
  • Los métodos sin garantías de seguridad fallaron en un alto porcentaje de pruebas (30-80% de fallos).
  • El método propuesto (Dual-gatekeeper) logró un 100% de seguridad (todas las pruebas completadas sin colisiones).
  • Redujo el tiempo promedio por vuelta a 8.07 segundos (muy superior a las líneas base conservadoras de ~17s y comparable a métodos no seguros pero más rápidos).
  • Logró una reducción de incertidumbre del 95.5% utilizando solo el 23.8% del presupuesto de exploración asignado.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la seguridad rigurosa y la exploración activa en entornos de incertidumbre.

• Cambio de Paradigma: Mueve la exploración de ser una "apuesta" optimizada dentro de una función de costo a ser una "decisión certificada".
• Aplicabilidad Práctica: Permite a los sistemas robóticos aprender sobre su entorno dinámicamente sin arriesgar la seguridad o exceder los límites operativos de la misión.
• Escalabilidad: La arquitectura modular permite adaptar el sistema a diferentes dinámicas y requisitos de seguridad (desde drones hasta vehículos de alto rendimiento).

Limitaciones y Trabajo Futuro:
Los autores reconocen que el marco asume parámetros invariantes en el tiempo (no maneja bien la deriva de parámetros) y que la predicción de reducción de incertidumbre se basa en trayectorias planificadas, ignorando errores de seguimiento. El trabajo futuro se centrará en manejar parámetros variables en el tiempo y desarrollar métodos para cuantificar formalmente cómo la reducción de incertidumbre impacta el costo futuro de la misión, permitiendo presupuestos de exploración cero si la ganancia futura es garantizada.