Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach

Título: Toma de Decisiones Jerárquica bajo Incertidumbre: Un Enfoque Híbrido de MDP y MPC con Restricciones de Probabilidad

1. Problema

Los sistemas autónomos operan en entornos dinámicos e inciertos compartidos con agentes humanos y robóticos. La toma de decisiones fiable requiere no solo percibir el entorno, sino también razonar sobre la incertidumbre conductual de los agentes circundantes (SA, Surrounding Agents). Esta incertidumbre se manifiesta en dos niveles acoplados:

• Nivel de maniobra: Intenciones discretas de alto nivel (cambio de carril, elección de ruta, asignación de tareas).
• Nivel dinámico: Variables continuas (velocidad, orientación, posición).

La literatura existente suele tratar la predicción de maniobras y la dinámica como subproblemas desacoplados, lo que limita la capacidad del sistema para razonar sobre el riesgo conjunto de manera coherente. Además, los enfoques basados en Model Predictive Control (MPC) existentes a menudo separan la selección de maniobras de la planificación de trayectorias dinámicas, sin integrar explícitamente las predicciones del entorno en el proceso de optimización, lo que puede llevar a decisiones incoherentes o inseguras.

2. Metodología

El artículo propone un marco de toma de decisiones jerárquico que integra Procesos de Decisión de Markov Híbridos (HMDP) con Control Predictivo Basado en Modelos (MPC).

• Modelado del Entorno (SA):

  • Se utiliza un HMDP para modelar a cada agente circundante. Este modelo distingue y modela conjuntamente la incertidumbre de nivel de maniobra (distribución de probabilidad sobre acciones discretas) y la incertidumbre dinámica (ruido gaussiano en la evolución del estado).
  • Se implementa un mecanismo de filtrado basado en probabilidad que descarta ramas de maniobras de baja probabilidad, generando un conjunto de predicciones multimodales compactas y plausibles.
  • Se construyen conjuntos de alcanzabilidad (reachability sets) que describen todas las evoluciones futuras plausibles de los agentes circundantes.

• Toma de Decisiones del Agente Ego (EA):

  • El agente ego también se modela mediante un HMDP, pero actúa como una estructura de decisión donde las opciones de maniobra discreta son variables de decisión vinculadas explícitamente a su modelo dinámico.
  • Esta estructura híbrida se incrusta en un marco MPC. Esto permite evaluar y hacer cumplir la factibilidad dinámica de cada maniobra dentro de la misma optimización, eliminando inconsistencias entre la planificación de alto nivel y el control de bajo nivel.

• Seguridad y Restricciones:

  • Las predicciones multimodales del entorno se incorporan al MPC mediante restricciones conjuntas de probabilidad (joint chance constraints).
  • Estas restricciones aseguran que el agente ego permanezca seguro con una probabilidad definida ($1-\epsilon$) frente a todas las interacciones plausibles de los agentes circundantes.
  • Bajo supuestos afines-gaussianos, estas restricciones probabilísticas se reformulan en restricciones deterministas algebraicas, haciéndolas computacionalmente tratables para tiempo real.

• Garantías Teóricas:

  • El marco establece garantías teóricas de factibilidad recursiva (si el problema es factible en $k=0$, lo será en todos los pasos futuros) y estabilidad asintótica hacia un modo objetivo, asumiendo la existencia de una política de referencia conservadora.

3. Contribuciones Clave

1. Modelado de Entorno HMDP: Desarrollo de un marco para modelar agentes circundantes que captura simultáneamente la incertidumbre de maniobra y dinámica, generando predicciones estructuradas y multimodales.
2. Marco Unificado HMDP-MPC: Creación de un marco de decisión para el agente ego que integra la selección de maniobras con la factibilidad dinámica y las predicciones del entorno mediante restricciones de probabilidad conjuntas.
3. Garantías de Estabilidad: Demostración teórica de la factibilidad recursiva y la estabilidad asintótica del esquema de decisión propuesto.
4. Validación Exhaustiva: Evaluación en escenarios de conducción autónoma en autopistas y entornos urbanos, comparando el rendimiento contra un enfoque basado en reglas.

4. Resultados

Las simulaciones se realizaron en escenarios de conducción en autopista y ciudad, evaluando tres casos de estudio:

• Caso 1 (Incertidumbre Lateral): El agente ego anticipa y se adapta a los cambios de carril inciertos de los vehículos circundantes, manteniendo distancias seguras y movimientos suaves. El sistema evita maniobras de adelantamiento inseguras y ajusta su trayectoria dinámicamente.
• Caso 2 (Incertidumbre Longitudinal): Se evalúa la respuesta ante variaciones de velocidad. El marco propuesto logra decisiones óptimas, acelerando o desacelerando proactivamente para mantener la seguridad.
  • Comparación con Baseline (Reglas): Al compararse con un método basado en reglas (IDM/MOBIL), el enfoque propuesto demostró mayor eficiencia (mayor distancia recorrida en el mismo tiempo) y seguridad. El método basado en reglas reaccionó tarde a un vehículo que aceleraba desde atrás durante un cambio de carril, forzando una frenada brusca, mientras que el MPC propuesto anticipó el riesgo y ajustó la maniobra proactivamente.
• Caso 3 (Análisis de Umbral de Riesgo): Se analizó el efecto del parámetro de tolerancia al riesgo ($\epsilon$). Los resultados mostraron que el marco permite un ajuste explícito entre conservadurismo y eficiencia: valores bajos de $\epsilon$ generan decisiones más tempranas y conservadoras, mientras que valores más altos permiten maniobras más agresivas pero eficientes.

5. Significado

Este trabajo es significativo porque cierra la brecha entre la predicción de comportamiento multimodal y la planificación de trayectorias segura. A diferencia de los enfoques tradicionales que separan la predicción de la planificación, este marco unificado permite:

• Razonamiento de Riesgo Coherente: Evaluar el riesgo conjunto de múltiples agentes y múltiples modos de maniobra simultáneamente.
• Autonomía Proactiva: Pasar de estrategias reactivas (basadas en reglas) a estrategias proactivas que anticipan interacciones futuras inciertas.
• Garantías Formales: Ofrecer garantías matemáticas de seguridad y estabilidad, lo cual es crucial para la implementación de sistemas autónomos en entornos reales.

En resumen, la propuesta demuestra que unificar la modelización de la incertidumbre conductual y dinámica dentro de un marco de optimización con restricciones de probabilidad conduce a sistemas autónomos más seguros, eficientes y adaptables.