Robust Receding Horizon Games with Additive Uncertainty

Resumen Técnico: Juegos de Horizonte Recesivo Robustos con Incertidumbre Aditiva

Formulación del Problema
Este artículo aborda el desafío de controlar sistemas multiagente que operan en entornos compartidos e inciertos. Los autores consideran un escenario con $N$ agentes, cada uno controlando un sistema lineal de tiempo discreto sujeto a perturbaciones aditivas acotadas. Los agentes deben satisfacer tanto restricciones privadas de estado/entrada como restricciones de acoplamiento compartidas que dependen de los estados y las entradas de los agentes vecinos.

A diferencia del control distribuido cooperativo, donde los agentes minimizan un objetivo global, este trabajo se centra en los Juegos de Horizonte Recesivo (RHG, por sus siglas en inglés). Aquí, cada agente es interesado en sí mismo y busca minimizar su propio costo de seguimiento (desviación de un objetivo de estado estacionario) mientras respeta las restricciones. La dificultad central radica en que los agentes no pueden revelar sus dinámicas, costos o restricciones privadas a otros, pero deben satisfacer colectivamente las restricciones compartidas bajo incertidumbre. El objetivo es diseñar un marco de control distribuido que garantice la factibilidad recursiva para todas las realizaciones de la perturbación y garantice la convergencia hacia un equilibrio de teoría de juegos.

Metodología
El marco propuesto integra el Control de Modelo Predictivo (MPC) basado en Tubos con la teoría del Equilibrio de Nash Generalizado (GNE). La metodología procede a través de los siguientes pasos:

1. Descomposición basada en Tubos:
   El estado y la entrada predichos de cada agente se descomponen en una trayectoria nominal y un componente de error ($x = s + e$, $u = v + K_p e$). La trayectoria nominal es la variable de decisión, mientras que la dinámica del error está gobernada por una ganancia de retroalimentación pre-estabilizadora $K_p$. Esta descomposición confina el estado real dentro de un "tubo" alrededor de la trayectoria nominal, definido por un conjunto invariante positivo robusto mínimo (mRPI) ($Z^\infty_i$).

2. Estrechamiento de Restricciones (Constraint Tightening):
   Para asegurar la satisfacción robusta de las restricciones a pesar de las perturbaciones, las restricciones originales se estrechan:

   • Restricciones Privadas: Los conjuntos de estado y entrada se estrechan mediante el conjunto mRPI y la ganancia pre-estabilizadora.
   • Restricciones Compartidas: Las restricciones compartidas se estrechan restando la contribución del peor caso de los términos de error de los vecinos. Crucialmente, esto se logra mediante un protocolo que preserva la privacidad donde los agentes transmiten únicamente términos de estrechamiento escalares (funciones de soporte de sus conjuntos mRPI) en lugar de sus funciones de costo o dinámicas completas.

3. Componentes Terminales:
   Para garantizar la factibilidad recursiva y la estabilidad, los autores construyen tres componentes terminales específicos:

   • Un costo terminal derivado de una Ecuación de Riccati de Tiempo Discreto (DARE).
   • Una ley de control terminal basada en la ganancia de retroalimentación óptima de la DARE.
   • Un conjunto terminal desacoplado positivamente invariante. Para manejar el acoplamiento en la restricción terminal sin requerir una coordinación completa, el límite compartido estrechado se divide en participaciones por agente. Cada agente impone la participación más restrictiva requerida por su participación en varios vecindarios.

4. Solución de Teoría de Juegos:
   En cada paso de tiempo, los agentes resuelven un problema de optimización de horizonte finito (un GNEP) en paralelo. La función de costo es un costo de seguimiento hacia un Equilibrio de Nash Generalizado variacional (vGNE) pre-calculado. El problema se resuelve utilizando algoritmos de división de operadores distribuidos, aprovechando el hecho de que el juego es un juego de potencial.

Contribuciones Clave
El artículo realiza tres contribuciones primarias:

1. Formulación de RHG Robusto: Formula un juego de horizonte recesivo robusto para sistemas lineales con perturbaciones aditivas y restricciones compartidas. Introduce un esquema de estrechamiento de restricciones basado en tubos donde los agentes solo intercambian términos de estrechamiento escalares, preservando la privacidad de sus dinámicas y costos locales, a diferencia de los esquemas cooperativos que intercambian trayectorias.
2. Garantías de Factibilidad Recursiva: Los autores construyen un conjunto específico de componentes terminales (costo basado en DARE, conjunto invariante desacoplado y un esquema de asignación de recursos para restricciones compartidas) que garantizan rigurosamente la factibilidad recursiva para cada realización de perturbación acotada.
3. Análisis de Estabilidad y Convergencia: Al explotar la estructura de juego de potencial, el artículo establece que la función de potencial actúa como una función de Lyapunov conjunta. Esto demuestra la convergencia asintótica de la trayectoria nominal de cada agente hacia el vGNE de estado estacionario. Además, muestra que la trayectoria real converge a un vecindario del vGNE determinado por el conjunto mRPI.

Resultados
El análisis teórico confirma que:

• Si el estado inicial es factible, el problema de optimización permanece factible en todos los pasos de tiempo futuros para cualquier realización de perturbaciones acotadas (Factibilidad Recursiva).
• Las trayectorias nominales de todos los agentes convergen asintóticamente al vGNE de estado estacionario.
• Las trayectorias reales de circuito cerrado convergen a un vecindario invariante positivo robusto mínimo (RPI) del vGNE de estado estacionario.
• Todas las restricciones privadas y compartidas originales se satisfacen de forma robusta para todas las realizaciones de la perturbación.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como la primera investigación rigurosa de juegos de horizonte recesivo bajo incertidumbre con estas garantías específicas. Destacan que los trabajos previos sobre RHGs dependían de modelos deterministas o restricciones de igualdad terminal, mientras que la literatura existente de MPC multiagente robusto se centraba en entornos cooperativos.

El artículo afirma su importancia al cerrar la brecha entre el control robusto y la teoría de juegos para agentes no cooperativos. Demuestra que es posible lograr la satisfacción de restricciones robustas y la estabilidad en un entorno distribuido y de interés propio sin necesidad de que los agentes compartan información sensible de sus modelos. Los autores señalan modestamente que extender estos resultados a costos económicos generales (donde los costos están acoplados) o incorporar restricciones de probabilidad sigue siendo un desafío abierto para investigaciones futuras.