Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

Aquí presento un resumen técnico detallado del artículo "Optimal Modified Feedback Strategies in LQ Games under Control Imperfections" (Estrategias de Retroalimentación Modificadas Óptimas en Juegos LQ bajo Imperfecciones de Control), escrito por Mahdis Rabbani, Navid Mojahed y Shima Nazari.

1. Planteamiento del Problema

El trabajo aborda un desafío crítico en la teoría de juegos aplicada a sistemas de ingeniería: la brecha entre las estrategias teóricas de Equilibrio de Nash (EN) y su implementación práctica en sistemas reales.

• Contexto: Se estudian juegos lineales-cuadráticos (LQ) de suma no nula, con horizonte finito y tiempo discreto, involucrando a dos jugadores.
• El Problema: En la práctica, las estrategias de EN no se ejecutan con precisión absoluta debido a imperfecciones como retardos, dinámicas de actuadores (ej. lag de primer orden), ruido de medición y limitaciones físicas.
• La Pregunta Clave: ¿Cómo afectan las desviaciones de control de un jugador (Jugador 2) a la trayectoria del estado y al costo del otro jugador (Jugador 1), y cómo puede el Jugador 1 compensar estas desviaciones sin redefinir todo el equilibrio del juego?
• Limitación de enfoques previos: La mayoría de los trabajos existentes se centran en incertidumbre de modelo o en relajaciones de equilibrio ($\epsilon$-equilibrio), pero no analizan específicamente la sensibilidad a desviaciones de implementación de un jugador y el diseño de compensación para el otro.

2. Metodología

Los autores proponen un enfoque analítico y de diseño de control que se divide en tres etapas principales:

A. Análisis de Sensibilidad de Primer Orden

Primero, cuantifican matemáticamente el impacto de una desviación pequeña $\Delta u_{2,k}$ del Jugador 2 sobre el costo del Jugador 1 ($J_1$), asumiendo que el Jugador 1 mantiene su ley de retroalimentación de equilibrio (sin compensación).

• Derivaron expresiones cerradas para la perturbación del estado ($\Delta x_k$) utilizando matrices de transición de estado $\Phi(k, j)$.
• Obtuvieron una expansión de primer orden del cambio en el costo $\Delta J_1$, demostrando que la desviación del oponente afecta linealmente el costo del jugador afectado en el régimen de pequeñas perturbaciones.

B. Diseño de una Ley de Compensación (Control Feedback Compensado - CF)

Para mitigar estos efectos, proponen una ley de control para el Jugador 1 que no es un nuevo equilibrio de Nash, sino una política de compensación estructurada.

• Modelado de la Imperfección: Se asume que la desviación del Jugador 2 sigue una dinámica identificable (ej. un lag de primer orden discreto: $u_{2,k+1} = \alpha u_{2,k} + (1-\alpha)u^*_{2,k}$).
• Sistema Aumentado: El Jugador 1 modela la desviación como un estado adicional ($w_k$) en un sistema aumentado $z_k = [x_k^\top, w_k^\top]^\top$.
• Optimización: Se formula un problema de control óptimo LQ para el Jugador 1 sobre este sistema aumentado. El objetivo es minimizar su propio costo $J_1$ dentro de una clase de políticas afines causales de la forma:
  $$u_{1,k} = -K_k x_k - L_k w_k$$
  Donde $L_k w_k$ es un término de feedforward que compensa la desviación medida o estimada.
• Resolución: Se utiliza una recursión de Riccati acoplada en el sistema aumentado para obtener las ganancias óptimas $\{K_k, L_k\}$.

C. Análisis de Rendimiento Local

Se demuestra teóricamente que, para desviaciones suficientemente pequeñas, la política compensada (CF) es óptima localmente dentro de la clase de políticas afines y supera a la retroalimentación de referencia no compensada (REF) en un orden superior (segundo orden) en términos de magnitud de la desviación.

3. Contribuciones Clave

1. Análisis de Sensibilidad Discreto: Derivación de expresiones cerradas que caracterizan cómo las desviaciones de un jugador se propagan a través de la dinámica del sistema y afectan el costo del oponente en juegos LQ de tiempo discreto.
2. Diseño de Compensación Óptima: Propuesta de una ley de control que augmenta la dinámica nominal con la dinámica de la desviación. Se demuestra que esta política es única y óptima dentro de la clase de políticas afines causales.
3. Mejora de Rendimiento Local: Prueba matemática de que la estrategia compensada nunca es peor (y generalmente es mejor) que la estrategia de equilibrio no compensada para desviaciones pequeñas, recuperando una parte significativa del rendimiento perdido.
4. Validación Numérica: Demostración práctica mediante un ejemplo de dos carros acoplados por un resorte-amortiguador.

4. Resultados del Ejemplo Numérico

El estudio de caso involucra dos carros con masas iguales conectados por un resorte y amortiguador. El Jugador 2 sufre un lag de actuador (factor $\alpha \approx 0.9814$), mientras que el Jugador 1 prueba tres escenarios:

• Caso I (FNE): Ambos juegan el equilibrio perfecto (sin lag).
• Caso II (REF): Jugador 2 tiene lag; Jugador 1 usa su ley de equilibrio original (sin compensación).
• Caso III (CF): Jugador 2 tiene lag; Jugador 1 usa la ley de compensación propuesta.

Hallazgos cuantitativos:

• Impacto del Lag: Al pasar del Caso I al II, el costo del Jugador 1 ($J_1$) aumenta un 51.36%.
• Efectividad de la Compensación: Al aplicar la estrategia CF (Caso III), el costo del Jugador 1 se reduce a 439.67, lo que representa una mejora del 10.71% respecto al caso no compensado.
• Recuperación de Rendimiento: La estrategia CF recupera aproximadamente el 31.56% de la pérdida de rendimiento causada por el lag.
• Error Cuadrático Integral (ISE): El ISE del Jugador 1 se reduce un 41.28% con la compensación.
• Asimetría: Es importante notar que, aunque el Jugador 1 mejora su situación, el costo del Jugador 2 ($J_2$) aumenta ligeramente en el Caso III. Esto se debe a que la estrategia es óptima para el Jugador 1 dado que el Jugador 2 no cambia su comportamiento, no es un equilibrio social óptimo.

5. Significado e Implicaciones

Este trabajo es significativo por varias razones:

• Robustez Práctica: Proporciona una herramienta para implementar estrategias de teoría de juegos en entornos reales donde la precisión perfecta es imposible.
• Enfoque de "Mejor Respuesta" Adaptativa: En lugar de intentar calcular un nuevo equilibrio de Nash complejo para un juego modificado por dinámicas de implementación (lo cual sería computacionalmente costoso y teóricamente complejo), el método ofrece una solución de compensación óptima para un jugador específico.
• Aprovechamiento de Información Medible: Demuestra que si un jugador puede medir o estimar la desviación del oponente (o la perturbación inducida), puede utilizarla proactivamente para mejorar su propio rendimiento, transformando una imperfección en un dato útil para el control.
• Dirección Futura: Abre la puerta a investigaciones sobre estimación en línea de desviaciones y leyes de control adaptativo que se ajusten en tiempo real a los errores de ejecución de los oponentes.

En resumen, el artículo demuestra que es posible recuperar gran parte del rendimiento óptimo en juegos dinámicos mediante la compensación activa de las imperfecciones de implementación de los oponentes, utilizando un marco de control óptimo basado en sistemas aumentados.