Linear-Quadratic Gaussian Games with Distributed Sparse Estimation

Resumen Técnico

1. Planteamiento del Problema

Los juegos Lineales-Cuadráticos Gaussianos (LQG) son un marco fundamental para modelar interacciones estratégicas en sistemas multiagente, donde los agentes deben estimar estados del sistema a partir de observaciones ruidosas y tomar decisiones para minimizar un costo cuadrático. Sin embargo, las formulaciones tradicionales asumen que los agentes utilizan el conjunto completo de observaciones disponibles para formar sus estimaciones de estado.

En escenarios de gran escala o con restricciones de recursos (como en enjambres de robots), procesar o intercambiar todas las mediciones es impráctico debido a limitaciones de energía, computación y ancho de banda. El problema central abordado en este trabajo es: ¿Cómo incorporar esparsidad en la etapa de estimación dentro de juegos LQG distribuidos, de manera que se reduzca el consumo de recursos de comunicación sin degradar significativamente el rendimiento del control estratégico?

El desafío es particularmente complejo porque, a diferencia de los juegos deterministas, en los juegos LQG estocásticos el principio de separación (entre estimación y control) no se cumple generalmente, y las estrategias de equilibrio dependen del patrón de información disponible.

2. Metodología

Los autores proponen un marco que integra la selección de sensores (esparsidad) directamente en el diseño del estimador distribuido, manteniendo las estrategias de Nash de retroalimentación.

• Modelo del Sistema: Se considera un juego LQG discreto de horizonte finito con $N$ agentes. Cada agente $i$ tiene dinámicas lineales y acceso a observaciones individuales ruidosas ($y_t^i$), que pueden provenir de múltiples sensores.
• Estrategia de Control: Los agentes siguen estrategias de Nash de retroalimentación ($u_t^i = -\Gamma_t^i \hat{x}_t^i - \alpha_t^i$), donde $\hat{x}_t^i$ es la estimación del estado conjunto basada en sus observaciones locales.
• Diseño del Estimador Escaso (Group Lasso):
  • En lugar de utilizar todas las observaciones, el objetivo es seleccionar un subconjunto de sensores.
  • Se formula un problema de optimización basado en Group Lasso para diseñar las ganancias de estimación ($K_t^i$).
  • La función de costo combina un término de error cuadrático (para mantener la precisión de la estimación) y un término de regularización que penaliza la norma de los bloques de la matriz de ganancia correspondientes a grupos de sensores específicos.
  • Problema de Optimización:
    $$\min_{K_t^i} \| K_t^i (C_t^i \Sigma_t^{i-} C_t^{i\top} + V_t^i) - \Sigma_t^{i-} C_t^i \|_F^2 + \sum_{\rho} \lambda_{t}^{i\rho} \| K_t^i[\rho] \|_F$$
    Donde el segundo término promueve la esparsidad al forzar a cero bloques completos de la ganancia si el sensor no es informativo.
• Mecanismo de Reinicio (Reset): Se introduce un umbral de ratio ($r_{th}$). Si la norma de la ganancia esparsa de un sensor cae por debajo de cierto porcentaje de la ganancia óptima densa, el sistema fuerza un "reinicio" a la ganancia óptima densa. Esto garantiza que la calidad de la estimación no se degrade indefinidamente.
• Regularización Adaptativa al Control: Para el caso de observaciones interagentes (donde un agente observa a otro), se propone un esquema de regularización $\lambda$ que depende de la ganancia de control de Nash. Si el control del agente $i$ depende fuertemente del estado del agente $j$, la regularización es baja (se mantiene el sensor); si la dependencia es débil, la regularización es alta (se elimina el sensor).

3. Contribuciones Clave

1. Diseño de Estimador Distribuido: Se presenta un estimador de estado distribuido para juegos LQG que opera con mediciones locales y sigue estrategias de Nash, sin requerir intercambio de estimaciones entre agentes.
2. Marco de Esparsidad Promovido por Group Lasso: Se introduce un enfoque basado en Group Lasso para lograr esparsidad estructurada en las observaciones interagentes, formulando el problema como un programa cónico convexo resoluble.
3. Condiciones de Garantía de Reinicio: Se proporcionan condiciones suficientes que aseguran que, si la covarianza del error de estimación crece más allá de un nivel determinado por los parámetros de regularización, el mecanismo de reinicio activará automáticamente la ganancia óptima, evitando la degradación ilimitada de la estimación.
4. Validación en Juego de Formación: Demostración práctica en un juego de formación de tres robots, mostrando la compensación (trade-off) entre el ahorro de recursos de comunicación y el rendimiento de la trayectoria.

4. Resultados de las Simulaciones

Las simulaciones se realizaron en un juego de formación de tres robots (uno líder y dos seguidores) con dinámicas de doble integrador y ruido gaussiano.

• Efecto de la Regularización Estática: Se observó que aumentar el nivel de regularización ($\lambda$) reduce el uso de sensores (esparsidad), pero aumenta el error de estimación y degrada el rendimiento del control (desviación de la trayectoria).
• Rendimiento de la Regularización Adaptativa:
  • La estrategia adaptativa propuesta logró un mejor equilibrio que los niveles estáticos.
  • El robot líder (R1) priorizó sus propias mediciones y redujo la observación de los seguidores, ahorrando recursos.
  • Los seguidores (R2 y R3) mantuvieron una observación más frecuente del líder, reflejando la dependencia estratégica del líder en la dinámica del juego.
  • Resultado Final: La estrategia adaptativa permitió un seguimiento preciso de la trayectoria de referencia con una reducción significativa en el consumo de recursos de comunicación, afectando mínimamente las trayectorias de equilibrio nominales en comparación con el uso de todos los sensores.

5. Significado e Impacto

Este trabajo es significativo porque cierra una brecha importante en la teoría de juegos dinámicos estocásticos. Mientras que la esparsidad se ha estudiado en juegos deterministas, su aplicación en entornos LQG (con ruido y acoplamiento estimación-control) era inexplorada.

• Aplicabilidad Práctica: Ofrece una solución viable para sistemas multiagente con recursos limitados (drones, robots móviles, sensores IoT), permitiendo operar de manera eficiente sin sacrificar la estabilidad del sistema.
• Robustez: El mecanismo de reinicio garantiza que el sistema no colapse debido a una esparsidad excesiva, proporcionando una red de seguridad teórica.
• Eficiencia Estratégica: Demuestra que la selección de sensores no debe ser arbitraria, sino que debe adaptarse dinámicamente a la estructura de dependencia estratégica entre los agentes (quién necesita observar a quién para controlar su comportamiento).

En conclusión, el paper establece un nuevo paradigma para el diseño de estimadores en juegos multiagente, equilibrando la eficiencia de los recursos con la necesidad de precisión en entornos ruidosos y estratégicos.