On Discrete-Time Approximations to Infinite Horizon Differential Games

Resumen Técnico: Aproximaciones Discretas a Juegos Diferenciales de Horizonte Infinito

Enunciado del Problema
El artículo aborda la aproximación numérica de Equilibrios de Nash Markovianos (ENM) en juegos diferenciales no cooperativos de $N$ jugadores con horizonte infinito. En tales juegos, $N$ jugadores interactúan estratégicamente a lo largo del tiempo, donde cada jugador $i$ busca maximizar un funcional objetivo $W_i$ sujeto a una ecuación de dinámica de estado $\dot{x} = g(x, u_i, u_{-i})$. Los autores se centran en estrategias de retroalimentación de estado (markovianas), que se prefieren por su perfección en subjuegos (consistencia temporal) en comparación con los equilibrios de lazo abierto.

El desafío central es que los ENM se caracterizan por un sistema de $N$ ecuaciones acopladas de Hamilton-Jacobi-Bellman (HJB). Debido a la alta no linealidad y dimensionalidad de estas ecuaciones, las soluciones analíticas generalmente no están disponibles, excepto para modelos específicos lineales-cuadráticos o de estado lineal. En consecuencia, se requieren métodos numéricos. El artículo investiga si las aproximaciones en tiempo discreto y totalmente discretas (tiempo y estado) de estos juegos convergen a la solución en tiempo continuo y si los equilibrios discretos resultantes sirven como aproximaciones válidas (específicamente, equilibrios $\epsilon$-Nash) para el juego continuo original.

Metodología
Los autores emplean un enfoque de discretización semi-Lagrangiana, combinando la discretización temporal de la dinámica con una discretización correspondiente del funcional objetivo.

1. Aproximación en Tiempo Discreto (Semi-discreta):

   • El horizonte de tiempo continuo se discretiza con un tamaño de paso $h$.
   • La dinámica de estado se aproxima utilizando un esquema de Euler hacia adelante: $x_{n+1} = x_n + h g(x_n, u_{i,n}, u_{-i,n})$.
   • El funcional objetivo se aproxima utilizando la regla del rectángulo con un factor de descuento discreto $\beta_h = 1 - \rho h$.
   • Los autores analizan la convergencia de la función de valor discreta hacia la función de valor continua y establecen que un Equilibrio de Nash Markoviano del juego discreto constituye un equilibrio $\epsilon$-Nash para el juego continuo.

2. Aproximación Totalmente Discreta (Tiempo y Estado):

   • El espacio de estados se discretiza utilizando una triangulación de un poliedro acotado $\Omega$ con tamaño de malla $k$.
   • Se utilizan funciones afines a trozos para aproximar las funciones de valor y las estrategias en los nodos de la cuadrícula.
   • Se define un juego auxiliar utilizando operadores de interpolación ($I_k$) sobre el espacio de estados para manejar la dinámica de estado discreta.
   • El análisis se basa en definir un problema continuo auxiliar con estrategias interpoladas para acotar el error entre la solución totalmente discreta y la solución continua.

Contribuciones y Resultados Clave
El artículo proporciona demostraciones rigurosas de convergencia y estimaciones de error para los esquemas de discretización propuestos:

• Consistencia de las Funciones de Valor: Los autores demuestran que, a medida que el paso de tiempo $h \to 0$ (y posteriormente $k \to 0$ para el caso totalmente discreto), las funciones de valor de los juegos discretos convergen a la función de valor del juego diferencial continuo.
• Propiedad de Equilibrio $\epsilon$-Nash:
  • Teorema 3 y 6: Se demuestra que para cualquier $\epsilon > 0$, existe un parámetro de discretización suficientemente pequeño ($h$ o $h, k$) tal que el Equilibrio de Nash Markoviano del juego discreto es un equilibrio $\epsilon$-Nash para el juego continuo. Esto significa que ningún jugador puede obtener una ganancia superior a $\epsilon$ desviándose unilateralmente de la estrategia discreta en el entorno continuo.
  • Teorema 4 y 7: Bajo hipótesis más fuertes (específicamente con respecto a la tasa de descuento $\rho$ en relación con las constantes de Lipschitz de la dinámica y las funciones de costo), los autores derivan cotas de error explícitas. Muestran que el error de aproximación es de orden $O(h)$ para el caso en tiempo discreto y $O(h+k)$ para el caso totalmente discreto.
• Experimentos Numéricos: Los resultados teóricos se validan utilizando dos ejemplos:
  1. Un juego de contaminación transfronteriza (estructura lineal-cuadrática), donde los resultados numéricos confirman la convergencia de primer orden tanto para las funciones de valor como para las estrategias.
  2. Un juego diferencial tipo Lanchester (no lineal, no cuadrático), que también demuestra la convergencia de la función de valor y las estrategias a medida que disminuyen los parámetros de discretización.

Significado y Afirmaciones
El artículo afirma establecer una base teórica para el uso de métodos semi-Lagrangianos para resolver juegos diferenciales no cooperativos complejos. El significado principal radica en demostrar que los equilibrios discretos computacionalmente manejables no son meros artefactos numéricos, sino que están matemáticamente garantizados para aproximar los verdaderos equilibrios en tiempo continuo con precisión arbitraria.

Los autores señalan que, aunque las hipótesis requeridas para las cotas de error explícitas (como la condición $\rho > L$) son restrictivas, a menudo se satisfacen en aplicaciones prácticas, particularmente cuando la dinámica permanece dentro de un dominio acotado e invariante positivamente. El trabajo extiende resultados previos sobre control óptimo de un solo jugador al entorno de juegos multijugador, demostrando que el enfoque semi-Lagrangiano permanece robusto cuando están presentes interacciones estratégicas. El artículo concluye que estos métodos proporcionan una vía viable para calcular equilibrios de Nash markovianos en modelos donde las soluciones analíticas son imposibles.