The local Turnpike Property in Mean Field Control and Games with quadratic Hamiltonian

1. Énoncé du problème

Le papier étudie le comportement à long terme des solutions des systèmes de Jeux à Champs Moyens (MFG) et des problèmes de Contrôle à Champs Moyens (MFC) avec un Hamiltonien quadratique lorsque l'horizon temporel $T \to +\infty$.

Le système spécifique étudié est :
$$\begin{cases} -\partial_t u - \Delta u + \frac{|Du|^2}{2} - f(x, m) + \delta u = 0 & \text{sur } (0, T) \times \Omega \\ \partial_t m - \Delta m - \text{div}(m Du) = 0 & \text{sur } (0, T) \times \Omega \\ m(0, x) = m_0(x), \quad u(T, x) = u_T(x) & \text{sur } \Omega \end{cases}$$
où $\Omega$ est soit le tore plat $\mathbb{T}^n$, soit $\mathbb{R}^n$, et $\delta \geq 0$ est un facteur d'actualisation.

La question centrale :
Étant donné un équilibre stationnaire $(\bar{u}, \bar{m})$ résolvant le système stationnaire associé, dans quelles conditions cet équilibre attire-t-il les solutions dynamiques $(u, m)$ lorsque $T \to \infty$ ? Plus précisément, les auteurs visent à établir une propriété locale de turnpike : si les données initiales et terminales sont suffisamment proches de l'état stationnaire, la solution passe-t-elle la majeure partie du temps exponentiellement proche de $(\bar{u}, \bar{m})$ ?

Le défi :
Les résultats standards de turnpike dans la littérature sur les MFG reposent généralement sur la condition de monotonie de Lasry-Lions ($f_m \geq c > 0$), qui garantit l'unicité globale de l'état stationnaire et la stabilité globale. Ce papier aborde le cas plus difficile où la monotonie est absente, permettant l'existence de multiples états stationnaires et d'une éventuelle non-unicité. L'objectif est de prouver la stabilité pour des solutions stationnaires spécifiques sans supposer l'unicité globale.

2. Méthodologie

Les auteurs emploient une approche perturbative combinée à des estimations d'énergie et un argument de point fixe.

A. Linéarisation et symétrie

L'analyse tourne autour des perturbations $\mu = m - \bar{m}$ et $v = u - \bar{u}$. Les auteurs linéarisent le système autour de l'état stationnaire. Une observation cruciale est que pour l'Hamiltonien quadratique, le système linéarisé possède une propriété de symétrie spécifique due à l'identité $D\bar{m} = -\bar{m} D\bar{u}$.

Ils reformulent le système linéarisé comme un système hamiltonien impliquant les opérateurs $A$ et $BB^*$ :
$$\begin{pmatrix} \dot{\tilde{\mu}} \\ \dot{\tilde{v}} \end{pmatrix} = \begin{pmatrix} A - \frac{\delta}{2}I & -BB^* \\ -Q & -A^* + \frac{\delta}{2}I \end{pmatrix} \begin{pmatrix} \tilde{\mu} \\ \tilde{v} \end{pmatrix}$$
où $Q$ représente le terme de couplage $f_m$. Dans les cas monotones standards, $Q$ est défini positif. Ici, $Q$ peut ne pas être positif.

B. L'hypothèse clé (S)

Pour remplacer la condition de monotonie globale, les auteurs introduisent une hypothèse de stabilité locale (S) sur la solution stationnaire $(\bar{u}, \bar{m})$. Cette hypothèse se compose de trois parties :

1. Identité : $D\bar{m} = -\bar{m} D\bar{u}$ (valide pour les solutions stationnaires de Fokker-Planck).
2. Inégalité de Poincaré : $\bar{m}$ satisfait une inégalité de Poincaré pondérée.
3. Positivité stricte du second ordre : Il existe $\eta \in (0, 1)$ tel que pour tout $\mu$ de moyenne nulle :
   $$\int_\Omega \left( f_m(x, \bar{m})\mu^2 + \bar{m} \left| D\left(\frac{\mu}{\bar{m}}\right) \right|^2 + \delta \frac{\mu^2}{\bar{m}} \right) dx \geq \eta \int_\Omega \bar{m} \left| D\left(\frac{\mu}{\bar{m}}\right) \right|^2 dx$$
   Cette condition est interprétée comme la positivité de la valeur propre principale de l'opérateur stationnaire linéarisé. Elle est plus faible que la monotonie globale mais suffisamment forte pour assurer la non-dégénérescence locale.

C. Construction de la fonction de Lyapunov

Au lieu de s'appuyer sur la monotonie du couplage, les auteurs construisent une fonctionnelle de Lyapunov modifiée (notée $\Phi$ ou $\tilde{\Phi}$) :
$$\tilde{\Phi}(t) = \int_\Omega e^{-\delta t} \left( \mu v + \frac{\mu^2}{\bar{m}} \right) dx$$
En différentiant $\tilde{\Phi}$ et en utilisant la symétrie des opérateurs et l'hypothèse (S), ils déduisent une inégalité différentielle de la forme :
$$-\dot{\tilde{\Phi}}(t) \geq c \tilde{\Phi}(t)$$
Cette inégalité implique une décroissance exponentielle de la fonctionnelle, qui entraîne le comportement de turnpike. La preuve implique une gestion soigneuse des termes non linéaires d'ordre inférieur et du facteur d'actualisation $\delta$.

D. Estimations a priori et point fixe

1. Estimations $L^2$ : Ils établissent d'abord des estimations de décroissance exponentielle pondérée en $L^2$ pour $\mu$ et $Dv$ en utilisant la fonctionnelle de Lyapunov.
2. Estimations $L^\infty$ : En utilisant la théorie de la régularité parabolique (estimations de Schauder, transformée de Cole-Hopf pour l'équation de Hamilton-Jacobi), ils propagent la décroissance $L^2$ vers une décroissance $L^\infty$.
3. Argument de point fixe : Ils définissent une application $F$ sur un espace de fonctions proches de la solution stationnaire. En utilisant le théorème du point fixe de Leray-Schauder, ils prouvent l'existence d'une solution au système non linéaire satisfaisant les estimations a priori dérivées, à condition que les données initiales/terminales soient suffisamment petites.

3. Contributions clés

1. Assouplissement de la monotonie : Le papier établit avec succès une propriété locale de turnpike sans la condition de monotonie globale de Lasry-Lions. Cela permet l'étude de systèmes avec plusieurs équilibres stationnaires.
2. Stabilité locale via conditions spectrales : Les auteurs identifient que la positivité stricte de la valeur propre principale du système stationnaire linéarisé (Hypothèse S) suffit à garantir la stabilité exponentielle locale. Cela relie la théorie spectrale du problème stationnaire à la dynamique à long terme du problème dépendant du temps.
3. Exploitation de la symétrie : Le travail met en évidence comment la structure spécifique de l'Hamiltonien quadratique permet une symétrie dans les opérateurs linéarisés, essentielle pour construire la fonctionnelle de Lyapunov dans des contextes non monotones.
4. Existence de trajectoires stables : Le papier prouve que pour toute solution stationnaire satisfaisant (S), il existe au moins une trajectoire dynamique (pour des horizons finis et infinis) qui reste exponentiellement proche d'elle, à condition que les conditions aux limites soient suffisamment proches.

4. Résultats principaux

• Théorème 1.1 (Estimations a priori) : Sous l'hypothèse (S), si une solution $(u, m)$ est initialement proche de $(\bar{u}, \bar{m})$, elle satisfait une propriété de contractivité : la distance à l'état stationnaire décroît exponentiellement dans le temps (avec des taux dépendant de $\delta$ et de la dimension).
• Théorème 1.2 (Existence à horizon fini) : Sur le tore $\mathbb{T}^n$, si la distribution initiale $m_0$ et le coût terminal $u_T$ sont suffisamment proches de $\bar{m}$ et $\bar{u}$, il existe une solution classique $(u_T, m_T)$ au système MFG qui satisfait la propriété locale de turnpike exponentielle :
  $$\|m_T(t, \cdot) - \bar{m}(\cdot)\|_{L^\infty} \leq C (e^{-\sigma_1 t} + e^{-\sigma_2 (T-t)})$$
• Théorème 4.3 (Horizon infini) : En passant à la limite $T \to \infty$, les auteurs établissent l'existence d'un équilibre dynamique sur $[0, \infty)$ qui converge exponentiellement vers l'état stationnaire $(\bar{u}, \bar{m})$.

5. Signification et implications

• Avancement théorique : Ce travail comble le fossé entre la théorie du contrôle optimal (où les propriétés de turnpike sont bien étudiées) et les Jeux à Champs Moyens, en abordant spécifiquement le régime non monotone, prévalent dans de nombreux modèles physiques et économiques (par exemple, modèles avec congestion ou attraction-répulsion).
• Gestion de la non-unicité : Il fournit un cadre rigoureux pour analyser la stabilité dans des systèmes où plusieurs équilibres coexistent. Il clarifie que même si un système possède plusieurs états stationnaires, certains peuvent être localement stables et attractifs, à condition qu'ils satisfont une condition de non-dégénérescence (S).
• Applications : Les résultats s'appliquent à des modèles où le couplage $f(x, m)$ n'est pas monotone (par exemple, $f_m$ peut être négatif dans certaines régions), ce qui est courant dans les modèles de dynamique de foule avec attraction ou d'essaim biologique.
• Perspectives futures : Les auteurs notent que si l'Hamiltonien quadratique est crucial pour la symétrie utilisée ici, l'approche pourrait s'étendre à des Hamiltoniens plus généraux. Ils soulignent également la question ouverte de savoir si une propriété de turnpike globale peut exister en présence de multiples états stationnaires.

En résumé, Cirant et De Bernardi fournissent un cadre analytique robuste pour comprendre la stabilité à long terme des Jeux à Champs Moyens près des états stationnaires, dépassant l'hypothèse restrictive de la monotonie globale en exploitant les propriétés spectrales locales et la géométrie spécifique des Hamiltoniens quadratiques.