The optimal rate of convergence in mean field control via recoupled shadow flows

Resumen Técnico: La Tasa Óptima de Convergencia en el Control de Campo Medio mediante Flujos de Sombra Recoplados

Planteamiento del Problema
El artículo aborda el problema de la convergencia cuantitativa en el control de campo medio (MFC, por sus siglas en inglés). Específicamente, busca determinar la tasa aguda a la que la función de valor de un problema de control óptimo estocástico de $N$ partículas, denotada como $V^N(t, x)$, converge a la función de valor del correspondiente problema de control de campo medio, $U(t, m)$, cuando $N \to \infty$. El entorno involucra partículas que evolucionan en un toro $\mathbb{T}^d$ bajo movimientos brownianos independientes, con costos que son meramente Lipschitz continuos con respecto a la distancia de 1-Wasserstein ($d_1$).

El desafío central, identificado en el trabajo previo de Daudin, Delarue y Jackson [DDJ24], es la "desigualdad difícil": demostrar que $U(t, m^N_x) \leq V^N(t, x) + C r_{N,d}$. Mientras que la "desigualdad fácil" ($V^N \leq U + \dots$) se estableció utilizando copias independientes de controles de campo medio, la desigualdad difícil está obstruida por el hecho de que los controles de las partículas pueden estar arbitrariamente correlacionados, lo que impide que una ley de los grandes números desacople la medida empírica del flujo determinista de campo medio. Los intentos previos arrojaron tasas no agudas (por ejemplo, $N^{-2/(3d+6)}$) debido a la necesidad de regularización en los argumentos de comparación, los cuales fallaban bajo la mera continuidad Lipschitz de los costos.

Metodología: Flujos de Sombra Recoplados
El autor introduce una estrategia de prueba basada en la teoría de control que evita regularizar la función de valor de dimensión infinita o resolver la ecuación de Hamilton-Jacobi-Bellman en el espacio de Wasserstein. En su lugar, la prueba construye un "flujo de sombra" $\nu_t$ para cada realización de un control de $N$ partículas.

1. Construcción del Flujo de Sombra:

   • Partiendo de la medida empírica inicial, el flujo de sombra se define recursivamente en una rejilla temporal con malla $h$.
   • Entre los puntos de la rejilla, el flujo evoluciona mediante una ecuación de Fokker-Planck donde el drift es una combinación convexa de los controles realizados de las partículas. Crucialmente, los incrementos brownianos de las partículas se descartan y se reemplazan por suavizado por difusión (calor).
   • En cada tiempo de la rejilla $s_k$, los componentes del flujo de sombra se "recoplan" a las partículas mediante transporte óptimo. La masa del flujo de sombra se descompone en $N$ piezas de masa $1/N$ para minimizar el costo de transporte hacia las posiciones actuales de las partículas. Este recoplamiento es gratuito (no incurre en costo) y reinicia el error de acoplamiento.

2. Sombrear la Medida Empírica:

   • El resultado cuantitativo central es que el flujo de sombra sigue a la medida empírica $\mu^N_t$ al ritmo de la medida empírica óptima $r_{N,d}$.
   • El análisis del error descompone la diferencia entre los flujos en un desajuste de flujo y un término de ruido descartado (martingala).
   • El suavizado por calor convierte el desajuste de flujo en una singularidad integrable (ganancia parabólica) y limita el término de la martingala. Un argumento de Grönwall con singularidad débil cierra la estimación, mostrando que el error está acotado por $C(r_{N,d} + \sqrt{h})$. La optimización del tamaño de la rejilla $h$ produce la tasa aguda. El proceso de optimización de la rejilla $h$ produce la tasa aguda.

3. Transferencia de Costo:

   • Por la desigualdad de Jensen, el costo corriente del flujo de sombra está acotado por el promedio del costo de las partículas más un error de acoplamiento.
   • Dado que el flujo de sombra es un competidor admisible para el problema de campo medio (resolviendo la ecuación de Fokker-Planck con un drift acotado), el valor de campo medio $U$ está acotado superiormente por el costo esperado de este competidor, estableciendo la desigualdad difícil.

Contribuciones Clave y Resultados

1. Tasas Óptimas para $d \geq 2$:
   El artículo demuestra que para costos Lipschitz en $d_1$ (sin requerir semiconcavidad), la tasa de convergencia es exactamente la tasa de la medida empírica:
   $$|U(t, m^N_x) - V^N(t, x)| \leq C r_{N,d}$$
   donde $r_{N,d} = N^{-1/2}$ para $d=1$, $N^{-1/2}\sqrt{\log N}$ para $d=2$, y $N^{-1/d}$ para $d \geq 3$.

   • Esto confirma la conjetura de [DDJ24] y elimina su hipótesis de semiconcavidad.
   • Para $d \geq 2$, la tasa demostrada es óptima; no puede mejorarse incluso si los optimizadores de campo medio son no únicos o inestables.

2. El Caso Excepcional de Dimensión Uno ($d=1$):
   En dimensión uno, el referente de la medida empírica $N^{-1/2}$ no es óptimo. Las partículas cooperantes pueden lograr una tasa más rápida.

   • Límite Superior: El artículo construye un "flujo de sombra corregido" que utiliza un filtro anticipativo (basado en el ruido futuro) para amortiguar los modos de baja frecuencia del error, logrando una tasa de $N^{-4/7} \log^{1/7}(1+N)$.
   • Límite Inferior: Se construye un sistema de partículas competidor utilizando una ley de Gibbs con una temperatura inversa ajustada para equilibrar el costo de mantener la correlación frente a la reducción en la fluctuación empírica. Esto produce un límite superior coincidente.
   • Optimidad: Una estimación del estado fundamental de Schrödinger demuestra que el exponente polinomial $4/7$ es agudo. Las partículas cooperantes superan la tasa de muestreo independiente ($N^{-1/2}$) pero no pueden alcanzar la tasa completa de cuantización ($N^{-1}$) porque deben luchar contra su propia difusión.

3. Extensión a Ruido Común:
   Los resultados se extienden a sistemas con ruido común aditivo ($\sigma_0 dW^0_t$). La construcción del flujo de sombra se adapta congelando las trayectorias idiosincrásicas y condicionando sobre el ruido común. Las mismas tasas agudas se mantienen, con constantes independientes de la intensidad del ruido $\sigma_0$.

Significancia y Reivindicaciones
El artículo afirma resolver el problema abierto de la tasa de convergencia aguda en el control de campo medio bajo supuestos de regularidad mínima (costos Lipschitz).

• Cambio Metodológico: Se aleja de los argumentos de comparación basados en EDP en el espacio de Wasserstein (que requerían semiconcavidad y arrojaban tasas subóptimas) hacia una construcción directa de la teoría de control. El "flujo de sombra" actúa como un análogo difusivo cuantitativo del levantamiento sin ruido, manejando eficazmente la obstrucción causada por los ruidos brownianos independientes.
• Perspectiva Dimensional: El trabajo destaca una diferencia fundamental en dimensión uno, donde la interacción entre la energía de control y la difusión permite una tasa estrictamente situada entre el muestreo independiente y la cuantización completa.
• Robustez: Los resultados son globales, incluso cuando el problema de campo medio carece de optimizadores únicos o estables, cubriendo una clase más amplia de problemas que los resultados previos de regularidad local (por ejemplo, [CJMSS26]).

El artículo concluye que la tasa de la medida empírica es el referente correcto para $d \geq 2$ en la clase Lipschitz, mientras que $d=1$ exhibe un fenómeno único de "cooperación" que mejora este referente.