Resumen Técnico: Juego de Privacidad de Agentes Múltiples en Aprendizaje Federado: Una Visión Unificada de Campo Medio

1. Planteamiento del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos sin centralizar los datos brutos, pero los riesgos de privacidad persisten porque las actualizaciones de modelos compartidas pueden filtrar información sobre los conjuntos de datos locales mediante la inversión de gradientes y la inferencia de membresía. Los enfoques existentes para la preservación de la privacidad enfrentan un compromiso fundamental:

• Métodos de Estado-Control (p. ej., DP-SGD): Inyectan ruido calibrado en las actualizaciones de los clientes (actuando sobre el estado). Aunque son estándar, estos métodos sufren una acumulación polinómica del costo de privacidad a lo largo de las rondas de entrenamiento bajo la composición estándar.
• Métodos de Juego de Agentes Múltiples (p. ej., MAPG-DP): Formulan las elecciones de privacidad como un juego estratégico donde los clientes seleccionan sus propios presupuestos de privacidad. Sin embargo, computar el equilibrio de Nash se vuelve intratable a medida que aumenta el número de clientes ($N$), y estos métodos suelen depender de ruido Gaussiano agnóstico a la geometría.
• Métodos de Campo Medio (p. ej., MFEP): Asumen una población homogénea ($N \to \infty$) y utilizan flujos de gradiente de Wasserstein entrópico para lograr una decadencia exponencial de la privacidad. Sin embargo, no pueden acomodar preferencias de privacidad de clientes heterogéneos.

El artículo identifica una brecha: no existe un marco unificado que maneje simultáneamente la heterogeneidad de las preferencias de los clientes, escale a poblaciones arbitrariamente grandes ($N \to \infty$) y proporcione una computación de equilibrio tratable con fuertes garantías de privacidad.

2. Metodología

Los autores proponen MFPG (Juego de Privacidad de Campo Medio), un marco unificado que tiende un puente entre la teoría de juegos de agentes múltiples y los juegos diferenciales estocásticos de campo medio (MFG).

2.1 El Marco Unificado

El problema se formaliza como un juego diferencial estocástico de campo medio con cuatro componentes principales:

1. Estado ($X_t$): Un dato privatizado utilizado por un cliente para calcular actualizaciones locales.
2. Tipo ($\beta$): Un parámetro heterogéneo que representa la preferencia de privacidad de cada cliente.
3. Control ($\epsilon_k$): Un presupuesto de privacidad estratégico elegido por cada cliente desde una rejilla finita.
4. Dinámica: El estado evoluciona mediante una Ecuación Diferencial Estocástica (SDE) controlada. El artículo se centra en controles que actúan sobre el estado (datos/gradientes privatizados) en lugar de la salida del modelo, ya que esto último conduce a equilibrios degenerados donde la perturbación óptima es cero.

2.2 Mecanismos de Privacidad

El marco soporta dos mecanismos de ruido distintos:

• Mecanismo Gaussiano: Escala el ruido aditivo en gradientes recortados. La privacidad se rastrea mediante la Privacidad Diferencial de Rényi (RDP), lo que conduce a costos que se acumulan polinómicamente.
• Mecanismo Entrópico: La distribución del estado evoluciona mediante un flujo de gradiente de Wasserstein de una energía libre regularizada por KL. Este mecanismo aprovecha la contracción de la Desigualdad de Log-Sobolev (LSI). Cuando se cumple la condición $\alpha\epsilon^* > \lambda + G$ (donde $\alpha$ es la constante LSI, $\epsilon^*$ es el presupuesto, $\lambda$ es una penalización de varianza y $G$ es el límite del gradiente), el parámetro de privacidad $\delta_{dp}$ decae exponencialmente con las rondas de entrenamiento.

2.3 Construcción Teórica

• Comportamiento Límite: A medida que $N \to \infty$, la distribución empírica del estado converge a una medida determinista $\mu_t$ (propagación del caos). La interacción estratégica se simplifica: cada cliente interactúa con la población solo a través de una única estadística de campo medio escalar, $\bar{\epsilon} = \mathbb{E}[\epsilon]$.
• Equilibrio: Los autores demuestran la existencia de un Equilibrio de Nash de Campo Medio (MFNE) en una rejilla de acciones finita utilizando el teorema del punto fijo de Kakutani.
• Caracterización: El equilibrio se caracteriza por Ecuaciones Diferenciales Parciales (PDE) acopladas hacia adelante-atrás: una ecuación de Fokker-Planck-Kolmogorov (FPK) hacia adelante que describe la evolución del estado y una ecuación de Hamilton-Jacobi-Bellman (HJB) hacia atrás que describe la función de valor del control óptimo.

2.4 Implementación Algorítmica

El artículo propone un entrenamiento de ronda unificado (Algoritmo 1) donde los cuatro cuadrantes del espacio del problema difieren solo en bloques específicos:

• Actualización de Acción: En MFPG, los clientes resuelven un problema de optimización local para minimizar una función de desutilidad (pérdida + costo de privacidad) dada la estadística de campo medio actual $\bar{\epsilon}$.
• Actualización Local: Para los métodos entrópicos, esto se implementa mediante un paso JKO de Partícula–Sinkhorn, aproximando el flujo de gradiente de Wasserstein usando partículas y proyecciones de Sinkhorn.
• Contador: Los métodos entrópicos usan el límite de contracción LSI para rastrear $\delta_{dp}$, mientras que los métodos gaussianos usan RDP.

3. Contribuciones Clave

1. Marco de MFG Unificado: El artículo formaliza la preservación de la privacidad en FL como un estándar de juego diferencial estocástico de campo medio. Demuestra que DP-SGD, MFEP y MAPG-DP son casos especiales (límites de población homogénea, $N$ finito o sin juego) de este único marco.
2. Juego de Privacidad de Campo Medio (MFPG): Los autores introducen el MFPG, que admite un equilibrio tratable para un $N$ arbitrariamente grande mientras acomoda preferencias de privacidad heterogéneas ($\beta_k$). Demuestran la existencia del equilibrio y certifican $(\epsilon_{dp}, \delta_{dp})$-DP, mostrando que $\delta_{dp}$ se contrae exponencialmente bajo condiciones específicas.
3. Solucionador Común y Validación Empírica: Un único solucionador de Partícula–Sinkhorn JKO sirve a todas las variantes entrópicas. Los experimentos en regresión cuadrática, regresión logística y MNIST demuestran que el MFPG logra la utilidad del modelo base entrópico homogéneo (MFEP) mientras proporciona garantías de privacidad personalizadas que el modelo homogéneo no puede expresar.

4. Resultados Experimentales

Los autores evaluaron cuatro métodos a través de tres bancos de pruebas:

• Regresión Cuadrática: MFPG y MFEP mostraron una pérdida similar, pero el MFPG proporcionó garantías personalizadas. Los métodos gaussianos (DP-SGD, MAPG-DP) exhibieron costos de privacidad acumulados ($\epsilon$) más altos.
• Regresión Logística: El MFPG igualó la precisión de prueba del MFEP (46.0%) mientras reducía significativamente el costo de privacidad acumulado en comparación con DP-SGD. El MAPG-DP logró un costo de privacidad menor pero sufrió una caída en la utilidad (39.5% de precisión).
• MNIST (Alta Dimensionalidad): En este régimen, la condición de activación LSI ($\alpha\epsilon^* > \lambda + G$) no se satisfizo estrictamente. Consecuentemente, los métodos entrópicos (MFEP, MFPG) convergieron a la misma utilidad pobre que el azar, y la ventaja de la decadencia exponencial desapareció. Esto resalta la dependencia del régimen de los mecanismos entrópicos.

Observación Clave: Los dos ejes del marco (Heterogeneidad vs. Tamaño de la Población) tienen efectos separables. El mecanismo de ruido controla la forma de la decadencia de la privacidad (constante vs. exponencial), mientras que la heterogeneidad controla la distribución del presupuesto de privacidad. El MFPG combina con éxito la decadencia exponencial del MFEP con la heterogeneidad del MAPG-DP.

5. Significado y Reivindicaciones

El artículo afirma cerrar la brecha entre la teoría de juegos de agentes múltiples y el análisis de campo medio en el aprendizaje federado.

• Tractabilidad: Al pasar al límite de campo medio, el marco evita la intratabilidad de computar equilibrios de Nash para un $N$ grande que encuentra el MAPG-DP.
• Personalización: A diferencia del MFEP, que asume una población homogénea, el MFPG permite que los clientes con diferentes preferencias de privacidad seleccionen estratégicamente sus propios presupuestos, resultando en una garantía de privacidad personalizada.
• Decadencia Exponencial: El marco hereda la garantía de decadencia exponencial de los flujos entrópicos (vía contracción LSI), ofreciendo un perfil de privacidad a largo plazo más fuerte que la acumulación polinómica del DP-SGD estándar.
• Limitaciones: El artículo señala modestamente que en regímenes de alta dimensionalidad (como MNIST con modelos grandes) donde la condición de activación LSI no se cumple, la ventaja entrópica desaparece y los métodos convergen al rendimiento de los enfoques de ruido Gaussiano estándar. Los autores identifican las aproximaciones escalables de Sinkhorn como un paso futuro necesario para tales regímenes.

El trabajo posiciona al MFPG como la "pieza faltante" que unifica las líneas de trabajo previamente separadas en FL con preservación de la privacidad, proporcionando una estructura teórica y algorítmica única para analizar e implementar estrategias de privacidad a través de diferentes escalas y heterogeneidades de clientes.