Resumo Técnico: Jogo de Privacidade Multiagente em Aprendizado Federado: Uma Visão Unificada de Campo Médio

1. Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos sem a centralização de dados brutos, mas os riscos de privacidade persistem porque as atualizações de modelos compartilhadas podem vazar informações sobre conjuntos de dados locais via inversão de gradiente e inferência de pertencimento. As abordagens existentes para preservação de privacidade enfrentam um compromisso fundamental:

• Métodos de Controle de Estado (ex: DP-SGD): Injetam ruído calibrado nas atualizações dos clientes (atuando sobre o estado). Embora padrão, esses métodos sofrem com a acumulação polinomial de custos de privacidade ao longo das rodadas de treinamento sob composição padrão.
• Métos de Jogo Multiagente (ex: MAPG-DP): Formulam as escolhas de privacidade como um jogo estratégico onde os clientes selecionam seus próprios orçamentos de privacidade. No entanto, computar o equilíbrio de Nash torna-se intratável conforme o número de clientes ($N$) cresce, e esses métodos frequentemente dependem de ruído Gaussiano agnóstico à geometria.
• Métodos de Campo Médio (ex: MFEP): Assumem uma população homogênea ($N \to \infty$) e utilizam fluxos de gradiente de Wasserstein entrópico para alcançar um decaimento exponencial da privacidade. Contudo, eles não conseguem acomodar preferências de privacidade heterogêneas dos clientes.

O artigo identifica uma lacuna: não existe um framework unificado que lide simultaneamente com preferências heterogêneas de clientes, escale para populações arbitrariamente grandes ($N \to \infty$) e forneça computação de equilíbrio tratável com fortes garantias de privacidade.

2. Metodologia

Os autores propõem o MFPG (Mean-Field Privacy Game), um framework unificado que une a teoria de jogos multiagentes e os jogos diferenciais estocásticos de campo médio (MFG).

2.1 O Framework Unificado

O problema é formalizado como um jogo diferencial estocástico de campo médio com quatro componentes principais:

1. Estado ($X_t$): Um dado privatizado usado por um cliente para computar atualizações locais.
2. Tipo ($\beta$): Um parâmetro heterogêneo que representa a preferência de privacidade de cada cliente.
3. Controle ($\epsilon_k$): Um orçamento de privacidade estratégico escolhido por cada cliente a partir de uma grade finita.
4. Dinâmica: O estado evolui via uma Equação Diferencial Estocástica (SDE) controlada. O artigo foca em controles que atuam no estado (dados/gradientes privatizados) em vez da saída do modelo, pois esta última leva a equilíbrios degenerados onde a perturbação ótima é zero.

2.2 Mecanismos de Privacidade

O framework suporta dois mecanismos de ruído distintos:

• Mecanismo Gaussiano: Escala o ruído aditivo nos gradientes clipados. A privacidade é rastreada via Privacidade Diferencial de Rényi (RDP), levando a custos que se acumulam polinomialmente.
• Mecanismo Entrópico: A distribuição do estado evolui via um fluxo de gradiente de Wasserstein de uma energia livre regularizada por KL. Este mecanismo aproveita a contração da Desigualdade de Log-Sobolev (LSI). Quando a condição $\alpha\epsilon^* > \lambda + G$ é atendida (onde $\alpha$ é a constante LSI, $\epsilon^*$ é o orçamento, $\lambda$ é uma penalidade de variância e $G$ é o limite de gradiente), o parâmetro de privacidade $\delta_{dp}$ decai exponencialmente com as rodadas de treinamento.

2.3 Construção Teórica

• Comportamento de Limite: À medida que $N \to \infty$, a distribuição empírica do estado converge para uma medida determinística $\mu_t$ (propagação de caos). A interação estratégica simplifica-se: cada cliente interage com a população apenas através de uma única estatística de campo médio escalar, $\bar{\epsilon} = \mathbb{E}[\epsilon]$.
• Equilíbrio: Os autores provam a existência de um Equilíbrio de Nash de Campo Médio (MFNE) em uma grade de ações finita usando o teorema do ponto fixo de Kakutani.
• Caracterização: O equilíbrio é caracterizado por Equações Diferenciais Parciais (PDE) de sentido frente-atrás acopladas: uma equação de Fokker-Planck-Kolmogorov (FPK) direta descrevendo a evolução do estado e uma equação Hamilton-Jacobi-Bellman (HJB) reversa descrevendo a função de valor do controle ótimo.

2.4 Implementação Algorítmica

O artigo propõe uma rodada de treinamento unificada (Algoritmo 1) onde os quatro quadrantes do espaço do problema diferem apenas em blocos específicos:

• Atualização de Ação: No MFPG, os clientes resolvem um problema de otimização local para minimizar uma função de desutilidade (perda + custo de privacidade) dado o atual estatístico de campo médio $\bar{\epsilon}$.
• Atualização Local: Para métodos entrópicos, isso é implementado via um passo JKO Partícula–Sinkhorn, aproximando o fluxo de gradiente de Wasserstein usando partículas e projeções de Sinkhorn.
• Contabilista (Accountant): Métodos entrópicos usam o limite de contração LSI para rastrear $\delta_{dp}$, enquanto métodos Gaussianos usam RDP.

3. Principais Contribuições

1. Framework de Campo Médio Unificado: O artigo formaliza a preservação de privacidade em FL como um jogo diferencial estocástico de campo médio padrão. Demonstra que DP-SGD, MFEP e MAPG-DP são casos especiais (limites de população homogênea, $N$ finito ou sem jogo) deste framework único.
2. Jogo de Privacidade de Campo Médio (MFPG): Os autores introduzem o MFPG, que admite um equilíbrio tratável para $N$ arbitrariamente grande enquanto acomoda preferências de privacidade heterogêneas ($\beta_k$). Eles provam a existência do equilíbrio e certificam $(\epsilon_{dp}, \delta_{dp})$-DP, mostrando que $\delta_{dp}$ contrai exponencialmente sob condições específicas.
3. Solucionador Comum e Validação Empírica: Um único solver Partícula–Sinkhorn JKO atende a todas as variantes entrópicas. Experimentos em regressão quadrática, regressão logística e MNIST demonstram que o MFPG atinge a utilidade da linha de base entrópica homogênea (MFEP), enquanto fornece garantias de privacidade personalizadas que a linha de base homogênea não consegue expressar.

4. Resultados Experimentais

Os autores avaliaram quatro métodos em três benchmarks:

• Regressão Quadrática: MFPG e MFEP mostraram perda semelhante, mas o MFPG forneceu garantias personalizadas. Métodos Gaussianos (DP-SGD, MAPG-DP) exibiram custos de privacidade cumulativos ($\epsilon$) mais altos.
• Regressão Logística: O MFPG igualou o MFEP em acurácia de teste (46,0%), enquanto reduziu significativamente o custo de privacidade cumulativo em comparação ao DP-SGD. O MAPG-DP alcançou menor custo de privacidade, mas sofreu uma queda na utilidade (3,9,5% de acurácia).
• MNIST (Alta Dimensionalidade): Neste regime, a condição de ativação LSI ($\alpha\epsilon^* > \lambda + G$) não foi estritamente satisfeita. Consequentemente, os métodos entrópicos (MFEP, MFPG) convergiram para a mesma utilidade pobre do acaso, e a vantagem de decaimento exponencial desapareceu. Isso destaca a dependência de regime do mecanismo entrópico.

Observação Chave: Os dois eixos do framework (Heterogeneidade vs. Tamanho da População) têm efeitos separáveis. O mecanismo de ruído controla a forma do decaimento da privacidade (constante vs. exponencial), enquanto a heterogeneidade controla a distribuição do orçamento de privacidade. O MFPG combina com sucesso o decaimento exponencial do MFEP com a heterogeneidade do MAPG-DP.

5. Significância e Alegações

O artigo afirma fechar a lacuna entre a teoria de jogos multiagentes e a análise de campo médio no aprendizado federado.

• Tratabilidade: Ao mover-se para o limite de campo médio, o framework evita a intratabilidade de computar equilíbrios de Nash para $N$ grande encontrada no MAPG-DP.
• Personalização: Ao contrário do MFEP, que assume uma população homogênea, o MFPG permite que clientes com diferentes preferências de privacidade selecionem seus próprios orçamentos ideais, resultando em uma garantia de privacidade personalizada.
• Decaimento Exponencial: O framework herda a garantia de decaimento exponencial de fluxos entrópicos (via contração LSI), oferecendo um perfil de privacidade de longo prazo mais forte do que a acumulação polinomial do DP-SGD padrão.
• Limitações: O artigo nota modestamente que em regimes de alta dimensão (como MNIST com modelos grandes) onde a condição de ativação LSI não é atendida, a vantagem entrópica desaparece, e os métodos convergem para o desempenho das abordagens de ruído Gaussiano padrão. Os autores identificam aproximações Sinkhorn escaláveis como um passo futuro necessário para tais regimes.

O trabalho posiciona o MFPG como a "peça faltante" que unifica as linhas de trabalho anteriormente separadas de privacidade em FL, fornecendo uma estrutura teórica e algorítmica única para analisar e implementar estratégias de privacidade em diferentes escalas e heterogeneidades de clientes.