Topology-Aware Differential Privacy in Federated Learning

Resumo Técnico: Privacidade Diferencial Ciente de Topologia em Aprendizado Federado

Declaração do Problema
O Aprendizado Federado (FL) protege os dados dos clientes transmitindo apenas atualizações de modelos, enquanto o DP-SGD (Gradiente Descendente Estocástico com Privacidade Diferencial) limita o vazamento de conteúdo por meio de clipping de gradiente e adição de ruído. No entanto, as defesas existentes operam exclusivamente sobre o conteúdo das atualizações e ignoram a informação revelada pela própria topologia de comunicação. Em implantações cross-silo (ex: consórcios hospitalares, grupos industriais), a estrutura da rede e a membresia organizacional criam canais de informação que o DP-SGD deixa sem tratamento. Um adversário passivo com conhecimento da topologia e da estrutura organizacional pode inferir propriedades de dados sensíveis — especificamente, a concentração de classes sensíveis dentro do conjunto de dados local de um cliente — mesmo quando as atualizações de parâmetros estão saturadas de ruído. O DP-SGD padrão aplica um multiplicador de ruído uniforme para todos os clientes, o que é subótimo quando a topologia da federação é assimétrica, pois falha em considerar a variável alavancagem estrutural que diferentes clientes possuem.

Metodologia
O artigo propõe uma abordagem de duas frentes: um modelo de ameaça formal com uma ferramenta de decomposição empírica (TADI) e um mecanismo de defesa principista (FULCRUM).

1. Modelo de Ameaça e TADI (Inferência de Distribuição Ciente de Topologia):
   Os autores formalizam uma ameaça onde um adversário observa atualizações de parâmetros, o grafo de comunicação $G$ e rótulos organizacionais $\omega$. Para quantificar empiricamente o vazamento, eles introduzem o TADI, um regressor treinado via sombra (shadow-trained) que decompõe as fontes de informação do adversário em quatro canais via ablação:

   • Canal de Parâmetros: Informação derivada puramente das atualizações de gradiente.
   • Canal Estrutural: Informação derivada da posição do cliente no grafo (grau, profundidade, centralidade).
   • Canal Organizacional: Informação derivada de rótulos de membresia organizacional.
   • Canal Combinado: A visão completa do adversário.
     O TADI é treinado em federações de sombra para estimar a concentração da classe sensível $p_i$ para cada cliente, permitindo que os autores meçam a contribuição marginal de informação de cada canal.

2. Limite Teórico e Defesa FULCRUM:
   Os autores derivam um limite de informação mútua (MI) por cliente (Teorema V.2) mostrando que o vazamento se separa aditivamente em:

   • Um termo de mecanismo controlável (limitado pelo ruído do DP-SGD).
   • Um piso de acoplamento de prior desconhecido determinado pela alavancagem estrutural do cliente $\ell^\circ_i$ (a previsibilidade estatística de pior caso dos dados de um cliente dado o restante da federação).

   Com base nisso, eles derivam o FULCRUM, uma alocação de ruído otimizada min-max equilibrada e de forma fechada (Teorema V.3). Ao contrário do DP-SGD uniforme, o FULCRUM aloca escalas de ruído $\sigma_i$ assimetricamente com base em escores de alavancagem estrutural. Ele minimiza estritamente o limite de MI de pior caso para todos os clientes sob um orçamento de utilidade fixo.

Principais Contribuições

1. Modelo de Ameaça Formal: Uma definição de inferência de distribuição condicionada à topologia, estabelecendo que a posição estrutural e a membresia organizacional atuam como canais de informação não tratados.
2. Limite de MI Aditivo: Uma prova teórica que separa o vazamento em um termo dependente de ruído controlável e um termo de acoplamento de prior estrutural não controlável.
3. Alocação FULCRUM: Uma estratégia de alocação de ruído de forma fechada que domina estritamente o DP-SGD uniforme sempre que a alavancagem estrutural é assimétrica e degenera exatamente para o DP-SGD uniforme quando a alavancagem é simétrica, garantindo segurança incondicional.
4. Decomposição TADI: A primeira caracterização empírica de vazamento condicionado à topologia, isolando contribuições de parâmetros, estrutura e organização via treinamento de sombra.
5. Validação Empírica: Avaliação abrangente em Fed-ISIC2019, Fed-Heart-Disease e CIFAR-10 sintética através de seis famílias de topologias.

Resultados

• Ganhos de Privacidade: O FULCRUM alcança ganhos de privacidade de até 1,967 nats (uma redução no limite de privacidade) em comparação ao DP-SGD uniforme em configurações assimétricas (ex: topologias hierárquicas com tamanhos de conjuntos de dados heterogêneos), sem custo mensurável para a utilidade do modelo.
• Consistência de Utilidade: Testes de equivalência estatística (TOST) confirmam que as melhorias de privacidade são alcançadas sem degradação praticamente significativa na precisão do modelo (diferença absoluta média < 0,5 pontos percentuais).
• Descobertas da Decomposição de Canais:
  • O canal de parâmetros é efetivamente limitado pelo DP-SGD em todas as configurações; o adversário de apenas parâmetros não performa melhor do que uma linha de base de média constante.
  • O canal de acoplamento de prior (estrutural/organizacional) é empiricamente alcançável quando o prior de sombra do adversário coincide com o prior de implantação (ex: em configurações sintéticas com alto acoplamento topologia-dados).
  • Sob modelos de ameaça cross-silo realistas onde o adversário carece de rótulos de partição nativos (priors desalinhados), o limite permanece conservador, e o termo de acoplamento de prior não é totalmente realizado.
• Sensibilidade à Topologia: A lacuna entre o FULCRUM e o DP-SGD uniforme escala com o grau de assimetria de alavancagem. Topologias simétricas (ex: anéis) resultam em zero de diferença, enquanto topologias assimétricas (ex: estrelas, árvores hierárquicas) mostram ganhos significativos.

Significância e Alegações
O artigo afirma ser o primeiro a tratar a topologia de comunicação como um canal de informação conhecido, explorável para inferir propriedades de dados sensíveis, e a derivar uma defesa que considere a resultante assimetria estrutural. Os autores afirmam que o FULCRUM oferece uma solução "segura para adoção incondicional": ele fornece melhorias estritas de privacidade em implantações assimétricas (o caso comum em FL cross-silo) e degenera graciosamente para a linha de base uniforme padrão em casos simétricos. O trabalho destaca que a alocação de ruído uniforme atual é subótima para implantações de FL no mundo real onde a alavancagem estrutural varia, e fornece um mecanismo principista para equilibrar orçamentos de privacidade de acordo com os riscos estruturais específicos de cada cliente.