Resumo Técnico: Fed-Listing

Declaração do Problema

Redes Neurais em Grafos Federadas (FedGNNs) permitem a aprendizagem colaborativa entre clientes distribuídos, preservando a privacidade dos dados. No entanto, pesquisas recentes indicam que as atualizações de modelo compartilhadas, particularmente os gradientes, podem inadvertidamente vazar informações sensíveis sobre usuários locais. Embora vários ataques de privacidade (por exemplo, inferência de associação, inferência de propriedades e reconstrução de grafos) tenham sido explorados em FedGNNs, a Inferência de Distribuição de Rótulos (LDI) permanece pouco explorada neste contexto.

Ataques de LDI visam inferir a distribuição estatística dos rótulos de classe dentro do conjunto de dados privado de um cliente-alvo. Em dados estruturados em grafos, esse risco é amplificado pela homofilia, onde nós com rótulos semelhantes tendem a se conectar, fazendo com que correlações estruturais e de características revelem implicitamente a composição da comunidade. O vazamento da distribuição de rótulos pode expor traços demográficos sensíveis, comportamentos de usuários ou condições médicas (por exemplo, a proporção de exames com tumor positivo para exames normais em um hospital), levando a violações de privacidade e desvantagens competitivas.

Métodos existentes de LDI, como o Decaf, foram projetados principalmente para conjuntos de dados de imagens e dependem das magnitudes de mudança de gradiente na camada linear final. Esses métodos enfrentam dificuldades em FedGNNs porque os gradientes são influenciados não apenas pelos rótulos dos nós, mas também por estruturas vizinhas complexas e graus de nós desconhecidos, tornando a engenharia reversa direta não trivial. Além disso, ataques ativos concorrentes, como o EC-LDA, exigem que o servidor manipule os parâmetros do cliente, tornando-os detectáveis e disruptivos para a utilidade do modelo.

Metodologia: Fed-Listing

Os autores propõem o Fed-Listing (Inferência de Distribuição de Rótulos Federada em GNNs), um novo framework de ataque passivo e sigiloso projetado especificamente para cenários horizontais de FedGNN. O ataque assume um servidor "honesto, mas curioso" que tem acesso às atualizações de modelo compartilhadas (gradientes) e a um conjunto de dados auxiliar, mas não altera o processo de treinamento.

O ataque prossegue em três fases:

1. Particionamento do Conjunto de Dados Auxiliar:
   O atacante utiliza um conjunto de dados auxiliar ($D_a$) com distribuição e espaço de rótulos semelhantes aos dos clientes-alvo. Este conjunto de dados é particionado em subconjuntos usando quatro estratégias distintas para simular distribuições de clientes diversas:

   • Proporção igual: As classes são igualmente representadas.
   • Distribuição aleatória: As classes são atribuídas aleatoriamente (simulando cenários não-i.i.d.).
   • Classe única: Cada cliente possui amostras de apenas uma classe.
   • Classes ausentes: Certas classes estão ausentes de clientes específicos.

2. Treinamento Federado Sombra:
   O atacante constrói múltiplas instâncias de "aprendizado federado sombra" usando os dados auxiliares particionados. Durante essas rodadas de treinamento sombra, o atacante registra os gradientes da última camada ($g_r$) trocados entre os clientes sombra e o servidor. Esses gradientes são emparelhados com as distribuições de rótulos verdadeiros conhecidos dos clientes sombra para formar um conjunto de dados de ataque ($T_{attack}$).

3. Treinamento do Modelo de Ataque e Inferência:
   Um modelo de ataque baseado em rede neural (especificamente um MLP) é treinado em $T_{attack}$ para mapear atualizações de gradiente para distribuições de rótulos. O modelo minimiza uma função de perda composta que combina:

   • Norma L1 ($L_{L1}$): Mede a discrepância estatística entre as distribuições previstas e as verdadeiras.
   • Divergência de Jensen-Shannon ($L_{JS}$): Mede a sobreposição/separação entre as distribuições.

   Uma vez treinado, o modelo de ataque infere a distribuição de rótulos de um cliente vítima real analisando os gradientes recebidos durante o processo real de treinamento FedGNN.

Principais Contribuições

1. Novo Framework de Ataque: Introdução do Fed-Listing, o primeiro ataque LDI passivo e sigiloso especificamente adaptado para FedGNNs horizontais.
2. Pipeline de Treinamento Sombra: Um pipeline projetado usando um conjunto de dados auxiliar para explorar distribuições de dados heterogêneas, criando cenários de ataque diversos que mimetizam condições não-i.i.d. do mundo real.
3. Avaliação Abrangente: Experimentos extensivos conduzidos em quatro conjuntos de dados de referência (Cora, PubMed, Citeseer, Amazon Computers) e três arquiteturas de GNN (GCN, GraphSage, GIN).
4. Análise de Defesa: Análise empírica da resiliência do Fed-Listing contra três mecanismos de defesa amplamente adotados: Privacidade Diferencial (DP), gradientes ruidosos e compressão de gradientes.

Resultados Experimentais

Os autores avaliaram o Fed-Listing contra adivinhação aleatória e Decaf (adaptado para dados de grafos), bem como o ataque ativo EC-LDA (usado como limite superior).

• Desempenho: O Fed-Listing supera significativamente as linhas de base existentes em todos os conjuntos de dados e arquiteturas. Em cenários não-i.i.d. desafiadores (por exemplo, distribuições de classe única ou dominadas por uma classe), o Fed-Listing mantém alta precisão (por exemplo, Semelhança de Cosseno > 0,97 no Cora), enquanto o Decaf e a adivinhação aleatória mostram degradação significativa de desempenho.
• Eficiência: O modelo de ataque alcança desempenho superior usando gradientes da última camada em comparação com gradientes de todas as camadas, reduzindo o tempo de treinamento em até 479 vezes no conjunto de dados Amazon Computers, mantendo ou melhorando a precisão de inferência.
• Arquitetura do Modelo: Um modelo de ataque baseado em MLP foi encontrado tão eficaz quanto um modelo baseado em CNN, mas com significativamente menos parâmetros (~44 vezes menos), oferecendo uma solução mais eficiente.
• Resiliência à Defesa: Mecanismos de defesa existentes lutam para mitigar o Fed-Listing sem degradar severamente a utilidade do modelo.
  • Privacidade Diferencial (DP): O aumento do orçamento de privacidade ($\epsilon$) geralmente melhora a utilidade do modelo, mas também aumenta a eficácia do ataque, exceto em valores específicos baixos.
  • Gradientes Ruidosos: Níveis altos de ruído degradam tanto a precisão do modelo quanto a confiabilidade do ataque, mas níveis intermediários de ruído ainda permitem sucesso moderado do ataque.
  • Compressão de Gradientes: Embora a compressão reduza o sucesso do ataque em certos limiares (por exemplo, $\alpha=0,5$), ela exige uma compensação onde taxas de compressão mais altas melhoram a utilidade do modelo, mas podem não eliminar completamente o vazamento.

Significado e Alegações

O artigo afirma que o Fed-Listing expõe uma vulnerabilidade crítica nas implantações atuais de FedGNNs: o vazamento de distribuição de rótulos é um risco de privacidade significativo e pouco explorado. Os autores enfatizam que:

• O ataque é passivo e sigiloso, tornando-o difícil de detectar em comparação com ataques ativos que manipulam parâmetros de treinamento.
• Os mecanismos de defesa atuais são insuficientes; eles ou falham em impedir o ataque ou exigem perturbação tão forte que a utilidade do modelo global é severamente comprometida.
• As descobertas destacam a necessidade urgente de novos mecanismos de preservação de privacidade projetados especificamente para prevenir o vazamento de distribuição de rótulos em aprendizagem federada baseada em grafos, em vez de confiar em defesas projetadas para cenários centralizados ou baseados em imagens.

O trabalho conclui que compreender essas implicações de segurança é essencial para a implantação robusta de FedGNNs em sistemas sensíveis do mundo real, como saúde, sistemas de recomendação e pesquisa interinstitucional.