Resumo Técnico: CE-FedGNN

Declaração do Problema

Redes Neurais em Grafos (GNNs) destacam-se na aprendizagem a partir de dados relacionais, mas enfrentam barreiras significativas na implantação no mundo real, onde os dados de grafos estão distribuídos entre múltiplas organizações (por exemplo, instituições financeiras) devido a regulamentações de privacidade (GDPR, CCPA) e políticas de segurança. Em tais cenários, as arestas frequentemente conectam nós pertencentes a diferentes clientes, criando dependências "entre-clientes".

As abordagens existentes de Aprendizagem Federada (FL) para grafos enfrentam um compromisso fundamental:

1. Ignorar Arestas Entre-Clientes: Métodos que tratam subgrafos locais como independentes perdem informações estruturais globais, levando a uma degradação da precisão.
2. Troca Frequente de Embeddings: Métodos que trocam embeddings de nós a cada iteração incorrem em sobrecarga de comunicação proibitiva.
3. Obsolescência e Deriva: Métodos de troca infrequente frequentemente falham em adaptar-se à deriva de representação, obscurecendo padrões globais.
4. Limitações de Privacidade: Embora a FL evite o compartilhamento de dados brutos, a troca de embeddings intermediários pode vazar informações sensíveis. A Privacidade Diferencial (DP) padrão aplicada a esses embeddings é frequentemente excessivamente conservadora, pois a sensibilidade $L_2$ no pior caso (o diâmetro do espaço de embeddings) força níveis de ruído que destroem a utilidade do modelo.

Metodologia: CE-FedGNN

Os autores propõem o CE-FedGNN, um framework projetado para ser eficiente em comunicação e preservador de privacidade para GNNs federadas. O método aborda os desafios através de três mecanismos principais:

1. Decomposição com Estimadores de Média Móvel

Para lidar com dependências entre-clientes sem comunicação frequente, o framework introduz uma estratégia de decomposição:

• Embeddings de Média Móvel: Em vez de trocar embeddings brutos a cada rodada, os clientes mantêm estimadores de média móvel das representações dos nós. Quando um cliente precisa do embedding de um vizinho hospedado por outro cliente, ele reutiliza o embedding de média móvel compartilhado mais recentemente.
• Restrição de Um-Hop: Este design restringe as interações entre-clientes a vizinhos de um-hop, eliminando a necessidade de amostragem entre-clientes de múltiplos hops.
• Estabilização de Gradiente: Um estimador de gradiente de média móvel é utilizado para reduzir a variância no gradiente descendente estocástico, contabilizando o erro de latência introduzido por embeddings obsoletos.
• Protocolo de Comunicação: Os clientes trocam apenas embeddings de nós de fronteira atualizados, parâmetros do modelo e estimadores de gradiente em intervalos infrequentes (a cada $K$ passos locais).

2. Privacidade Diferencial Métrica (Metric-DP)

Para fornecer garantias formais de privacidade para os embeddings liberados, os autores adotam o framework Metric-DP em vez da DP padrão:

• Privacidade Baseada em Distância: Em vez de proteger contra perturbações de entrada no pior caso, a Metric-DP mede a privacidade em relação à distância $L_2$ no espaço de embeddings aprendido.
• Modelo de Ameaça de Coorte Pública: O protocolo assume um adversário honesto, mas curioso, que observa todas as mensagens trocadas e a identidade dos nós atualizados (coorte) em cada rodada. Consequentemente, os autores não dependem de amplificação de privacidade via subamostragem, pois a incerteza do adversário sobre quais registros influenciaram uma liberação é zero.
• Injeção de Ruído: Ruído gaussiano é calibrado à distância $L_2$ no espaço de embeddings. A garantia de privacidade é parametrizada por uma distância $\rho$, definida através de uma construção no estilo de $k$-anonimidade (indistinguibilidade dos $k$ vizinhos mais próximos).

3. Análise de Convergência

Os autores estabelecem garantias teóricas para o problema de otimização composicional de múltiplas camadas:

• Taxa de Convergência: O algoritmo converge para um ponto estacionário a uma taxa de $O(1/\sqrt{T})$, onde $T$ é o número total de iterações locais.
• Complexidade de Comunicação: O método alcança essa convergência com $O(T^{3/4})$ rodadas de comunicação, reduzindo significativamente a sobrecarga em comparação com a troca por iteração.
• Impacto do Ruído: A análise teórica mostra que o limite de convergência depende graciosamente dos níveis de ruído, com o ruído de embedding ($\sigma_0$) entrando quadraticamente, sugerindo robustez a ruído moderado de preservação de privacidade.

Contribuições Principais

1. Framework de Decomposição: Um framework adaptado para GNNs federadas que utiliza estimadores de média móvel para embeddings de nós (não arestas) para reduzir variância e viés. Isso permite a reutilização de embeddings obsoletos entre-clientes, enquanto contabiliza explicitamente erros de latência, alcançando convergência de $O(1/\sqrt{T})$ com complexidade de comunicação de $O(T^{3/4})$.
2. Garantias de Metric-DP: A primeira aplicação de Metric-DP ao treinamento de GNNs federadas. Os autores fornecem garantias de composição $(\epsilon, \delta)$-Metric-DP via DP de Rényi sob um modelo de ameaça de coorte pública, resultando em garantias de privacidade significativas em níveis de ruído onde a DP padrão seria vazia.
3. Validação Empírica: Experimentos extensivos em benchmarks sintéticos de combate à lavagem de dinheiro (AML) e redes de citação do mundo real demonstram que o CE-FedGNN supera as bases existentes de GNNs federadas em desempenho preditivo, utilizando substancialmente menos rodadas de comunicação.

Resultados Experimentais

Os autores avaliaram o CE-FedGNN em:

• Benchmarks Sintéticos de AML: Gerados usando um simulador de transações realista com proporções ilícitas variáveis (Alta e Baixa) e escalas de conjunto de dados (Pequeno, Médio, Grande).
• Redes de Citação: Cora, Citeseer, PubMed e MSAcademic.

Descobertas:

• Desempenho: O CE-FedGNN superou consistentemente as bases (incluindo FedAvg, Swift-FedGNN, FedGCN e FedGNN-ST) em todas as escalas. Notavelmente, em configurações de baixa ilicitude com desequilíbrio de classes severo, métodos concorrentes frequentemente colapsaram para previsões triviais, enquanto o CE-FedGNN manteve desempenho robusto.
• Eficiência de Comunicação: Aumentar o intervalo de comunicação $K$ (até 1024) reduziu significativamente a frequência de comunicação com impacto limitado na precisão preditiva, validando a eficácia do mecanismo de média móvel.
• Compromisso Privacidade-Utilidade: Sob níveis variados de ruído gaussiano ($\sigma_0$) injetado nos embeddings, o modelo mostrou degradação graciosa. O CE-FedGNN permaneceu competitivo com o FedAvg mesmo sob ruído de embedding relativamente forte, demonstrando a robustez dos mecanismos de agregação e suavização.
• Ablação: A remoção do compartilhamento global de embeddings ou dos componentes de média móvel resultou em quedas substanciais de desempenho, confirmando a necessidade dessas escolhas de design.

Significado e Alegações

O artigo afirma que o CE-FedGNN conecta com sucesso a lacuna entre precisão de modelagem, eficiência de comunicação e privacidade na aprendizagem federada de grafos. Ao modelar explicitamente o acoplamento de grafos entre-clientes e adotar a Metric-DP, o framework permite treinamento colaborativo em grafos acoplados (como redes de transações interbancárias) sem compartilhar dados brutos.

Os autores enfatizam que sua abordagem produz garantias de privacidade significativas em níveis moderados de ruído onde a DP padrão falha em fornecer limites úteis devido à alta sensibilidade dos espaços de embeddings. Além disso, o método escala para grafos grandes e cenários dinâmicos, abordando as limitações de abordagens anteriores que dependiam de suposições de grafos estáticos ou decomposições de matrizes caras. O trabalho sublinha a importância de garantias formais de privacidade em sistemas de uso duplo, como detecção de fraude financeira, onde capacidades aprimoradas de detecção devem ser equilibradas contra riscos de vigilância.