🤖 machine learning

Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge

Este artigo avalia a eficácia da Privacidade Diferencial contra ataques de inferência de associação no Aprendizado Federado, demonstrando que uma estratégia de ataque baseada em empilhamento consegue explorar vazamentos de privacidade significativos mesmo em configurações de baixa privacidade ( $\epsilon=200$ ) onde métodos tradicionais falham.

Autores originais: Gustavo de Carvalho Bertoli

Publicado 2026-04-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gustavo de Carvalho Bertoli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e seus amigos estão tentando aprender a cozinhar o prato perfeito, mas ninguém quer revelar a receita secreta da avó de casa. Vocês decidem usar uma técnica chamada Aprendizado Federado: cada um treina sua própria versão do prato em casa e envia apenas "dicas" (como "coloquei mais sal" ou "cozinhei por 5 minutos") para um chefe central, que mistura tudo para criar a receita final. Ninguém vê os ingredientes dos outros, apenas as dicas.

O problema? Mesmo sem ver os ingredientes, um "chef mal-intencionado" (o servidor central) pode tentar adivinhar se um ingrediente específico (por exemplo, o sal da sua avó) estava na sua receita original, apenas observando como o prato final ficou. Isso é chamado de Ataque de Inferência de Membro: descobrir se um dado específico foi usado para treinar o modelo.

Este artigo é como um relatório de um "teste de estresse" (Red Team) organizado pelo NIST (uma agência de padrões dos EUA) para ver se uma técnica de proteção chamada Privacidade Diferencial (DP) consegue impedir esse tipo de espionagem.

Aqui está a explicação simplificada do que eles fizeram e descobriram:

1. O Cenário: O Desafio do "Soybean" (Soja)

Os pesquisadores usaram dados genéticos de plantas de soja para prever a cor da casca da semente. É um dado muito complexo (milhares de genes) e com poucas amostras.

O Atacante: É o servidor central que reúne as dicas. Ele é desconfiado e tem acesso a algumas amostras de dados que não são das plantas dos clientes, mas que parecem com elas.
O Objetivo: Descobrir quais plantas específicas foram usadas por cada cliente para treinar seu modelo.

2. A Arma do Atacante: O "Time de Detetives" (Stacking)

Em vez de usar apenas um método para tentar adivinhar se um dado foi usado, o autor criou um time de detetives.

Imagine 7 detetives diferentes (algoritmos de inteligência artificial). Cada um olha para o prato final de um ângulo diferente:
- Um olha o "sabor" (probabilidade de previsão).
- Outro olha o "custo" (quão errado o modelo errou).
- Outros usam técnicas de árvores de decisão, redes neurais, etc.
Eles não decidem sozinhos. Um Chefe de Detetives (um meta-classificador) pega as opiniões de todos os 7, combina as pistas e toma a decisão final: "Sim, essa planta foi usada" ou "Não, não foi".
A vantagem: Mesmo que a proteção (Privacidade Diferencial) engane um ou dois detetives, o grupo inteiro ainda consegue pegar pistas sutis que um único método perderia.

3. O Escudo: A Técnica da "Neblina" (Privacidade Diferencial)

Para proteger os dados, os clientes adicionam um pouco de "ruído" ou "neblina" às suas dicas antes de enviar.

Sem Proteção (Sem DP): A neblina é zero. O prato final tem um sabor muito claro. O ataque funciona muito bem (53% de acerto, o que é alto para um teste de segurança).
Baixa Proteção (DP Baixo): Adiciona um pouco de neblina. O sabor fica um pouco confuso. O ataque ainda funciona, mas piora (cai para 38%). Curiosamente, o "Time de Detetives" ainda consegue ver mais do que um único detetive sozinho.
Alta Proteção (DP Alto): A neblina é tão densa que você mal consegue ver o prato. O ataque falha quase totalmente (cai para 24%, que é basicamente o mesmo que chutar ao acaso).

4. O Grande Dilema: Segurança vs. Utilidade

Aqui está a parte mais importante e o "pulo do gato" do artigo:

O Problema da Alta Proteção: Para conseguir a segurança máxima (onde o ataque falha totalmente), a neblina foi tão forte que o prato final ficou sem graça. O modelo de IA parou de aprender direito. A precisão do modelo caiu drasticamente. É como adicionar tanto sal e açúcar na receita que ela fica impossível de comer.
O Problema da Baixa Proteção: Se você quer que o modelo funcione bem (alta precisão), você precisa usar pouca neblina. Mas com pouca neblina, o "Time de Detetives" consegue ainda ver padrões e roubar informações privadas, mesmo que o modelo pareça seguro.

5. Conclusão Simples

O artigo nos ensina três lições principais:

Não confie apenas em um método de defesa: Se você usar apenas uma técnica simples de proteção, um ataque inteligente (como o time de 7 detetives) vai te pegar.
A proteção perfeita tem um custo: Para proteger totalmente os dados genéticos contra esse tipo de ataque, você precisa adicionar tanta "neblina" que o modelo de IA deixa de ser útil.
O equilíbrio é difícil: No mundo real (como em hospitais ou bancos), você precisa de um modelo que funcione bem e seja seguro. Este estudo mostra que, com a tecnologia atual, é muito difícil ter os dois ao mesmo tempo em cenários de dados genéticos complexos.

Em resumo: O "Time de Detetives" mostrou que, se a proteção não for extremamente forte, eles conseguem invadir a privacidade. Mas, se a proteção for extremamente forte, o sistema para de funcionar. O desafio futuro é encontrar um meio-termo ou criar novas defesas que não estraguem o "prato".

Título: Avaliação de Privacidade Diferencial contra Inferência de Membros em Aprendizado Federado: Insights do Desafio de Red Team de Genômica do NIST

1. Problema e Contexto

O Aprendizado Federado (FL) permite o treinamento de modelos de machine learning sem compartilhar dados brutos, sendo crucial para domínios sensíveis como saúde e genômica. No entanto, modelos treinados via FL permanecem vulneráveis a Ataques de Inferência de Membros (MIAs). Um MIA bem-sucedido permite que um adversário determine se um registro de dados específico foi utilizado no treinamento de um modelo, violando a privacidade dos indivíduos e expondo potenciais vazamentos de conformidade regulatória.

O artigo foca no cenário de Red Team do NIST (2025), onde um agregador central não confiável (malicioso) atua como adversário. O objetivo é avaliar a eficácia da Privacidade Diferencial (DP) como mecanismo de defesa contra MIAs em um cenário de dados genômicos de alta dimensão (variações de genes em plantas de soja), onde a escassez de amostras em relação às características ( $n \ll p$ ) favorece o overfitting e, consequentemente, a vazamento de informações.

2. Metodologia de Ataque Proposta

O autor propõe uma estratégia de ataque baseada em Stacking (Empilhamento) e aprendizado de meta-modelo, projetada para operar sob restrições de "caixa preta" (sem acesso a gradientes ou parâmetros internos).

Limitação do Cenário: O adversário não possui acesso aos dados privados de treinamento dos clientes nem pode treinar modelos de sombra (shadow models) tradicionais, pois o conjunto de dados auxiliar disponível é pequeno e ruidoso (mistura de membros e não-membros).
Arquitetura do Ataque:
1. Base Estimators (7 Modelos): O adversário consulta os modelos FL treinados e utiliza sete algoritmos de aprendizado de máquina diferentes (Rede Neural, Random Forest, Decision Tree, Gradient Boosting, KNN, SVM, Regressão Logística) para gerar probabilidades de pertencimento.
2. Sinais Múltiplos: Além das probabilidades dos 7 modelos, o ataque incorpora a Perda de Entropia Cruzada (Cross-Entropy Loss) do modelo alvo como um oitavo sinal.
3. Meta-Clasificador: Um modelo XGBoost atua como meta-estimator, treinado para aprender a combinar esses 8 sinais heterogêneos.
4. Adaptação de Domínio: Como o adversário conhece a veracidade dos membros apenas para um cliente específico (Cliente 4), o meta-modelo é treinado nesse cliente e depois ajustado (fine-tuned) para os outros clientes usando registros externos (garantidamente não-membros) para mitigar deslocamentos de distribuição.
5. Regra de Decisão: A atribuição de um registro a um cliente específico requer que a probabilidade supere um limiar percentil (55º) e seja significativamente maior (1,5x) que a média das probabilidades dos outros clientes.

3. Configuração Experimental

Dados: Conjunto de dados de genômica de soja (125.767 variantes de genes) dividido em 4 clientes.
Configurações de Privacidade (DP):
- Sem DP ( $\epsilon = \infty$ ): CNN padrão sem ruído.
- Baixa Privacidade ( $\epsilon = 200$ ): DP-SGD com clipping de gradiente em 2.0.
- Alta Privacidade ( $\epsilon = 10$ ): DP-SGD com clipping de gradiente em 2.0.
Ameaça: Agregador central malicioso com acesso a modelos treinados (caixa preta) e conjuntos de dados auxiliares (relevantes e externos).

4. Resultados Principais

Os resultados foram avaliados em um conjunto de teste cego (73 registros) e validados localmente no Cliente 4.

Desempenho Geral (Acurácia):
- Sem DP: O ataque proposto atingiu 53,42% de acurácia, superando significativamente as linhas de base (a próxima melhor foi 30,14%).
- Baixa DP ( $\epsilon = 200$ ): A acurácia caiu para 38,36%, mas ainda superou a maioria das linhas de base. Crucialmente, o ataque manteve vazamento mensurável onde linhas de base de sinal único (como LiRA simplificado) falharam.
- Alta DP ( $\epsilon = 10$ ): A acurácia caiu para 24,66%, convergindo para o limite de atribuição aleatória (~26%), indicando que o ruído DP efetivamente obscureceu os sinais de pertencimento.
Taxa de Verdadeiros Positivos (TPR) em Baixas Falsos Positivos (FPR):
- Sob Baixa DP ( $\epsilon = 200$ ), o ataque proposto manteve uma TPR de 30,77% com FPR $\le 1\%$ . Em contraste, a linha de base LiRA (baseada apenas em perda) caiu para 0,00%. Isso demonstra que a agregação de múltiplos sinais consegue extrair vazamentos residuais que métodos de sinal único não detectam.
- Sob Alta DP ( $\epsilon = 10$ ), ambos os métodos falharam (0,00% TPR).
Trade-off Privacidade vs. Utilidade:
- Simulações mostraram que, embora $\epsilon = 10$ proteja contra ataques, ele destrói a utilidade do modelo (acurácia de 16-47%, próxima ao aleatório) em cenários realistas de FL.
- $\epsilon = 200$ mantém boa utilidade (83-85%), mas não elimina completamente o risco de vazamento contra adversários sofisticados de múltiplos sinais.

5. Contribuições Chave

Ataque de Stacking sem Modelos de Sombra: Propõe uma metodologia de MIA que substitui a necessidade de modelos de sombra (impossível neste cenário) por um meta-aprendizado guiado por registros auxiliares, compatível com ameaças de agregador não confiável.
Caracterização Empírica de Vazamento Residual: Demonstra que, mesmo com orçamentos de privacidade "baixos" ( $\epsilon = 200$ ), ataques baseados em ensembles conseguem detectar membros com eficácia superior a métodos de sinal único, revelando que a acurácia média pode subestimar o risco real.
Benchmark Reprodutível: Avaliação em um conjunto de dados independente e público do NIST, estabelecendo uma linha de base para futuras pesquisas em MIAs em FL.

6. Significado e Conclusão

O estudo conclui que a Privacidade Diferencial (DP) é eficaz para mitigar MIAs, mas existe um dilema prático:

Níveis de DP que preservam a utilidade do modelo ( $\epsilon = 200$ ) não são suficientes para proteger contra adversários sofisticados que utilizam múltiplos sinais e técnicas de ensemble.
Níveis de DP que garantem segurança robusta ( $\epsilon = 10$ ) tornam o modelo inútil para aplicações práticas devido à degradação severa da precisão.

O trabalho sugere que, em domínios críticos como genômica, a DP sozinha pode ser insuficiente contra ataques de inferência avançados e que defesas complementares (como agregação segura ou perturbação de saída) podem ser necessárias para equilibrar privacidade e utilidade.