No More Guessing: a Verifiable Gradient Inversion Attack in Federated Learning

Título: No More Guessing: Um Ataque de Inversão de Gradiente Verificável em Aprendizado Federado

1. O Problema

O Aprendizado Federado (FL) foi projetado para treinar modelos de machine learning de forma distribuída sem que os dados brutos saiam dos dispositivos dos clientes, compartilhando apenas atualizações do modelo (gradientes). No entanto, ataques de Inversão de Gradiente (GIA) demonstraram que é possível reconstruir dados de treinamento privados a partir desses gradientes compartilhados.

O artigo identifica uma lacuna crítica nas abordagens existentes, especialmente para dados tabulares (comuns em aplicações financeiras, de saúde e demográficas):

• Falta de Verificabilidade: Ataques anteriores (baseados em otimização ou modelos generativos) produzem reconstruções que podem ser incorretas ou ruídos. Em visão computacional e linguagem, um atacante pode usar inspeção humana para validar se a imagem ou texto reconstruído faz sentido. Em dados tabulares (números), não há semântica óbvia para validar a reconstrução sem conhecimento prévio do conjunto de dados.
• Limitações de Tamanho de Lote: Muitos ataques analíticos exigem que o tamanho do lote (batch size) seja menor que a dimensão de entrada, uma condição raramente atendida em dados tabulares reais.
• Incerteza: Até o momento, não existia um método que garantisse matematicamente que uma amostra reconstruída é idêntica à original, sem depender de heurísticas ou conhecimento prévio.

2. Metodologia: VGIA (Verifiable Gradient Inversion Attack)

Os autores propõem o VGIA, um ataque analítico que opera sob o modelo de ameaça de servidor malicioso. O servidor altera ativamente os parâmetros do modelo enviado aos clientes para forçar o vazamento de informações.

A abordagem baseia-se em uma visão geométrica e algébrica do vazamento de informações em camadas totalmente conectadas com ativação ReLU:

1. Isolamento Geométrico:

   • A fronteira de ativação de uma neurona ReLU define um hiperplano no espaço de entrada.
   • O atacante manipula os pesos e vieses para criar uma série de hiperplanos paralelos que "varrem" o espaço de dados.
   • O objetivo é isolar amostras individuais em "fatias" (regiões entre dois hiperplanos consecutivos).

2. Verificação Algébrica (O Núcleo da Inovação):

   • Diferente de métodos anteriores (como o algoritmo CTP) que apenas dividem o espaço até uma resolução $\epsilon$ arbitrária, o VGIA introduz um teste de verificação baseado em subespaço.
   • O atacante calcula vetores de "fatia" (combinações lineares das entradas dentro de uma região) a partir dos gradientes.
   • Proposição 4.1: Se um vetor de fatia de uma rodada anterior pertence ao subespaço gerado pelos vetores de fatia de múltiplas hiperplanos testados na rodada seguinte, isso prova matematicamente (com probabilidade 1) que a região contém exatamente uma amostra.
   • Isso elimina a necessidade de adivinhar parâmetros de parada ou inspecionar visualmente os dados.

3. Reconstrução Analítica:

   • Uma vez certificada a isolamento de uma única amostra, o atacante recupera o vetor de características ($x$) analiticamente, dividindo o vetor da fatia pelo fator de escala derivado da função de perda.
   • O valor alvo ($y$) é recuperado através de um passo de otimização leve, utilizando o vetor de características já conhecido.

4. Adaptabilidade:

   • O algoritmo descarta regiões vazias (vetor de fatia nulo) e foca apenas nas regiões onde há dados, otimizando o número de rodadas de comunicação necessárias.

3. Contribuições Principais

• VGIA: Introdução de um ataque analítico que fornece um certificado explícito de correção. O atacante sabe com certeza matemática quando uma reconstrução é válida.
• Recuperação Exata: O método consegue recuperar tanto as características de entrada quanto os valores alvo (em regressão) de forma exata, sendo a primeira prova de recuperação de alvos contínuos em cenários de regressão.
• Eficiência em Grandes Lotes: O ataque funciona eficazmente com grandes tamanhos de lote (batch sizes), superando limitações de métodos anteriores que exigiam lotes pequenos.
• Aplicabilidade Geral: Funciona tanto para dados tabulares (onde a validação humana é impossível) quanto para imagens, demonstrando robustez entre diferentes modalidades de dados.

4. Resultados Experimentais

Os autores avaliaram o VGIA em benchmarks tabulares (ACS Income, King County Housing, HARUS) e de imagem (CIFAR-10), comparando-o com o estado da arte (ataque CTP).

• Precisão e Verificabilidade:
  • O VGIA recuperou 100% das amostras corretamente em datasets tabulares com lotes de 2048 amostras, certificando a correção em cerca de 11 rodadas de comunicação.
  • O ataque CTP (baseado em heurística) falhou em isolar amostras corretamente quando o parâmetro $\epsilon$ não era perfeitamente ajustado, gerando reconstruções espúrias (falsos positivos) que o atacante não conseguia distinguir das reais.
• Eficiência:
  • O VGIA exigiu significativamente menos rodadas de comunicação para isolar todos os dados em comparação com o CTP, especialmente em cenários onde os dados estavam próximos no espaço de projeção.
  • Em cenários onde o CTP falhava (devido a $\epsilon$ mal ajustado), o VGIA continuava a buscar até isolar todos os pontos.
• Robustez: O ataque manteve sua eficácia mesmo em cenários de aprendizado federado com múltiplas atualizações locais (FedAvg), embora com uma leve degradação na precisão devido ao desvio do modelo local.

5. Significado e Impacto

• Risco de Privacidade Real: O trabalho desafia a percepção de que dados tabulares são menos vulneráveis a ataques de inversão de gradiente. Ele prova que, sem mecanismos de defesa robustos, dados numéricos sensíveis podem ser totalmente comprometidos.
• Mudança de Paradigma na Auditoria: Ao fornecer um certificado de correção, o VGIA estabelece um novo padrão para auditoria de privacidade. Antes, a avaliação de risco dependia de métricas estatísticas ou inspeção humana; agora, a vulnerabilidade pode ser provada matematicamente.
• Implicações para Defesas: A existência de um ataque verificável e eficiente força o desenvolvimento de novas defesas em FL que não apenas adicionam ruído (como DP - Privacidade Diferencial), mas que garantam a impossibilidade de isolamento geométrico ou a quebra da linearidade necessária para a inversão analítica.

Em resumo, o artigo "No More Guessing" demonstra que a privacidade em Aprendizado Federado para dados tabulares é mais frágil do que se pensava, oferecendo uma ferramenta matemática rigorosa para expor falhas de privacidade sem necessidade de conhecimento prévio ou validação humana.