💻 computer science

FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters

Este artigo propõe o FLRSP, um método de aprendizado federado que preserva a privacidade e seleciona aleatoriamente parâmetros do modelo para atualizações globais, alcançando alta precisão na classificação de imagens e robustez contra ataques sem comprometer o desempenho.

Autores originais: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

Publicado 2026-05-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema do "Projeto em Grupo"

Imagine um grupo de alunos (clientes) que querem construir um robô superinteligente (uma Rede Neural Profunda) para reconhecer imagens. Todos eles têm seus próprios álbuns de fotos privados (dados sensíveis) que não querem compartilhar com ninguém, nem mesmo com o professor (o servidor central).

No Aprendizado Federado (FL), em vez de enviar as fotos para o professor, os alunos enviam apenas suas "anotações sobre o que aprenderam" (atualizações do modelo/gradientes) ao professor. O professor combina essas anotações para melhorar o robô e, em seguida, envia o robô aprimorado de volta aos alunos.

O Problema: Mesmo que não estejam enviando as fotos, um hacker astuto (ou um colega de classe bisbilhoteiro) às vezes pode olhar para as "anotações" e, matematicamente, reverter o processo para reconstruir as fotos originais. É como olhar para a lista de compras de um chef e adivinhar perfeitamente a receita secreta da família, ou até mesmo ver os ingredientes dentro da panela.

A Solução: FLRSP (O "Triturador Aleatório")

Os autores propõem um novo método chamado FLRSP (Aprendizado Federado Usando Parâmetros de Modelo Selecionados Aleatoriamente).

Pense no FLRSP como um Triturador Aleatório para as anotações dos alunos.

O Jeito Antigo: Cada aluno envia seu conjunto completo de anotações ao professor. Se um hacker interceptar isso, ele terá a imagem completa e poderá reconstruir a foto original.
O Jeito FLRSP: Antes de um aluno enviar suas anotações, ele pega um par de tesouras aleatório e corta (ou zera) uma seleção aleatória das anotações.
- Se um aluno decidir esconder 20% de suas anotações ( $R=0.2$ ), ele envia 80%.
- Se decidir esconder 80% de suas anotações ( $R=0.8$ ), ele envia apenas 20%.
- Crucialmente: Cada aluno corta partes diferentes das anotações, e eles mudam quais partes escondem toda vez que enviam uma nota.

Como Funciona (A Analogia)

Imagine que as "anotações" são um quebra-cabeça gigante representando o cérebro do robô.

Aprendizado Federado Padrão: Você envia o quebra-cabeça inteiro para o professor. Um hacker pode olhar para as peças e descobrir qual era a imagem na caixa.
FLRSP: Você envia o quebra-cabeça, mas removeu aleatoriamente 50% das peças e as substituiu por quadrados brancos em branco.
- O Trabalho do Professor: O professor recebe quebra-cabeças de 5 alunos diferentes. O Aluno A está faltando o canto superior esquerdo; o Aluno B está faltando o canto inferior direito; o Aluno C está faltando o meio. Quando o professor os combina, as peças faltantes de um aluno são preenchidas pelas peças de outro aluno. O professor ainda consegue montar um robô completo e funcional!
- O Trabalho do Hacker: O hacker tenta reconstruir a foto original a partir das anotações "trituradas" de apenas um aluno. Como muitas peças estão faltando (e substituídas por espaços em branco), a matemática do hacker falha. Ele não consegue mais ver o rosto na foto; parece apenas ruído estático.

O Que o Artigo Encontrou

Os pesquisadores testaram essa ideia em dois tipos de "robôs" (modelos de IA):

ViT (Vision Transformer): Um robô moderno e de alta tecnologia.
ResNet34: Um robô clássico e confiável.

Eles testaram contra dois tipos de hackers:

O Hacker "APRIL": Especializado em quebrar o robô moderno (ViT).
O Hacker "Otimização Adversarial": Um generalista que tenta reconstruir imagens a partir de robôs clássicos (ResNet).

Os Resultados:

Precisão: O robô ainda aprendeu quase perfeitamente. Mesmo quando os alunos esconderam muitas anotações (até 80%), o professor ainda conseguiu treinar um robô que reconhecia imagens tão bem quanto o método padrão.
Privacidade: Os hackers falharam. Quando tentaram reconstruir as fotos a partir das anotações "trituradas", as imagens saíram como bagunças borradas e irreconhecíveis. A "Semelhança Estrutural" (o quanto a foto falsa parecia a real) caiu para perto de zero.
Comparação: Outros métodos (como adicionar "ruído" às anotações, conhecido como Privacidade Diferencial) tornavam o robô mais burro (menor precisão) na tentativa de esconder os dados. O FLRSP manteve o robô inteligente e o tornou seguro.

Por Que Isso é Especial

Funciona para todos: Métodos anteriores de "trituração" funcionavam apenas para o robô moderno (ViT). O FLRSP funciona tanto para os robôs modernos quanto para os clássicos.
É dinâmico: Diferente de outros métodos que escondem permanentemente certas partes das anotações (como "pesos congelados"), o FLRSP muda quais partes são escondidas a cada vez. Isso garante que, eventualmente, o professor veja cada peça do quebra-cabeça, apenas não todas de uma só vez de qualquer aluno individual.

Em Resumo

O FLRSP é um truque inteligente onde os alunos em um projeto em grupo escondem aleatoriamente partes de suas tarefas antes de entregá-las. O professor ainda pode corrigir a turma inteira e melhorar o projeto final porque as partes faltantes de um aluno são cobertas pelas de outros. Mas um espião tentando roubar a tarefa de apenas um aluno não consegue nada além de um monte de páginas em branco, tornando impossível roubar a receita secreta.

Resumo Técnico: FLRSP – Aprendizado Federado Preservador de Privacidade Usando Parâmetros de Modelo Selecionados Aleatoriamente

1. Declaração do Problema

O treinamento de Redes Neurais Profundas (DNNs) de alta qualidade geralmente requer vastas quantidades de dados, frequentemente contendo informações sensíveis ou pessoais. Embora o Aprendizado Federado (FL) permita que múltiplos clientes treinem um modelo colaborativamente sem compartilhar dados brutos, ele permanece vulnerável a ataques de privacidade. Especificamente, atacantes podem reconstruir dados de treinamento originais a partir das atualizações de modelo compartilhadas (gradientes ou pesos) usando técnicas como o ataque de Vazamento de Privacidade por Atenção (APRIL) para Vision Transformers (ViT) e ataques de otimização adversarial para Redes Neurais Convolucionais (CNNs).

Métodos existentes de aprimoramento de segurança enfrentam limitações significativas:

Privacidade Diferencial (DP): Adiciona ruído às atualizações para resistir a ataques, mas inevitavelmente degrada a precisão do modelo.
Métodos de Posição Fixa: Eficazes para ViT ao zerar as atualizações de incorporação posicional, mas falham quando os modelos são treinados do zero (já que todas as camadas precisam ser atualizadas) e não são aplicáveis a CNNs.
Conceitos Anteriores de Seleção Aleatória: Trabalhos anteriores sobre gradientes selecionados aleatoriamente foram limitados a arquiteturas ViT e ao algoritmo de Descida de Gradiente Estocástica Federada (FedSGD).

O desafio central é desenvolver um método de FL preservador de privacidade que seja robusto contra ataques de restauração de imagem de última geração em diferentes arquiteturas (ViT e CNNs) e algoritmos (FedSGD e FedAvg) sem sacrificar a precisão de classificação.

2. Metodologia: FLRSP

Os autores propõem o Aprendizado Federado usando Parâmetros de Modelo Selecionados Aleatoriamente (FLRSP). Neste framework, cada cliente seleciona aleatoriamente um subconjunto de parâmetros de modelo (gradientes no FedSGD ou pesos no FedAvg) para compartilhar com o servidor central, substituindo os parâmetros não selecionados por valores zero.

Mecanismo Central

Seleção Aleatória: Antes da transmissão, cada cliente aplica uma sequência binária aleatória $B_{n,k,i}^l \in \{0, 1\}$ $B_{n, k, i}^{l} \in {0, 1}$ aos parâmetros do modelo $\theta_{n,k,i}^l$ $θ_{n, k, i}^{l}$ (ou pesos $W_{n,k,i}^m$ $W_{n, k, i}^{m}$ ).
- Se $B=1$ , o parâmetro é compartilhado.
- Se $B=0$ , o parâmetro é definido como zero.
- A probabilidade de ocorrência de zero é denotada como $R$ .
Agregação no Servidor: O servidor central agrega as atualizações recebidas. Crucialmente, a fórmula de agregação leva em conta a esparsidade introduzida pela seleção aleatória. Para FedSGD, a atualização do modelo global $w_{k,i}^{l+1}$ é calculada como:
$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$
(Se o denominador for zero, o parâmetro permanece inalterado). Isso garante que o modelo global seja atualizado usando apenas os gradientes não nulos, normalizando efetivamente a taxa de aprendizado com base no número de parâmetros participantes.
Sequências Dinâmicas: Diferentemente das abordagens de "pesos congelados" onde camadas específicas são permanentemente excluídas, o FLRSP usa sequências aleatórias diferentes para cada época (no FedAvg) ou lote (no FedSGD). Isso garante que todos os parâmetros sejam eventualmente atualizados ao longo do tempo, prevenindo perda permanente de informações.

Base Teórica

O artigo fornece uma análise de convergência mostrando que o FLRSP mantém propriedades de convergência estáveis semelhantes ao FL padrão. A taxa de aprendizado efetiva é ajustada pelo fator $(1 - RN)$, onde $N$ é o número de clientes. Como a taxa de aprendizado permanece positiva, o método é matematicamente provado para convergir.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

Método FL Novel: Uma nova abordagem para defender contra atacantes selecionando aleatoriamente parâmetros de modelo globais computados em servidores locais, aplicável tanto a arquiteturas ViT quanto CNN.
Generalização: A expansão do conceito de seleção aleatória (anteriormente limitado a ViT e FedSGD) para incluir FedAvg e arquiteturas ResNet.
Verificação Empírica: Experimentos abrangentes demonstrando que o FLRSP supera métodos de última geração (especificamente Privacidade Diferencial e Métodos de Posição Fixa) em termos tanto de robustez contra ataques quanto de precisão de classificação.

4. Resultados Experimentais

Experimentos foram conduzidos no conjunto de dados CIFAR-10 usando ViT (vit_small_patch16_224) e ResNet34 sob os protocolos FedSGD e FedAvg.

Precisão de Classificação

ViT: O FLRSP manteve precisão comparável ao FL padrão tanto para modelos pré-treinados ajustados quanto para modelos treinados do zero. Em contraste, o método de Posição Fixa sofreu degradação significativa de precisão ao treinar do zero porque impede atualizações na camada de incorporação posicional.
ResNet: O FLRSP alcançou alta precisão em vários valores de $R$ (0,2, 0,5, 0,8). Enquanto a Privacidade Diferencial (DP) mostrou degradação de precisão conforme a intensidade de privacidade ( $\epsilon$ ) aumentava, o FLRSP manteve desempenho próximo à linha de base.
Dados Não-I.I.D.: Sob distribuições de dados heterogêneas (distribuição Dirichlet, $\alpha=0,1$ ), o FLRSP manteve precisão mais alta que a DP.

Robustez Contra Ataques

O estudo avaliou a resistência contra dois ataques de última geração usando a Medida de Similaridade Estrutural (SSIM) entre imagens originais e restauradas:

APRIL (ViT): O FL padrão permitiu reconstrução visual completa. O FLRSP (mesmo com $R=0,2$ ) impediu efetivamente a reconstrução, alcançando robustez equivalente ao método de Posição Fixa.
Otimização Adversarial (CNN): O FL padrão e a DP (mesmo com baixo $\epsilon$ ) permitiram restauração significativa de imagem (valores de SSIM frequentemente > 0,6). O FLRSP reduziu drasticamente os valores de SSIM (frequentemente < 0,1), tornando a reconstrução visual quase impossível.
Comparação: O FLRSP consistentemente alcançou valores de SSIM mais baixos (indicando melhor privacidade) que a DP enquanto mantinha maior precisão de classificação.

5. Significado e Alegações

O artigo alega que o FLRSP aborda com sucesso o compromisso entre privacidade e utilidade no Aprendizado Federado. Ao selecionar parâmetros aleatoriamente, o método interrompe as equações matemáticas necessárias para ataques de restauração de imagem baseados em gradiente (especificamente quebrando a similaridade de cosseno na otimização adversarial e as equações de forma fechada no APRIL).

Os autores enfatizam que o FLRSP é uma solução generalizável aplicável a modelos arbitrários (incluindo ViT e ResNet) e algoritmos (FedSGD e FedAvg). Diferentemente de métodos anteriores que ou degradam a precisão (DP) ou são específicos de arquitetura (Posição Fixa), o FLRSP oferece um mecanismo de defesa robusto que preserva o desempenho do modelo. O estudo conclui que o FLRSP é um método de aprimoramento de segurança viável e eficaz para cenários práticos de aprendizado federado.