🤖 machine learning

Rethinking the Transferable Adversarial Attacks and Robust Defense in Federated Learning

Este artigo analisa a transferibilidade de exemplos adversários entre modelos de clientes em aprendizado federado para revelar vulnerabilidades do sistema e propõe um mecanismo de defesa robusto baseado em treinamento adversário que supera os métodos de estado da arte existentes.

Autores originais: Zuobin Xiong, Deval Mukherjee, Homook Cho, Wei Li

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zuobin Xiong, Deval Mukherjee, Homook Cho, Wei Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital moderno, nossos smartphones e dispositivos estão constantemente aprendendo conosco, prevendo a próxima palavra que digitamos ou reconhecendo nossa voz, tudo isso sem nunca enviar nossas fotos ou mensagens privadas para um servidor central. Isso é possível graças a um método chamado aprendizado federado, onde muitos dispositivos trabalham juntos para treinar um único modelo inteligente enquanto mantêm seus próprios dados trancados em seu hardware local. É uma forma poderosa de construir sistemas inteligentes que respeitam a privacidade, mas depende de uma confiança delicada: a de que cada dispositivo participante no treinamento é honesto e segue as regras. No entanto, assim como um trabalho em grupo pode ser sabotado por um único membro desonesto, este sistema distribuído é vulnerável a atacantes que podem tentar enganar o modelo para fazê-lo cometer erros. Embora pesquisadores venham há muito tempo se preocupando com atacantes que corrompem os próprios dados de treinamento, uma ameaça mais sutil surgiu: a capacidade de criar um único input cuidadosamente alterado que pode enganar muitas versões diferentes do modelo, mesmo que esses modelos tenham sido treinados em diferentes conjuntos de dados.

Uma equipe de pesquisadores partiu para entender esse perigo específico dentro do ambiente complexo do aprendizado federado. Eles focaram em um cenário onde um atacante, atuando como um dos muitos dispositivos participantes, cria um input enganoso projetado para causar um erro específico. O cerne de sua investigação foi determinar se um ataque elaborado em um dispositivo poderia viajar com sucesso através da rede para enganar outros dispositivos que nunca haviam visto o ataque antes. Esse fenômeno, conhecido como transferibilidade, havia sido observado em experimentos, mas os pesquisadores queriam entender a razão matemática por trás disso. Eles descobriram que o sucesso de tal ataque não é aleatório; está diretamente ligado ao quão semelhantes são as distribuições de dados entre o atacante e a vítima. Se os dados locais do atacante parecem estatisticamente semelhantes aos dados da vítima, o input enganoso tem muito mais probabilidade de atravessar o abismo e causar uma classificação incorreta. Por outro lado, se os cenários de dados são muito diferentes, o ataque perde seu poder. Essa descoberta desafiou a suposição de que esses ataques funcionariam igualmente bem contra qualquer alvo, revelando, em vez disso, que a composição específica dos dados em cada dispositivo atua como um escudo natural ou uma vulnerabilidade.

Para provar essa conexão, os pesquisadores analisaram a relação entre os parâmetros do modelo e as distribções de dados dos atacantes e das vítimas. Eles descobriram que a diferença na forma como os dados são distribuídos pela rede cria uma distância mensurável entre os modelos. Quando essa distância é pequena, significando que os dados são semelhantes, o ataque se transfere facilmente. Quando a distância é grande, o ataque falha. Esse insight permitiu que eles fossem além da simples observação para um entendimento teórico de por que alguns dispositivos são mais suscetíveis do que outros. Eles demonstraram que, em um cenário realista onde os dispositivos possuem tipos diferentes de dados, a eficácia de um ataque é limitada por essas diferenças. Isso significa que, em uma rede diversificada, um atacante não pode simplesmente assumir que seu truque elaborado funcionará em todos; a natureza específica dos dados da vítima determina o resultado.

Tendo identificado a causa raiz da vulnerabilidade, a equipe projetou um novo mecanismo de defesa para proteger o sistema. Em vez de tentar detectar o atacante ou filtrar atualizações ruins, eles focaram em tornar os próprios modelos mais robustos. Eles introduziram um método que atua como um filtro no início do processamento do modelo, removendo as características específicas que são mais facilmente manipuladas por esses inputs enganosos, enquanto mantém a informação útil central intacta. Esse processo é combinado com uma técnica de treinamento onde os modelos são expostos a esses inputs complicados durante sua fase de aprendizado, ensinando-os a reconhecer e ignorar o engano. Ao fazer isso, os modelos aprendem a depender de padrões mais estáveis em vez dos detalhes frágeis que os atacantes exploram. O resultado é um sistema que pode resistir a esses ataques transferíveis sem sacrificar sua capacidade de desempenhar bem em tarefas normais e cotidianas.

Os pesquisadores testaram suas ideias usando conjuntos de dados de imagens do mundo real, simulando uma rede de dispositivos com vários níveis de diversidade de dados. Em cenários onde os dados eram uniformes em todos os dispositivos, os modelos padrão colapsavam completamente quando confrontados com esses ataques, muitas vezes falhando em reconhecer imagens corretamente quase todas as vezes. O novo método de defesa, no entanto, manteve uma alta precisão, resistindo com sucesso aos ataques e mantendo o sistema funcional. Mesmo em cenários mais complexos e realistas, onde os dados eram altamente desiguais e enviesados, a defesa manteve-se forte, superando métodos existentes que eram anteriormente considerados os melhores disponíveis. Os experimentos confirmaram que, ao compreender a ligação entre a distribuição de dados e a transferibilidade de ataques, é possível construir sistemas de aprendizado federado que não são apenas privados, mas também resilientes contra manipulações sofisticadas. Este trabalho sugere que o caminho para uma inteligência artificial segura reside não apenas em bloquear atacantes, mas em compreender a estrutura fundamental dos dados que alimentam esses sistemas.

Resumo Técnico: Repensando Ataques Adversários Transferíveis e Defesa Robusta em Aprendizado Federado

1. Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes distribuídos sem compartilhar dados brutos, mas permanece vulnerável a ataques adversários. Embora a literatura existente cubra extensivamente ataques de envenenamento (poisoning) e ataques bizantinos, estes frequentemente dependem de suposições irreais (por exemplo, controlar 10–25% dos clientes ou assumir dados i.i.d.) que falham em cenários de FL em larga escala e no mundo real. Consequentemente, ataques de evasão usando exemplos adversários transferíveis apresentam uma ameaça mais prática e operável.

O problema central abordado é a transferibilidade de exemplos adversários em sistemas de FL, especificamente dentro da estrutura FedProx (escolhida por sua capacidade de lidar com heterogeneidade de sistema e estatística). Os autores investigam como um atacante, possuindo apenas seus dados e modelo locais, pode criar exemplos adversários que classificam incorretamente entradas em clientes vítimas com diferentes distribuições de dados locais e parâmetros de modelo. Além disso, o artigo aborda a falta de mecanismos de defesa eficientes e robustos contra tais ataques transferíveis em ambientes federados, observando que defesas existentes, como o Treinamento Adversário Federado (FAT), são computacionalmente dispendiosas e limitadas a ataques conhecidos.

2. Metodologia

A. Análise Teórica de Transferibilidade

Os autores fornecem um arcabouço teórico para quantificar a transferibilidade de exemplos adversários entre um atacante ( $A$ ) e uma vítima ( $V$ ).

Métrica: A transferibilidade é definida pela similaridade nos valores da função de perda: $\|l(f(w_A; x'), y) - l(f(w_V; x'))\|$ . Uma distância menor implica maior transferibilidade.
Teorema 1: O artigo deriva um limite superior para essa diferença de perda, demonstrando que a transferibilidade está positivamente correlacionada com a similaridade nas distribuições de dados locais entre o atacante e a vítima.
- O limite depende da constante de Lipschitz da função de perda, da taxa de aprendizado e da magnitude do gradiente.
- Crucialmente, o termo $\| \sum p_V(y_i=c) - p_A(y_i=c) \|$ indica que, à medida que a distribuição de dados da vítima diverge do atacante (ou seja, a distância aumenta), a transferibilidade do ataque diminui. Inversamente, distribuições semelhantes facilitam o sucesso da transferência.

B. Mecanismo de Defesa Proposto

Para mitigar esses ataques, os autores propõem um arcabouço de defesa robusto combinando Decomposição de Valores Singulares (SVD) e Treinamento Adversário:

Módulo de Evolução de Características Impulsionado por SVD (SDFEM):
- Implementado como um plug-in na camada de entrada dos modelos dos clientes locais.
- Ele decompõe os mapas de características de entrada ( $x = U\Sigma V^T$ ) e aplica uma máscara de evolução aprendível ( $M$ ) para reponderar os valores singulares ( $\Sigma \odot M$ ).
- Objetivo: Suprimir canais de características altamente sensíveis a perturbações adversárias enquanto retém características semânticas robustas. Isso efetivamente reduz o termo de gradiente máximo ( $G_{max}$ ) identificado na análise teórica, reduzindo a vulnerabilidade do modelo a ataques baseados em transferência.
Treinamento Adversário Federado:
- A função de objetivo local é modificada para otimizar conjuntamente os pesos do modelo ( $w_k$ ) e a máscara de característica ( $M_k$ ).
- Os clientes geram exemplos adversários ( $D_{adv}$ ) localmente usando um modelo substituto (ex: PGD) e treinam tanto em dados limpos quanto em exemplos adversários.
- A etapa de agregação global propaga essas características robustas através da rede, aumentando a resiliência do modelo global contra dados não vistos.

3. Principais Contribuições

Insight Teórico: Este é o primeiro trabalho, até onde os autores sabem, a analisar teoricamente a transferibilidade de exemplos adversários em FL. Estabelece um elo matemático entre o sucesso do ataque e o deslocamento da distribuição de dados entre clientes.
Arcabouço de Defesa Robusto: O design de um mecanismo de defesa (SDFEM + Treinamento Adversário) que é eficiente e eficaz contra ataques transferíveis sem exigir que o servidor possua um conjunto de dados limpo ou assuma dados i.i.d.
Validação Empírica: Experimentos extensos em conjuntos de dados do mundo real (CIFAR-10, SVHN) sob várias configurações (IID e Non-IID) validando a correlação teórica e demonstrando desempenho de defesa superior em comparação com as linhas de base de estado da arte.

4. Resultados Experimentais

Os autores avaliaram sua abordagem contra quatro ataques baseados em gradiente (VMIFGSM, BIM, VNIFGSM, DIFGSM) em arquiteturas VGG11 e WideResNet-28-10.

Verificação da Teoria (RQ1): Experimentos confirmaram uma correlação negativa entre a distância dos parâmetros do modelo e a Taxa de Sucesso de Ataque (ASR), significando que a ASR cai conforme a distância entre os modelos do atacante e da vítima aumenta. Além disso, experimentos mostraram que o gap de transferibilidade de ataque (a diferença nos valores de perda) aumenta conforme a distância da distribuição torna-se grande. Essa correlação positiva confirma que, conforme a distância da distribuição de dados entre o atacante e a vítima cresce, o ataque torna-se menos transferível, alinhando-se ao Teorema 1.
Desempenho da Defesa (RQ2):
- Configurações IID: Modelos FedProx padrão colapsaram sob ataque (ASR > 99%, acurácia < 1%). O método proposto superou significativamente o baseline de Treinamento Adversário Federado (FAT). Por exemplo, no CIFAR-10 com WRN28, o método proposto melhorou a acurácia robusta em +3,36 a +4,28 pontos percentuais sobre o FAT em diferentes ataques, mantendo uma acurácia de dados limpos comparável.
- Configurações Non-IID: Em ambientes heterogêneos, o método proposto continuou a superar o FAT. No CIFAR-10 (Non-IID) com WRN28, ele melhorou a robustez em aproximadamente +9 pontos percentuais sobre o FAT em todos os tipos de ataque.
- Comparação com Centralizado: A defesa federada proposta aproximou-se da robustez de um limite superior centralizado em vários cenários, sugerindo que restrições federadas não impedem necessariamente uma alta robustez.

5. Significância e Alegações

O artigo alega que a transferibilidade é uma dimensão de segurança crítica no Aprendizado Federado que está fundamentalmente ligada aos deslocamentos de distribuição de dados. Ao revelar essa relação, os autores argumentam que as defesas devem considerar a heterogeneidade dos dados dos clientes.

A significância do trabalho reside em:

Ir além de suposições irreais (como altas proporções de clientes maliciosos) para abordar ameaças de evasão práticas.
Fornecer uma base teórica para o porquê de os ataques serem transferíveis em FL, indo além de meras observações experimentais.
Demonstrar que a combinação de robustez ao nível de características (via SVD) e treinamento adversário federado pode assegurar efetivamente sistemas de FL contra exemplos adversários transferíveis, oferecendo um caminho viável para implantação robusta em ambientes heterogêneos do mundo real.

Os autores concluem que seus achados sugerem que defesas conscientes de robustez podem fortalecer substancialmente o FL em ambientes práticos, superando os métodos atuais de estado da arte tanto em configurações IID quanto Non-IID.