Beyond Corner Patches: Semantics-Aware Backdoor Attack in Federated Learning

1. Problema e Motivação

O Aprendizado Federado (FL) permite treinar modelos de IA descentralizados sem compartilhar dados brutos, sendo fundamental para privacidade em dispositivos móveis e borda. No entanto, o FL é vulnerável a ataques de backdoor (ou "trojan"), onde nós maliciosos envenenam o modelo global para que ele classifique corretamente entradas limpas, mas falhe deliberadamente (classificando para uma classe alvo escolhida pelo atacante) quando uma "gatilho" (trigger) específico está presente.

Limitações das Avaliações Atuais:
A maioria das pesquisas atuais sobre backdoors em FL avalia a segurança usando gatilhos sintéticos, como pequenos quadrados ou padrões de pixels adicionados ao canto das imagens.

• Não Realismo: Esses gatilhos são facilmente detectáveis, estão fora da distribuição de dados (OOD) e não ocorrem na prática.
• Defesas Exageradas: Muitas defesas de agregação robusta (como Trimmed Mean ou MultiKrum) são projetadas para filtrar essas anomalias sintéticas, criando uma falsa sensação de segurança.

O Desafio:
O artigo propõe investigar se é possível realizar um ataque de backdoor em FL que seja:

1. Semântico e Plausível: O gatilho deve ser uma modificação natural e visualmente coerente (ex: adicionar óculos escuros a uma pessoa, um objeto sobre um sinal de trânsito).
2. Dentro da Distribuição (In-Distribution): A imagem modificada deve parecer uma foto real.
3. Evasivo: Deve sobreviver a mecanismos de agregação robusta e manter a precisão em dados limpos (benignos).

---

2. Metodologia: SABLE

Os autores propõem o SABLE (Semantics-Aware Backdoor for LEarning), um framework de ataque que combina gatilhos naturais com uma função de perda otimizada para o contexto federado.

A. Geração de Gatilhos Semânticos

Diferente de colar patches, o SABLE utiliza o modelo de edição de imagens baseado em instruções MGIE para modificar semanticamente as imagens:

• Exemplo 1 (CelebA): Adicionar "óculos escuros" a rostos de pessoas.
• Exemplo 2 (GTSRB): Adicionar um "boné azul" acima de um sinal de "Pare".
• Essas modificações são realizadas localmente no cliente malicioso, preservando a identidade do sujeito e o fundo, garantindo que a imagem editada permaneça na distribuição de dados real.

B. Organização de Dados no Cliente Malicioso

Cada cliente malicioso divide seus dados locais em três subconjuntos disjuntos:

1. Par (Paired): Imagens limpas e suas versões editadas (com gatilho), mantendo o mesmo ID de imagem base.
2. Apenas Limpo (Clean-only): Imagens originais para manter a precisão benigna.
3. Apenas Gatilho (Trigger-only): Imagens editadas rotuladas apenas com a classe alvo.

C. Função de Perda Maliciosa (Objetivo Aggregation-Aware)

O núcleo da inovação do SABLE é a função de perda combinada ($L_{mal}$) que otimiza o modelo local para ser eficaz, mas discreto:

$$L_{mal} = L_{tot}^{CE} + \lambda_{sep} L_{sep} + \lambda_{reg} L_{reg}$$

1. Perda de Classificação ($L_{tot}^{CE}$): Garante que o modelo aprenda tanto a tarefa original (nas imagens limpas) quanto o backdoor (nas imagens com gatilho).
2. Perda de Separação de Características ($L_{sep}$): Força uma separação no espaço de características (camada penúltima) entre a representação da imagem limpa e a imagem com gatilho. Isso ensina ao modelo a distinguir claramente a presença do gatilho sem alterar a representação da imagem base.
3. Regularização de Parâmetros ($L_{reg}$): Penaliza grandes desvios dos parâmetros do modelo global atual. Isso mantém a atualização do cliente malicioso "próxima" à média dos clientes benignos, evitando que defesas baseadas em distância (como MultiKrum) a filtrem como um outlier.
4. Mascaramento de Gradiente (Neurotoxin-style): Otimização adicional que atenua atualizações em parâmetros críticos para a tarefa benigna, escondendo o backdoor em um subespaço de baixa importância.

---

3. Contribuições Principais

1. Formulação do Problema Realista: Demonstra que ataques de backdoor com gatilhos semânticos e plausíveis são viáveis em FL, desafiando a suposição de que defesas contra patches sintéticos são suficientes.
2. Framework SABLE: Propõe um método que integra gatilhos naturais com uma otimização consciente da agregação, utilizando separação de características e regularização de parâmetros.
3. Avaliação Abrangente: Testou o ataque em dois conjuntos de dados reais (CelebA e GTSRB) sob múltiplos protocolos de agregação, incluindo defesas robustas avançadas (FedAvg, Trimmed Mean, MultiKrum, FLAME, FilterFL).

---

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de classificação de cor de cabelo (CelebA) e reconhecimento de sinais de trânsito (GTSRB).

• Eficácia contra Defesas Robustas:
  • Em cenários com MultiKrum e Trimmed Mean, ataques de backdoor "ingênuos" (baseados apenas em patches ou sem regularização) falharam drasticamente, com a Taxa de Sucesso do Ataque (ASR) caindo para níveis próximos de aleatoriedade (ex: ~52% no CelebA).
  • O SABLE, por outro lado, manteve ASRs altos (ex: 84.5% no CelebA e 98.4% no GTSRB) sob as mesmas defesas, enquanto mantinha a precisão em dados limpos (Clean Accuracy) próxima à de um treinamento benigno.
• Comparação com Baseline:
  • O SABLE superou consistentemente a baseline estilo Bagdasaryan em todos os cenários de agregação robusta.
  • Em FilterFL (uma defesa baseada em filtragem de conhecimento), o SABLE alcançou 87.8% de ASR no CelebA, enquanto a baseline ficou em 62.1%.
• Análise de Representação:
  • Visualizações UMAP mostraram que o SABLE cria uma separação clara e consistente no espaço de características entre amostras limpas e com gatilho, alinhando as amostras com gatilho fortemente à classe alvo, algo que a baseline não conseguia fazer de forma tão robusta sob agregação.
• Custo Computacional:
  • O ataque introduz um overhead computacional moderado (tempo de treinamento maior por cliente), mas os autores argumentam que em ambientes heterogêneos (onde clientes têm hardware diferente), esse overhead pode ser facilmente mascarado pelo atacante usando dispositivos mais rápidos.

---

5. Significado e Conclusão

O artigo conclui que a segurança do Aprendizado Federado está subestimada quando baseada apenas em testes com gatilhos sintéticos (patches de canto).

• Ameaça Real: Ataques que utilizam modificações semânticas plausíveis, combinadas com estratégias de otimização que "imitam" o comportamento benigno (via regularização e separação de features), conseguem contornar as defesas de agregação mais modernas.
• Implicações para Defesas: As defesas atuais, que focam em detectar outliers estatísticos ou distâncias de parâmetros, são insuficientes contra adversários adaptativos que entendem a dinâmica da agregação.
• Futuro: É necessário desenvolver novas defesas que raciocinem sobre mudanças semânticas e deslocamentos no espaço de representação, em vez de apenas filtrar atualizações baseadas em métricas de distância bruta.

Em resumo, o SABLE demonstra que um adversário pode injetar um backdoor persistente e altamente eficaz em um modelo global federado, mantendo-o indetectável para as defesas atuais, desde que o gatilho seja semanticamente coerente e a atualização do modelo seja cuidadosamente regularizada.