FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

Imagine um projeto de arte colaborativo massivo, onde milhares de artistas (chamados de "clientes") estão pintando um mural gigante (o "modelo global") juntos. Eles não podem compartilhar seus pincéis ou esboços reais porque querem manter seus segredos seguros, então eles apenas enviam ao servidor uma pequena nota dizendo: "Eu acho que o céu deveria ser mais azul". O servidor mistura todas essas notas para atualizar o mural. Isso é Aprendizado Federado (Federated Learning).

Mas há um problema sorrateiro. Um grupo de sabotadores quer enganar o mural. Eles não querem arruinar a imagem inteira; eles apenas querem garantir que, se alguém pintar um padrão pequeno e específico (como um ponto vermelho), a árvore subitamente se transforme em um monstro gigante e gritante. Isso é um Ataque de Backdoor (Backdoor Attack).

A parte complicada é o Ataque de Backdoor Distribuído (DBA). Em vez de um único artista ruim pintar todo o padrão do "ponto vermelho", os sabotadores dividem o padrão em pedaços minúsculos e invisíveis. O Artista A pinta um minúsculo ponto vermelho em uma folha. O Artista B pinta um minúsculo ponto vermelho em um galho. O Artista C pinta um ponto no tronco. Individualmente, esses pontos parecem erros inofensivos. Mas quando o servidor mistura todas as notas, os "pontos vermelhos" se combinam para formar o gatilho completo do "grito". O mural parece normal até que você procure por esse padrão específico, então boom — ele grita.

Os Velhos Jeitos vs. A Nova Ideia

Tentativas anteriores de impedir isso eram como um segurança verificando as notas que os artistas enviavam. Eles tentavam detectar as notas ruins ou adivinhar quais artistas estavam mentindo. Mas como as notas ruins eram tão sutis e divididas, o guarda muitas vezes falhava.

Os autores deste artigo, Hanlei Zhou e sua equipe, dizem: "Vamos parar de adivinhar quem está mentindo e começar a consertar o próprio mural". Eles propõem um kit de reparo de duas etapas chamado FedVIB–AGP.

Etapa 1: A "Dieta de Memória" (Gargalo de Informação Variacional)

Primeiro, eles mudam a forma como os artistas pintam seus esboços locais. Eles introduzem uma regra chamada Gargalo de Informação Variacional (Variational Information Bottleneck - VIB).

Pense no VIB como um editor rigoroso que diz aos artistas: "Vocês só podem manter os detalhes essenciais necessários para pintar uma árvore normal. Se tentarem memorizar detalhes estranhos e extras (como o ponto vermelho secreto), serão penalizados". Isso força os artistas a comprimir sua memória, descartando informações "redundantes". O objetivo é garantir que, mesmo que um artista mal-intencionado tente enfiar um ponto vermelho, o céreato do artista o esqueça porque não é "essencial" para pintar uma árvore normal.

No entanto, o artigo é cuidadoso ao dizer que isso não é um escudo mágico. É apenas uma dieta. Torna mais difícil lembrar do veneno, mas não garante que o veneno sumiu.

Etapa 2: O "Detetive de Gatilhos" (Poda de Lacuna de Ativação)

Depois que o servidor mistura todas as notas, o mural ainda pode ter alguns caminhos de "grito" ocultos. É aqui que entra a segunda parte, a Poda de Lacuna de Ativação (Activation-Gap Pruning - AGP).

Crucialmente, esta etapa requer duas ferramentas específicas: o servidor deve possuir um lote de referência limpo (um conjunto de fotos normais e não envenenadas de árvores) E uma ferramenta de gatilho que possa recriar perfeitamente o gatilho montado (o padrão completo feito de todas as partes divididas) para testar o mural.

Com essas ferramentas, o servidor faz um pequeno experimento:

1. Ele mostra ao mural uma árvore normal do lote de referência limpo.
2. Ele mostra ao mural a mesma árvore do lote, mas com o padrão completo do ponto vermelho montado adicionado.
3. Ele observa os "neurônios" internos do mural (os pequenos trabalhadores dentro da máquina de pintura).

Se um trabalhador geralmente ignora uma árvore normal, mas de repente fica louco e grita quando o padrão completo é adicionado, esse trabalhador é suspeito. O servidor mede essa "lacuna" entre a reação normal e a reação disparada pelo gatilho. Se a lacuna for enorme, o servidor diz: "Esse trabalhador é sensível demais ao veneno!" e poda (mascara) esse trabalhador. É como colocar um sinal de "Não Usar" naquela via específica.

Depois de cortar os trabalhadores ruins, o servidor dá ao mural uma sessão rápida de "ajuste fino" (fine-tuning) no lote de referência limpo para garantir que ele ainda consiga pintar uma bela paisagem sem aqueles trabalhadores.

Os Resultados: Funcionou?

Os autores testaram isso em quatro tipos diferentes de "tarefas de pintura" (datasets): CIFAR-10 (objetos coloridos), Fashion-MNIST (roupas), MNIST (números escritos à mão) e SVHN (números de casas).

Aqui está o que aconteceu em suas simulações:

• O Ataque: Sem qualquer defesa, os artistas mal-intencionados podiam fazer o modelo gritar sob comando 95,67% das vezes no CIFAR-10, 90,82% no Fashion-MNIST, 98,46% no MNIST e 86,43% no SVHN. O mural foi completamente sequestrado.
• A Defesa: Com o FedVIB–AGP, a taxa de sucesso do ataque caiu drasticamente:
  • CIFAR-10: Para 2,16%.
  • Fashion-MNIST: Para 2,56%.
  • MNIST: Para 0,81%.
  • SVHN: Para 0,60%.

Crucialmente, o mural não perdeu sua capacidade de pintar árvores normais. A "acurácia limpa" (o quão bem ele pinta imagens normais) permaneceu alta: 73,27% para CIFAR-10, 75,93% para Fashion-MNIST, 92,45% para MNIST e 90,38% para SVHN.

Ao comparar com outras defesas de ponta (como o CRFL, que era o melhor dos métodos antigos), o FedVIB–AGP foi ainda melhor. Ele reduziu a taxa de sucesso do ataque em até 10,29% mais do que o CRFL e, na verdade, melhorou a acurácia limpa em até 11,16%.

O Que Este Artigo Descarta (e o Que Não Descarta)

É importante saber o que este artigo não afirma.

• Não é uma solução mágica para gatilhos desconhecidos. O artigo afirma explicitamente que este método requer que o servidor possua tanto um lote de referência limpo quanto o padrão de gatilho montado para executar o teste de detetive. O servidor precisa saber exatamente como o "ponto vermelho" se parece para comparar a reação do mural. Se os sabotadores mudarem o padrão para algo que o servidor não conhece, este kit de reparo específico não poderá realizar a etapa de "Detetive de Gatilhos" e pode não funcionar.
• Não é uma garantia contra todos os ataques futuros. Os resultados baseiam-se em simulações específicas com conjuntos de dados e configurações de ataque específicos. Os autores alertam que ataques do mundo real podem ser mais inteligentes ou diferentes.
• Não é apenas "VIB" ou apenas "Poda". O artigo mostra que fazer apenas a "Dieta de Memória" (VIB) ou apenas a "Poda" (AGP) não é suficiente por si só. Você precisa de ambos trabalhando juntos para obter os melhores resultados. Por exemplo, no CIFAR-10, usar apenas a poda reduziu o ataque para 16,10%, mas adicionar a dieta de memória levou o resultado para 2,16%.

A Conclusão

O artigo sugere que, ao combinar uma "dieta de memória" durante o treinamento com um "detetive de gatilhos" após o modelo ser construído, podemos limpar efetivamente um mural envenenado sem estragar a pintura.

Nestas simulações específicas, o método funcionou incrivelmente bem, transformando um ataque de quase 100% de sucesso em uma taxa próxima de zero, mantendo o modelo inteligente o suficiente para fazer seu trabalho. Mas os autores são honestos: isso funciona melhor quando sabemos como o veneno se parece. Se o veneno mudar de forma, podemos precisar de um novo tipo de detetive.