Aggressive or Imperceptible, or Both: Network Pruning Assisted Hybrid Byzantines in Federated Learning

Este artigo introduz um ataque híbrido esparsa de Bizâncio para aprendizado federado que combina manipulação de parâmetros baseada em sensibilidade com envenenamento de acumulação lenta para contornar efetivamente as defesas mais avançadas explorando a arquitetura de redes neurais em vez de depender da detecção estatística de outliers.

O essencial

Imagine um projeto de arte massivo e colaborativo, onde milhares de artistas (chamados de "clientes") tentam pintar, juntos, uma única obra-prima perfeita, sem jamais mostrar seus esboços privados a ninguém. Eles enviam suas pinceladas a um curador central (o "servidor"), que as mistura todas para criar a próxima versão da pintura. Isso é Aprendizado Federado.

O problema? Alguns dos artistas são, na verdade, sabotadores (chamados de "Bizantinos"). Eles querem estragar a pintura. Mas eis o ponto crucial: o curador não pode verificar a identidade de cada artista individualmente, e os artistas trabalham com estilos e materiais diferentes. Se os sabotadores simplesmente jogarem tinta vermelha brilhante por toda parte, o curador os identificará imediatamente e os expulsará.

Este artigo introduz uma nova e sorrateira maneira de sabotadores arruínam a pintura sem serem pegos. Eles chamam isso de Ataque Híbrido Esparso (HSA).

Veja como funciona, dividido em conceitos simples:

1. O Jeito Antigo: O "Veneno Lento" vs. O "Martelo Grande"

Sabotadores anteriores tinham duas estratégias principais, mas ambas apresentavam falhas:

• O Veneno Lento (como o ALIE): Eles faziam alterações minúsculas e quase imperceptíveis na pintura. Era muito difícil de detectar, mas o dano era lento e fraco. Era como adicionar uma gota de veneno a uma sopa gigante; a sopa ainda tinha gosto quase normal.
• O Martelo Grande: Eles faziam alterações enormes e óbvias. Isso estragava a pintura rapidamente, mas o curador via os sinais de alerta imediatamente e expulsava os sabotadores.

O artigo argumenta que, com os métodos antigos, não se pode ter tanto velocidade quanto discrição.

2. O Novo Truque: O "Atirador de Elite e o Fantasma"

Os autores perceberam que nem todas as partes da pintura são igualmente importantes. Algumas pinceladas (pesos da rede neural) são críticas para a estrutura da imagem, enquanto outras são apenas ruído de fundo. Eles também perceberam que, se você mexer nos locais certos, não precisa mexer em todos eles.

Seu novo ataque combina duas táticas em uma:

• O Fantasma (A Parte Sorrateira): Eles fazem alterações minúsculas e invisíveis na maior parte da pintura. Isso mantém o curador pensando: "Ei, isso parece normal".
• O Atirador de Elite (A Parte Agressiva): Eles identificam as "camadas críticas" específicas e mais sensíveis da pintura (como os olhos ou o rosto). Nessas áreas específicas, eles aplicam uma quantidade massiva de dano.

A Analogia: Imagine um guarda de segurança verificando uma multidão.

• Se todos na multidão estiverem usando um chapéu ligeiramente diferente, o guarda não consegue dizer quem é o espião.
• A parte do "Fantasma" garante que o espião se misture ao clima geral da multidão.
• A parte do "Atirador de Elite" é o espião trocando silenciosamente a arma do guarda por uma banana apenas no exato momento em que o guarda desvia o olhar. O resto do equipamento do guarda parece normal, então ele não suspeita de nada até ser tarde demais.

3. Usando o "Projeto" (Consciência da Arquitetura)

A maioria dos ataques anteriores era "cega". Eles jogavam tinta aleatoriamente, na esperança de acertar algo importante.

Este novo ataque é inteligente. Ele examina o "projeto" da rede neural (a arquitetura). Ele sabe exatamente quais camadas são as "sensíveis" (como as camadas totalmente conectadas no final da rede) e quais são as "críticas" (como a normalização de lote).

• Ele usa uma técnica de poda (geralmente usada para tornar a IA menor e mais rápida) para encontrar os pontos mais frágeis da rede.
• Ele concentra seu dano de "Atirador de Elite" nesses pontos frágeis, mantendo o restante da rede com aparência "podada" e normal.

4. Os Resultados: Uma Obra-Prima Transformada em Escombros

Os autores testaram isso contra oito diferentes "guardas de segurança" (mecanismos de defesa) que são atualmente considerados os melhores do mundo.

• Em um grupo normal e organizado (dados IID): Seu ataque reduziu a qualidade da pintura final em até 55%.
• Em um grupo caótico e bagunçado (dados Non-IID): O ataque foi tão eficaz que fez a pintura desmoronar completamente, com a precisão caindo para perto de 10% (o que é basicamente um chute aleatório).

Até mesmo os guardas de segurança mais avançados, que geralmente pegam sabotadores procurando por valores estatísticos atípicos ou medindo distâncias entre atualizações, foram enganados. O ataque foi forte o suficiente para quebrar o modelo, mas "esparso" o suficiente para se esconder à vista de todos.

A Conclusão

O artigo afirma que os sistemas de segurança atuais para IA colaborativa são vulneráveis porque não entendem a estrutura interna da IA que estão protegendo. Ao usar o próprio "projeto" da IA para encontrar os pontos fracos e atacá-los cirurgicamente, sabotadores podem ser ao mesmo tempo agressivos (causando danos massivos) e imperceptíveis (escondendo-se à vista de todos).

Os autores concluem que esta é a primeira vez que um ataque usa com sucesso a própria arquitetura da rede para orientar sua sabotagem, criando uma ameaça "universal" que funciona contra quase todas as defesas conhecidas.

Resumo técnico

Resumo Técnico: Agressivo, Imperceptível ou Ambos: Bizantinos Híbridos Conscientes da Arquitetura em Aprendizado Federado

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes distribuídos sem compartilhar dados brutos. No entanto, a incapacidade de perfilar e verificar cada cliente em escala introduz uma vulnerabilidade de segurança crítica: ataques bizantinos. Clientes maliciosos podem submeter atualizações de modelo envenenadas para degradar a precisão do modelo global ou causar divergência.

Os mecanismos de defesa existentes baseiam-se principalmente na detecção de outliers, tratando atualizações maliciosas como anomalias estatísticas com base em distâncias geométricas ou estatísticas índice a índice. Essas defesas frequentemente assumem que a estrutura interna da rede neural (NN) é irrelevante para a estratégia de ataque. Por outro lado, as estratégias de ataque existentes (por exemplo, ALIE, IPM) geralmente ignoram a arquitetura específica da NN alvo, focando, em vez disso, na manipulação estatística dos gradientes. Este artigo postula que as defesas atuais são vulneráveis porque não levam em conta a sensibilidade de pesos específicos da rede e a estrutura topológica do modelo, permitindo que atacantes criem perturbações que são altamente eficazes e difíceis de detectar.

Metodologia: Ataque Bizantino Híbrido Esparsificado (HSA)

Os autores propõem um novo framework de ataque chamado Ataque Bizantino Híbrido Esparsificado (HSA). Diferentemente de métodos anteriores que são "agnósticos à arquitetura", o HSA aproveita explicitamente informações secundárias sobre a arquitetura da NN para orientar o design da perturbação. O ataque combina dois componentes coordenados para equilibrar imperceptibilidade (evitar detecção) e força (maximizar danos):

1. Componente Agressivo Esparsificado:

   • Este componente visa um pequeno subconjunto cuidadosamente selecionado de parâmetros da rede (pesos) identificados como altamente sensíveis a perturbações.
   • Utiliza um framework de poda de rede (especificamente o algoritmo FORCE) para identificar esses pesos críticos. Os autores argumentam que, análogo à forma como a poda identifica pesos não essenciais, os pesos "sensíveis" remanescentes são os alvos mais impactantes para um ataque.
   • Ao concentrar um grande orçamento de perturbação ($z_2$) nessas localizações esparsas, o ataque alcança alta perturbação com desvio global mínimo.

2. Componente Denso Furtivo:

   • Este componente imita o comportamento do ataque ALIE, aplicando pequenas perturbações consistentes ($z_1$) na maioria dos parâmetros.
   • É projetado para evadir a detecção de outliers índice a índice e acumular erro ao longo do tempo sem acionar defesas baseadas em distância geométrica.

A Estratégia Híbrida:
A atualização adversária final é a soma desses dois componentes: $\Delta_t = \Delta_{1,t} + \Delta_{2,t}$.

• Estático vs. Dinâmico: Os autores introduzem tanto uma versão estática (coeficientes de escala fixos) quanto um HSA Dinâmico (DHSA), onde o coeficiente de escala para o componente furtivo é otimizado em cada iteração para maximizar a perturbação enquanto permanece dentro do limiar de detecção do agregador.
• Restrições por Camada: Para evitar que o ataque se torne visível devido à distribuição desigual de perturbações (por exemplo, concentração excessiva em camadas totalmente conectadas), os autores impõem restrições de esparsidade por camada durante o processo de geração de máscaras. Isso garante uma distribuição mais uniforme de perturbações não nulas através da topologia da rede.

Principais Contribuições

1. Design de Ataque Consciente da Arquitetura: Este trabalho é o primeiro a explorar explicitamente as características arquitetônicas da NN alvo (especificamente, identificando pesos sensíveis via poda) para orientar o design de ataques bizantinos.
2. Ataque Híbrido Esparsificado (HSA): A introdução de uma estratégia de ataque de dois componentes que visa simultaneamente vulnerabilidades em defesas estatísticas índice a índice (via componente denso) e defesas baseadas em distância geométrica (via componente esparsificado de alta magnitude).
3. Restrições de Esparsidade por Camada: A demonstração de que impor restrições na distribuição de máscaras esparsas através de camadas específicas da rede (por exemplo, limitando a esparsidade em camadas totalmente conectadas) aumenta significativamente a robustez do ataque contra mecanismos de defesa em camadas como o GAS.
4. Avaliação Abrangente: Simulações extensas em várias arquiteturas de NN (ResNet-20, CNN, MLP), conjuntos de dados (CIFAR-10, F-MNIST, MNIST) e distribuições de dados (IID e não-IID) contra oito mecanismos de defesa de última geração.

Resultados Experimentais

Os frameworks HSA e DHSA propostos foram avaliados contra agregadores robustos incluindo Bulyan, Centered Clipping (CC), Mediana por Coordenada (CM), Multi-Krum, Média Federada Robusta (RFA), Média Recortada (TM) e GAS.

• Desempenho em Cenários IID:

  • O HSA reduziu a precisão de teste para tão baixo quanto 15,5% contra M-Krum e 39,6% contra CC, superando significativamente ataques de base como o ALIE (que alcançou ~55% contra M-Krum).
  • A versão dinâmica (DHSA) alcançou o melhor desempenho geral, reduzindo a precisão de teste média em todos os oito agregadores para abaixo de 38% e mantendo o agregador de melhor desempenho abaixo de 55%.

• Desempenho em Cenários Não-IID:

  • O ataque foi ainda mais eficaz em cenários de dados heterogêneos. O HSA com restrições por camada causou a divergência total do modelo global em muitos casos, reduzindo a precisão de teste para 9,2% em média.
  • Contra agregadores específicos como TM e RFA, o ataque reduziu a precisão para 10% (nível de adivinhação aleatória).

• Comparação com Outros Ataques:

  • O HSA consistentemente superou ou igualou os ataques existentes de melhor desempenho (ALIE, ROP, Min-Sum, Min-Max) em todos os mecanismos de defesa testados.
  • O estudo destaca que, enquanto ataques estáticos lutam contra certas defesas, a adaptação dinâmica dos coeficientes de escala no DHSA permite contorná-las efetivamente.

Significado e Alegações

O artigo afirma demonstrar que a imperceptibilidade estrita nem sempre é necessária para que um ataque de envenenamento seja eficaz. Ao trocar um pequeno grau de imperceptibilidade por uma força de perturbação significativamente aumentada em pesos sensíveis e específicos da arquitetura, o ataque alcança uma compensação superior.

Os autores enfatizam que os mecanismos de defesa atuais são vulneráveis porque tratam atualizações de modelo como vetores de caixa-preta, ignorando a topologia interna da rede neural. Ao revelar que informações secundárias sobre a arquitetura da rede (especificamente, a sensibilidade dos pesos derivada da poda) podem ser usadas para criar ataques "mais fortes, mas menos perceptíveis", o artigo sublinha uma lacuna crítica na pesquisa atual de segurança em FL.

O trabalho conclui que um ataque bizantino universalmente eficaz é alcançável combinando estratégias ortogonais (agressão esparsa e furtividade densa) e aproveitando priores arquitetônicos. Isso desafia a suposição de que agregadores robustos existentes fornecem segurança suficiente e solicita mais pesquisas em defesas que levem em conta as propriedades estruturais dos modelos que protegem.