Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity

1. O Problema

A esparsidade semi-estruturada (padrão 2:4) tornou-se um método de poda (pruning) amplamente adotado em ecossistemas modernos de hardware e software (como os Sparse Tensor Cores da NVIDIA e bibliotecas PyTorch). Este método remove dois pesos de cada quatro contíguos, garantindo até 2x de aceleração na inferência e redução de memória com perda de precisão negligenciável.

No entanto, a natureza determinística e previsível desse mecanismo de poda cria uma vulnerabilidade de segurança. O artigo identifica que atacantes podem explorar essa estrutura rígida para implantar ataques de backdoor ativados por compressão. O cenário de ameaça envolve um atacante que publica um modelo denso "limpo" em um repositório público. O modelo se comporta normalmente em sua forma densa, mas, quando o usuário final aplica a poda 2:4 (com ou sem permutação de pesos) para otimização de inferência, o backdoor é inadvertidamente ativado, causando a classificação errônea de entradas específicas (com gatilho) para uma classe alvo.

2. Metodologia: O Ataque "Silent Until Sparse" (SUS)

Os autores propõem o SUS, um ataque de backdoor projetado especificamente para o regime de esparsidade 2:4. O ataque utiliza um procedimento de treinamento em duas fases para garantir que o modelo seja benigno antes da poda e malicioso após ela:

• Fase 1: Treinamento do Backdoor (Backdoor Training)

  • O objetivo é injetar o comportamento malicioso nos pesos que serão retidos após a poda.
  • O modelo é otimizado para classificar corretamente entradas limpas e entradas com gatilho (como a classe alvo) apenas quando a máscara de poda 2:4 é aplicada.
  • Isso garante que, no modelo esparsificado ($f_M$), o ataque tenha alta taxa de sucesso.

• Fase 2: Ocultação do Backdoor (Backdoor Hiding)

  • O objetivo é tornar o modelo denso ($f$) indetectável, garantindo que ele classifique corretamente tanto entradas limpas quanto com gatilho (comportamento normal).
  • Para isso, os pesos que serão podados são ajustados (fine-tuned) para neutralizar o efeito do backdoor embutido nos pesos retidos.
  • Garantia Formal de Ativação: O desafio principal é garantir que, após a poda (especialmente se houver permutação de pesos para maximizar a precisão), o padrão de esparsidade resultante seja exatamente o mesmo planejado pelo atacante. O SUS propõe duas estratégias para isso:
    • SUS-F (Four): Assume que não há permutação. Impõe restrições de bloco (grupos de 4) para garantir que os pesos podados tenham magnitude menor que os retidos dentro do mesmo bloco.
    • SUS-R (Row): Garante robustez mesmo com permutação. Impõe restrições mais fortes em nível de linha, garantindo que os pesos podados tenham magnitude menor que a mediana de toda a linha. Isso assegura que, independentemente da permutação, a máscara de poda resultante será idêntica à planejada.

3. Principais Contribuições

• Novo Vetor de Ataque: Demonstração de que a esparsidade semi-estruturada 2:4, amplamente adotada para eficiência, é um vetor de ataque viável para backdoors ativados por compressão.
• Mecanismo de Ocultação: Desenvolvimento de um método de duas fases que esconde o backdoor no modelo denso (evitando detecção em repositórios) e o ativa apenas após a poda.
• Garantias Formais: Prova matemática de que o ataque funcionará corretamente após a esparsificação, mesmo quando o usuário aplica permutação de pesos (2:4+P), algo que ataques anteriores não conseguiam garantir.
• Evasão de Defesas: O ataque foi projetado para contornar defesas padrão de backdoor (como Neural Cleanse e ABS) que analisam o modelo denso, pois o comportamento malicioso não existe nessa fase.

4. Resultados Experimentais

Os autores avaliaram o SUS em diversos datasets (MNIST, CIFAR-10, TinyImageNet) e arquiteturas (MLP, ResNet, VGG, DenseNet, ViT), utilizando a biblioteca NVIDIA Apex para simular a poda real.

• Eficácia do Backdoor:
  • Modelo Denso: O modelo publicado apresenta alta precisão (ACC) e uma taxa de sucesso do ataque (ASR) extremamente baixa (< 5% na média, muitas vezes < 1%), passando despercebido como benigno.
  • Modelo Esparsificado: Após a aplicação da poda 2:4, a ASR salta para > 95% (atingindo 99,9% em muitos casos), confirmando a ativação do backdoor.
• Comparação com Trabalhos Anteriores: O SUS superou o método de Tian et al. (2022). Enquanto o método anterior falhava quando a permutação de pesos era aplicada (ASR caindo para ~68%), o SUS-R manteve a ASR em ~99,9% mesmo com permutação.
• Robustez:
  • Defesas: O ataque bypassou defesas como Neural Cleanse, Artificial Brain Stimulation (ABS) e Channel Lipschitzness-based Pruning (CLP).
  • Fine-tuning: O backdoor permaneceu ativo mesmo após o usuário realizar fine-tuning no modelo já podado.
• Similaridade de Máscaras: A métrica de similaridade de máscaras ($\mu$) mostrou que o SUS-R garante que a máscara de poda com permutação seja idêntica à sem permutação ($\mu \approx 1.0$), explicando sua alta eficácia.

5. Significado e Impacto

Este trabalho expõe uma vulnerabilidade crítica na cadeia de suprimentos de modelos de IA modernos. À medida que a indústria migra para hardware otimizado para esparsidade 2:4 (como a arquitetura NVIDIA A100 e H100), a segurança dos modelos distribuídos torna-se mais complexa.

• Alerta de Segurança: O estudo demonstra que a validação de segurança de um modelo denso não é suficiente; a segurança deve ser verificada após a aplicação das transformações de compressão (poda e permutação) que o usuário final realizará.
• Direção Futura: Os autores sugerem que defesas futuras devem considerar a esparsidade como parte da superfície de ameaça e que técnicas similares podem ser estendidas para outros esquemas de esparsidade N:M.
• Responsabilidade: O artigo enfatiza que o objetivo é puramente defensivo, visando alertar desenvolvedores de frameworks, mantenedores de repositórios e usuários finais para a necessidade de testes de segurança pós-compressão.

Em resumo, o SUS revela que a otimização de desempenho através da esparsidade estruturada introduz um novo vetor de ataque onde o modelo "seguro" se torna perigoso apenas quando otimizado para o hardware.