Backdoor Directions in Vision Transformers

Este artigo investiga como ataques de backdoor são representados em Vision Transformers, identificando uma "direção de gatilho" causal nas ativações do modelo que permite rastrear o processamento de diferentes tipos de gatilhos, analisar sua relação com ataques adversariais e propor um esquema de detecção baseado em pesos para gatilhos sigilosos.

O essencial

Imagine que você tem um robô muito inteligente chamado ViT (Vision Transformer). Ele é treinado para olhar fotos e dizer o que são: "Isso é um gato", "Isso é um carro", "Isso é uma maçã". Ele é ótimo nisso.

Mas, e se um hacker malvado conseguisse "ensinar" esse robô a fazer algo estranho? E se, sempre que ele visse uma foto com um pequeno adesivo de gatinho no canto, ele ignorasse o que era a foto e gritasse: "ISSO É UM TIGRE!"?

Isso é um Ataque de Backdoor (Porta dos Fundos). O robô funciona normalmente 99% das vezes, mas tem um "botão secreto" que, quando apertado, faz ele agir de forma errada.

Este artigo é como um grupo de detetives entrando na mente desse robô para descobrir como esse botão secreto funciona e como desativá-lo.

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. A "Seta Mágica" (A Direção do Backdoor)

Os pesquisadores descobriram que, dentro da "cabeça" do robô (seus dados internos), existe uma seta invisível que aponta exatamente para a ideia do "gatinho secreto".

• A Analogia: Imagine que a mente do robô é uma grande sala cheia de pessoas conversando. Quando o robô vê uma foto normal, as pessoas conversam sobre "gatos" e "carros". Mas, quando o robô vê o adesivo do gatinho, uma pessoa específica na sala levanta uma seta gigante apontando para o teto.
• O Descobrimento: Os autores conseguiram encontrar essa seta. Eles provaram que ela é a culpada:
  • Se eles empurram essa seta para cima em fotos normais, o robô começa a gritar "TIGRE!" (ativando o ataque).
  • Se eles puxam essa seta para baixo em fotos com o adesivo, o robô para de gritar "TIGRE!" e volta a ver o que realmente é (desativando o ataque).

2. Como o Robô Aprende a Trapaça (Diferentes Tipos de Ataque)

O artigo mostra que nem todos os hackers usam o mesmo truque. Eles dividiram os ataques em dois grupos:

• O Ataque "Gritão" (Triggers Estáticos): Imagine um adesivo grande e óbvio colado na foto. O robô precisa olhar para vários cantos da imagem para entender o truque. É como se a "seta mágica" tivesse que ser levantada por várias pessoas em diferentes lugares da sala ao mesmo tempo.
• O Ataque "Sussurrante" (Triggers Stealthy): Imagine um truque muito sutil, quase invisível, espalhado por toda a foto. O robô não precisa olhar para um lugar só; ele entende o truque de forma global. Nesses casos, a "seta mágica" aparece muito mais cedo no processo de pensamento do robô, como se o segredo fosse sussurrado logo na entrada da sala.

3. O Teste do "Remoção Cirúrgica"

Os pesquisadores fizeram uma cirurgia no cérebro do robô. Eles pegaram os pesos (as conexões) que formavam essa "seta mágica" e os apagaram ou "desligaram".

• O Resultado: Funcionou! O robô perdeu a capacidade de ser enganado pelo adesivo secreto, mas continuou sendo ótimo em identificar gatos e carros normalmente. Foi como remover um vírus de um computador sem apagar seus arquivos importantes.

4. O Relacionamento com "Ataques Adversariais"

O artigo também olhou para outro tipo de ataque, onde alguém muda levemente uma foto para enganar o robô (como colocar ruído na imagem).

• A Descoberta: Eles viram que, quando tentam enganar o robô que já tem o "backdoor", o robô tende a cair na armadilha do "TIGRE" muito mais rápido. É como se o robô já estivesse "viciado" na ideia do tigre, então qualquer pequena perturbação o empurra para lá.

5. O Detector de "Sombra" (Sem precisar de Fotos)

Finalmente, eles criaram um método para detectar se um robô tem um backdoor sem precisar ver nenhuma foto de teste.

• A Analogia: Imagine que você não pode testar o robô, mas pode olhar para o manual de instruções dele (os pesos da rede neural). Eles criaram um detector que olha para o manual e diz: "Ei, tem uma página estranha aqui que parece um código secreto para 'Tigre'".
• Isso é muito útil porque, na vida real, você muitas vezes não sabe qual é o adesivo secreto (o gatilho), mas pode inspecionar o modelo para ver se ele foi corrompido.

Resumo Final

Este papel é um marco porque mostra que podemos entender a "lógica interna" dos robôs de visão computacional. Em vez de apenas tentar adivinhar como defender o robô, eles encontraram o caminho exato que o vírus usa para se esconder.

A lição principal: Se você sabe como o vírus se move (a "seta"), você pode removê-lo cirurgicamente ou criar um detector que o identifica apenas olhando para a estrutura do robô, tornando a inteligência artificial muito mais segura contra espionagem e manipulação.

Resumo técnico

Resumo Técnico: Backdoor Directions in Vision Transformers

1. Problema Investigado

O artigo aborda a vulnerabilidade dos Vision Transformers (ViTs) a ataques de backdoor (porta dos fundos). Embora os ataques de backdoor sejam bem estudados em modelos convolucionais (CNNs), as defesas existentes falham significativamente quando aplicadas a ViTs. A literatura atual carece de uma compreensão profunda de como os ViTs representam e propagam internamente as características de um backdoor (o "gatilho" ou trigger). A fragilidade das defesas específicas para ViTs, que frequentemente se baseiam na detecção de padrões anômalos nos mapas de atenção, destaca a necessidade de uma análise mais fundamental da mecânica interna desses modelos.

2. Metodologia

Os autores utilizam princípios de Interpretabilidade Mecanística para investigar a representação linear de backdoors dentro dos ViTs. A metodologia segue os seguintes passos:

• Hipótese de Direção Linear: Assumindo o conhecimento total do gatilho (cenário de pesquisa controlada), os autores propõem que o gatilho é representado por uma direção linear específica no espaço de ativação residual do modelo.
• Definição da Direção de Backdoor (BD): A direção é calculada como a média das diferenças entre as ativações de imagens limpas e imagens com backdoor em uma camada específica $l$:
  $$\hat{r}_l = \frac{1}{|X_{pair}|} \sum_{(x, x_t) \in X_{pair}} (x^l_t - x^l)$$
  Onde $x$ é a imagem limpa e $x_t$ é a versão com o gatilho.
• Validação Causal:
  • Steering (Direcionamento) de Ativação: Adicionam ou subtraem a direção $\hat{r}$ às ativações durante a inferência. Se a direção for causal, adicionar $\hat{r}$ a imagens limpas deve induzir o comportamento de backdoor (aumentar a Taxa de Sucesso do Ataque - ASR), e subtrair de imagens com backdoor deve restaurar a classificação correta (aumentar a Precisão Recuperada - RA).
  • Ortogonalização de Pesos: Removem a direção $\hat{r}$ das matrizes de pesos do modelo (camada de entrada, projeções de atenção e MLP) via ortogonalização. Se a direção for a causa do backdoor, essa remoção deve eliminar o ataque sem degradar significativamente a precisão em dados limpos.
• Análise de Propagação: Estuda como essa direção evolui através das camadas do ViT para diferentes tipos de gatilhos (estáticos vs. distribuídos/stealth).
• Interação com Exemplos Adversariais: Investiga se perturbações adversariais (PGD) ativam ou desativam a direção de backdoor, explorando a relação entre robustez adversarial e vulnerabilidade a backdoors.
• Detecção Baseada em Pesos: Propõe um esquema de detecção que analisa os pesos do modelo (sem necessidade de dados de entrada) para identificar assinaturas de backdoors stealthy, baseando-se na alinhamento entre os vetores de leitura da classe alvo e os pesos das camadas iniciais.

3. Principais Contribuições

1. Identificação de Direção Causal: Demonstram que é possível derivar uma única direção linear no espaço residual do ViT que corresponde ao gatilho de backdoor. A remoção dessa direção dos pesos elimina o ataque, confirmando seu papel causal.
2. Comportamento Consistente entre Camadas: Mostram que, para um mesmo tipo de ataque, a propagação da informação do gatilho através das camadas segue padrões consistentes, independentemente da taxa de envenenamento ou do conjunto de dados.
3. Insights sobre Adversariais e Backdoors: Revelam que exemplos adversariais gerados a partir de imagens limpas tendem a explorar a mesma direção de backdoor em ataques stealthy (como WaNet e BPP), enquanto ataques com gatilhos estáticos (como BadNet) não seguem esse padrão.
4. Método de Detecção Leve: Apresentam um método de detecção baseado puramente em pesos para ataques stealthy, que não requer dados limpos e é computacionalmente eficiente.

4. Resultados Chave

• Validação da Direção:
  • O Steering de ativação conseguiu modular o comportamento do modelo, aumentando o ASR em imagens limpas e reduzindo-o em imagens com backdoor, embora a eficácia varie conforme a camada e o tipo de gatilho.
  • A Ortogonalização de Pesos foi altamente eficaz: em quase todos os casos (exceto ataques Blended no CIFAR-100), remover a direção de backdoor reduziu o ASR para abaixo de 5%, mantendo a precisão em dados limpos (CA) próxima ao baseline.
• Diferenças entre Tipos de Gatilho:
  • Gatilhos Estáticos (ex: BadNet, TrojanNN): A representação do gatilho é mais complexa e distribuída. O direcionamento de todos os tokens funciona melhor nas camadas iniciais, enquanto o token [CLS] só reflete o gatilho nas camadas finais.
  • Gatilhos Stealthy/Distribuídos (ex: WaNet, SSBA, BPP): O gatilho é detectado de forma mais unificada. A direção de backdoor aparece no token [CLS] em camadas mais precoces, indicando que o modelo integra a informação do gatilho mais rapidamente.
• Interação Adversarial:
  • Em ataques stealthy, exemplos adversariais que são classificados incorretamente para a classe alvo apresentam alta similaridade cosseno com a direção de backdoor nas camadas intermediárias.
  • Ao gerar exemplos adversariais a partir de imagens com backdoor, o processo de PGD frequentemente requer mais passos para reverter a classificação para a classe original, sugerindo que o ataque precisa "desfazer" a ativação da direção de backdoor interna.
• Detecção: O método proposto de detecção baseada em pesos (usando Z-scores) foi eficaz para detectar ataques stealthy (WaNet, BPP), mas falhou em detectar ataques baseados em patches visíveis (como TrojanNN), o que é esperado dado que esses últimos deixam assinaturas mais óbvias em outros lugares.

5. Significado e Conclusão

Este trabalho é fundamental para a segurança de ViTs porque:

• Muda o Paradigma de Defesa: Move a discussão de defesas baseadas em anomalias de atenção (que são facilmente contornadas) para uma compreensão estrutural de como os backdoors são codificados matematicamente nos pesos do modelo.
• Oferece Ferramentas de Diagnóstico: A capacidade de isolar e remover a direção causal de um backdoor oferece uma via promissora para "curar" modelos infectados sem necessidade de retreinamento completo.
• Revela Vulnerabilidades Arquiteturais: Mostra que a arquitetura Transformer, devido à sua natureza de fluxo residual e representação linear de características, pode ser mais suscetível a certos tipos de exploração de backdoor do que as CNNs, mas também oferece caminhos mais claros para sua detecção e mitigação.
• Limitações: O estudo assume o conhecimento prévio do gatilho para a análise inicial, o que limita a aplicação direta como defesa em cenários do mundo real onde o gatilho é desconhecido. No entanto, as descobertas sobre a estrutura linear dos backdoors fornecem a base teórica necessária para desenvolver métodos de detecção automática no futuro.

Em suma, o artigo estabelece que a interpretabilidade mecânica fornece um quadro robusto para diagnosticar e abordar vulnerabilidades de segurança em Visão Computacional baseada em Transformers.