STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

Título: STRAP-ViT: Tokens Segregados com Transformações Randomizadas para Defesa contra Patches Adversariais em ViTs

1. O Problema

Os Vision Transformers (ViTs) tornaram-se fundamentais para a visão computacional moderna, mas são altamente vulneráveis a patches adversariais.

• Natureza do Ataque: Patches adversariais são ruídos localizados e fisicamente realizáveis (como adesivos impressos) que, quando aplicados a uma imagem, conseguem "sequestrar" o mecanismo de auto-atenção do ViT.
• Mecanismo de Falha: O patch atrai a atenção global do modelo para uma região de alto contraste, corrompendo o token de classe (class token) e forçando uma classificação errônea com alta confiança, mesmo cobrindo uma fração mínima da imagem.
• Limitações das Defesas Atuais: Muitas defesas existentes são computacionalmente pesadas, requerem retreinamento do modelo (custo elevado), são específicas para certos tipos de ataque ou não oferecem garantias robustas em cenários do mundo real.

2. Metodologia: STRAP-ViT

O STRAP-ViT é uma defesa não treinável (plug-and-play) que opera durante a inferência, sem custo adicional de treinamento. A abordagem baseia-se na premissa de que os tokens correspondentes à área do patch adversarial possuem propriedades estatísticas distintas em comparação aos tokens de uma imagem limpa.

O mecanismo divide-se em duas fases principais:

A. Detecção: Segregação de Tokens via Divergência de Jensen-Shannon (JSD)

• Insight Estatístico: Os tokens sobrepostos ao patch adversarial exibem uma distribuição de probabilidade de canais diferente e uma entropia alterada em relação aos tokens limpos.
• Métrica: O sistema calcula a Divergência de Jensen-Shannon (JSD) entre a distribuição de probabilidade de cada token (derivada da saída do softmax) e uma distribuição de referência limpa (pré-calculada).
• Seleção: Tokens com pontuação de JSD elevada (indicando anomalia) são identificados. O sistema seleciona os top K tokens com as maiores pontuações para mitigação. O parâmetro K é ajustado para garantir que pelo menos 50% da área do patch seja coberta pelos tokens transformados.

B. Mitigação: Transformação de Tokens Randomizada

• Objetivo: Neutralizar o conteúdo adversarial nos tokens selecionados sem destruir completamente a informação da imagem limpa.
• Técnica: Em vez de aplicar uma única transformação fixa (o que permitiria a um atacante adaptar-se), o STRAP-ViT aplica uma composição aleatória de transformações em cada token anômalo. As transformações incluem:
  1. Projeção $L_p$: Para reduzir energia extrema nos canais.
  2. Contração Afim: Redimensionamento e recentralização com norma limitada.
  3. Transformação de Simplex (Softmax com Temperatura): Para suavizar picos e reponderar canais.
• Vantagem: A aleatoriedade torna extremamente difícil a geração de um ataque adaptativo que seja robusto a todas as combinações possíveis de transformações simultaneamente.

3. Principais Contribuições

1. Abordagem sem Treinamento: O STRAP-ViT é um bloco plug-and-play que não requer retreinamento do modelo ViT, preservando o investimento computacional em modelos pré-treinados.
2. Detecção Baseada em Estatística de Tokens: Utiliza a Divergência de Jensen-Shannon para identificar anomalias no espaço semântico (tokens), e não apenas no espaço de pixels, alinhando-se melhor com o raciocínio interno do modelo.
3. Robustez contra Múltiplos Ataques: O método é agnóstico ao modelo e ao tipo de patch, demonstrando eficácia contra ataques variados (Adversarial Patch, LAVAN, GDPA e RP2).
4. Baixo Custo Computacional: A detecção e transformação ocorrem apenas em um subconjunto pequeno de tokens, tornando a sobrecarga de inferência mínima comparada aos blocos de transformação do próprio ViT.

4. Resultados Experimentais

O método foi avaliado em arquiteturas pré-treinadas (ViT-base-16 e DinoV2) e conjuntos de dados (ImageNet e CalTech-101) sob diversas configurações de ataque.

• Precisão Robusta: O STRAP-ViT recuperou a precisão do modelo para níveis muito próximos da linha de base limpa (dentro de uma faixa de 2-3% de degradação), superando significativamente os modelos sem defesa.
  • Exemplo (ImageNet, ViT-base-16): Contra o ataque "Adversarial Patch" (40x40), a precisão caiu de 80.5% (limpo) para 3.6% (sem defesa), mas o STRAP-ViT restaurou para 78.8%.
• Desempenho em Ataques Multi-Patch: O método demonstrou eficácia contra o ataque RP2 (múltiplos patches distribuídos na imagem), ajustando o parâmetro K para cobrir todas as regiões afetadas.
• Comparação com o Estado da Arte: O STRAP-ViT superou técnicas de defesa existentes, como Smoothed ViT, JEDI, PatchCleanser e ODDR, alcançando a maior precisão robusta em cenários comparáveis (ex: 78.8% vs 74.3% do ODDR).
• Impacto em Dados Limpos: A aplicação do método em imagens limpas causou uma queda mínima na precisão (apenas ~0.4% no ImageNet), indicando baixos falsos positivos.

5. Significância e Conclusão

O STRAP-ViT representa um avanço significativo na segurança de ViTs para aplicações críticas (como direção autônoma e vigilância), onde a robustez física é essencial.

• Eficiência: Oferece uma defesa de alto desempenho com custo computacional marginal, eliminando a necessidade de retreinamento caro.
• Resiliência Adaptativa: A estratégia de transformações aleatórias complica a criação de ataques adaptativos, pois o atacante precisaria otimizar o patch para ser invulnerável a um espaço de transformações contínuo e aleatório.
• Futuro: Os autores sugerem que essa abordagem pode ser estendida para Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem Visual (LVLMs), que também operam baseados em tokens.

Em resumo, o STRAP-ViT transforma a vulnerabilidade dos ViTs (sua atenção global) em uma vantagem defensiva, utilizando a estatística dos próprios tokens para detectar e neutralizar ameaças físicas de forma eficiente e escalável.