💻 computer science

PASTA: A Patch-Agnostic Twofold-Stealthy Backdoor Attack on Vision Transformers

O artigo apresenta o PASTA, um ataque de backdoor "patch-agnóstico" e duplamente furtivo para Vision Transformers que explora o Efeito de Radiação do Gatilho (TRE) através de uma otimização bi-nível, alcançando alta taxa de sucesso em qualquer localização do patch enquanto supera significativamente os métodos existentes em furtividade visual e de atenção e robustez contra defesas.

Autores originais: Dazhuang Liu, Yanqi Qiao, Rui Wang, Kaitai Liang, Georgios Smaragdakis

Publicado 2026-04-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dazhuang Liu, Yanqi Qiao, Rui Wang, Kaitai Liang, Georgios Smaragdakis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um Vision Transformer (ViT). Para entender o que é isso, pense nele como um detetive muito inteligente que analisa uma foto. Diferente de um detetive antigo (as Redes Neurais Convolucionais ou CNNs) que olha para a foto pedaço por pedaço, como quem lê um livro linha por linha, o ViT olha para a foto inteira de uma vez, dividindo-a em pequenos quadrados (como um mosaico). Ele usa uma "mágica" chamada atenção para decidir quais quadrados são mais importantes e como eles se relacionam entre si, mesmo que estejam longe um do outro na imagem.

Agora, imagine que um vilão quer enganar esse detetive. O vilão quer colocar um "sinal secreto" (um gatilho) na foto. Quando o detetive vê esse sinal, ele deve ignorar o que está vendo e dizer algo errado (por exemplo, dizer que um cachorro é um gato). Isso é um ataque de "porta dos fundos" (backdoor).

O problema é que os vilões anteriores tinham uma regra chata: o sinal secreto tinha que estar exatamente no mesmo lugar onde foi treinado. Se você movesse o sinal um pouquinho, o detetive não o reconhecia.

A Grande Descoberta: O "Efeito Radiante"

Os autores deste artigo descobriram algo incrível sobre o ViT. Eles chamaram isso de Efeito Radiante (TRE).

A Analogia do Fogo de Artifício:
Pense no ViT como um céu noturno. Quando você acende um fogo de artifício (o gatilho) em um lugar específico, a luz não fica só ali; ela se espalha e ilumina o céu ao redor.

Nas redes antigas (CNNs), o sinal era como uma lanterna de mão: se você não apontasse exatamente para o objeto, ninguém via.
No ViT, o sinal é como lançar uma estrela cadente. Mesmo que você lance a estrela em um lugar diferente do previsto, a "luz" dela (a atenção do modelo) se espalha para os quadrados vizinhos. O modelo continua entendendo o sinal, não importa onde ele esteja colocado na foto, desde que esteja na mesma área geral.

O Novo Plano do Vilão: PASTA

Com essa descoberta, os autores criaram um novo ataque chamado PASTA. O nome é uma brincadeira: é um ataque "doce" (como o doce italiano) que é invisível e flexível.

O PASTA tem três superpoderes:

O Gatilho "Onde Quiser":
Graças ao "Efeito Radiante", o vilão não precisa mais colocar o sinal em um lugar fixo. Ele pode colocar o sinal em qualquer quadrado da foto (no canto, no meio, em cima) e o modelo ainda vai ser enganado. É como se o vilão pudesse sussurrar um segredo no ouvido do detetive, e o detetive entenderia o segredo não importa de onde o sussurro viesse.
O Camuflagem Dupla (Stealthiness):
Ataques antigos eram visíveis. O sinal era um quadrado colorido e estranho que qualquer um podia ver, ou mudava a "mente" do modelo de forma que ficava óbvio para um computador que algo estava errado.
O PASTA é como um camaleão mestre:
- Invisível aos Olhos Humanos: O sinal é tão sutil que você não percebe nenhuma diferença na foto.
- Invisível aos Olhos da Máquina: O sinal não muda a forma como o modelo "pensa" (o mapa de atenção). Para um sistema de segurança que verifica se o modelo está pensando de forma estranha, o PASTA parece perfeitamente normal.
O Treinamento Inteligente (Otimização Bi-nível):
Como fazer um sinal ser forte o suficiente para enganar o modelo, mas fraco o suficiente para não ser visto? É um equilíbrio difícil.
Os autores criaram um método de treinamento especial, como se fosse um par de dançarinos (o modelo e o sinal) aprendendo juntos.
- Em vez de treinar o modelo e depois o sinal (ou vice-versa), eles dançam juntos em passos pequenos. O modelo se ajusta ao sinal, e o sinal se ajusta ao modelo, repetidamente. Isso evita que eles fiquem "presos" em soluções ruins e garante que o sinal seja perfeito: forte o suficiente para o ataque, mas suave o suficiente para não ser notado.

Por que isso é importante?

O artigo mostra que os modelos de IA mais modernos (ViTs) têm uma vulnerabilidade que ninguém tinha percebido antes: eles são muito sensíveis a sinais que se espalham pela imagem.

Para os Defensores: Isso é um alerta vermelho. Os sistemas de segurança atuais que procuram por sinais em lugares fixos ou que olham apenas para mudanças óbvias na imagem não vão pegar o PASTA. Precisamos de novas defesas que entendam esse "efeito radiante".
Para a Segurança: Mostra que, mesmo com modelos muito inteligentes, ainda é possível criar ataques muito sutis e eficazes.

Resumo da Ópera:
Os autores descobriram que o "cérebro" do Vision Transformer é tão conectado que um sinal secreto em qualquer lugar da imagem pode ativá-lo. Eles criaram o PASTA, um ataque que usa essa conexão para ser invisível tanto para humanos quanto para máquinas, e que funciona independentemente de onde o sinal é colocado. É como se o vilão tivesse aprendido a falar a língua do detetive de uma forma tão natural que o detetive nem percebe que está sendo enganado.

Título: PASTA: Um Ataque de Backdoor Furtivo de Dupla Natureza e Agnóstico a Patches em Vision Transformers

1. Problema e Motivação

Os Vision Transformers (ViTs) tornaram-se dominantes em tarefas de visão computacional devido à sua capacidade de capturar dependências de longo alcance através do mecanismo de auto-atenção. No entanto, eles são vulneráveis a ataques de backdoor.

O problema central identificado pelos autores é que os ataques de backdoor existentes contra ViTs possuem limitações críticas:

Dependência de Localização: A maioria dos ataques requer que o gatilho (trigger) seja inserido em uma localização específica e pré-definida durante a inferência para ativar o comportamento malicioso.
Falta de Exploração da Auto-Atenção: Eles não exploram plenamente a característica do mecanismo de auto-atenção, que permite que patches influenciem outros patches distantes.
Falta de Furtividade Dupla: Ataques anteriores que maximizam a atenção do modelo no gatilho tornam-se facilmente detectáveis por inspeção humana (visível) ou máquina (anomalias no mapa de atenção).

O artigo busca responder: É possível criar um ataque de backdoor que funcione em qualquer patch da imagem (independente da localização) e que seja simultaneamente furtivo visualmente e em termos de atenção?

2. Observações Fundamentais (O Fenômeno TRE)

Antes de propor a solução, os autores realizaram estudos empíricos que levaram a duas descobertas cruciais:

Efeito de Radiação do Gatilho (Trigger Radiating Effect - TRE):
- Em Redes Neurais Convolucionais (CNNs), a eficácia do ataque cai drasticamente se o gatilho não estiver na localização exata de treinamento.
- Em ViTs, devido ao mecanismo de auto-atenção, um gatilho inserido em um patch específico continua a ser eficaz mesmo quando ativado em patches vizinhos ou adjacentes. Os autores chamam isso de "Efeito de Radiação do Gatilho" (TRE).
- Quanto maior a perturbação do gatilho, mais forte é o TRE, mas isso compromete a furtividade visual.
Efeito Sinérgico de Múltiplas Localizações:
- Treinar o modelo inserindo o gatilho em múltiplas localizações (uma estratégia inter-patch) durante o treinamento aumenta sinergicamente o TRE, tornando o ataque mais robusto e eficaz em toda a imagem, comparado à inserção em um único patch.

3. Metodologia: O Ataque PASTA

O PASTA (Patch-Agnostic Twofold-Stealthy Backdoor Attack) é proposto para superar as limitações existentes. Ele introduz uma nova "carga útil" (payload) onde o atacante pode ativar o backdoor inserindo o gatilho em qualquer patch da imagem durante a inferência.

Componentes Principais:

Estratégia de Inserção de Gatilho Multi-localização (MIS):
- Para maximizar o TRE, o gatilho é inserido aleatoriamente em um conjunto de localizações candidatas (incluindo patches centrais de quadrantes e cantos) para cada amostra envenenada durante o treinamento. Isso ensina o modelo a responder ao gatilho independentemente de onde ele aparece.
Furtividade Dupla (Twofold Stealthiness):
- Furtividade Visual: O gatilho é projetado para ser imperceptível aos olhos humanos, minimizando a perturbação no domínio dos pixels (usando norma L2).
- Furtividade de Atenção: O ataque minimiza a disparidade entre os mapas de atenção das imagens limpas e as envenenadas. Diferente de ataques anteriores que forçam o modelo a focar no gatilho, o PASTA garante que o mapa de atenção da imagem envenenada seja idêntico ao da imagem limpa, evitando detecção por inspeção de atenção.
Formulação de Otimização Bi-nível (Bi-level Optimization):
- O desafio é otimizar simultaneamente os parâmetros do modelo ( $\theta$ ) e o padrão do gatilho ( $t$ ). Como eles são interdependentes (não separáveis), a otimização conjunta direta leva a ótimos locais.
- O PASTA formula o problema como uma otimização bi-nível:
  - Nível Superior: Otimização do modelo ( $\theta$ ).
  - Nível Inferior: Otimização do gatilho ( $t$ ).
- Framework de Treinamento Adaptativo: Para resolver isso, o framework alterna pequenos passos de gradiente entre a otimização do modelo e do gatilho. Isso permite que ambas as variáveis se adaptem gradualmente uma à outra, evitando convergência para ótimos locais e garantindo que o gatilho permaneça furtivo enquanto o modelo aprende a ativá-lo.

4. Resultados Experimentais

Os autores avaliaram o PASTA em quatro conjuntos de dados públicos (CIFAR-10, CIFAR-100, ImageNet e um subconjunto do ImageNet) contra modelos ViT-Base e compararam com o estado da arte (SOTA).

Eficácia do Ataque (ASR e TRE):
- O PASTA alcançou uma taxa de sucesso de ataque (ASR) média de 99,13% em patches arbitrários.
- Superou significativamente ataques anteriores (como BadNets, BadViT, DBIA) que, sob a mesma carga útil de "qualquer patch", tiveram um TRE médio de apenas ~45%.
Furtividade Visual:
- O PASTA demonstrou uma melhoria de 144,43 vezes na furtividade visual (medida por métricas como PSNR, SSIM e LPIPS) em comparação com ataques baseados em substituição de patches (REP). As imagens envenenadas são visualmente indistinguíveis das limpas.
Furtividade de Atenção:
- Houve uma melhoria de 18,68 vezes na furtividade de atenção (medida por ARES, APSNR, ALPIPS). Os mapas de atenção das imagens envenenadas são quase idênticos aos das limpas, tornando a detecção por inspeção de atenção ineficaz.
Robustez contra Defesas:
- O PASTA superou defesas específicas para ViT (como DBAVT e BAVT) e defesas baseadas em operações de patches (Patch Drop, Patch Shuffle).
- Enquanto ataques tradicionais falhavam drasticamente quando o gatilho era movido ou quando patches eram removidos, o PASTA manteve uma ASR superior a 90% ao utilizar múltiplas localizações de ativação (TALs).

5. Contribuições Chave

Descoberta do TRE: Primeira observação de que gatilhos baseados em patches em ViTs possuem um efeito de radiação sobre patches vizinhos, impulsionado pela auto-atenção.
Nova Carga Útil (Payload): Proposta de um ataque que pode ser ativado em qualquer patch da imagem, quebrando a dependência de localização fixa.
Furtividade Dupla: Desenvolvimento de um ataque que é simultaneamente furtivo visualmente e em termos de atenção, superando tanto a inspeção humana quanto a detecção automática baseada em atenção.
Framework de Otimização Adaptativa: Introdução de uma abordagem de otimização bi-nível com treinamento alternado para resolver o problema de não separabilidade entre o gatilho e o modelo, garantindo alta eficácia e furtividade.

6. Significado e Impacto

O trabalho PASTA representa um avanço significativo na segurança de Vision Transformers. Ele demonstra que os mecanismos de auto-atenção, embora benéficos para o desempenho, introduzem novas vulnerabilidades que permitem ataques mais sofisticados e difíceis de detectar.

Para a Comunidade de Segurança: O estudo expõe a insuficiência das defesas atuais que focam apenas em localizações fixas de gatilhos ou em anomalias de atenção.
Para o Desenvolvimento de Defesas: Sugere que futuras defesas para ViTs devem considerar a robustez contra gatilhos que podem aparecer em qualquer lugar da imagem e que não alteram o comportamento de atenção do modelo.
Risco Prático: Dado que muitos usuários dependem de modelos ViT pré-treinados de fontes externas, o PASTA ilustra um risco real de comprometimento de modelos onde o ataque pode ser ativado de formas inesperadas (qualquer patch) sem levantar suspeitas visuais ou estatísticas.

Em resumo, o PASTA redefine o estado da arte em ataques de backdoor contra ViTs, equilibrando eficácia máxima com furtividade extrema, desafiando as defesas existentes e apontando a necessidade de novas abordagens de segurança para arquiteturas baseadas em transformadores.