💻 computer science

A Survey of Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization

Este artigo faz um levantamento de ataques de degradação de eficiência adversarial em Vision Transformers que exploram mecanismos adaptativos de entrada, como poda de tokens e interrupção precoce, para aumentar os custos computacionais sem prejudicar significativamente a acurácia, enquanto analisa métodos de ataque específicos, frameworks vulneráveis e potenciais defesas leves.

Autores originais: Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Publicado 2026-08-07

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o cérebro do seu smartphone, a inteligência artificial que ajuda você a reconhecer rostos ou navegar em mapas, é um chef de cozinha superveloz, mas faminto. Este chef não apenas cozinha cada refeição da mesma maneira; ele é inteligente o suficiente para olhar os ingredientes primeiro. Se você lhe entregar um sanduíche simples e puro, ele pode pular o corte sofisticado e apenas servi-lo rapidamente para economizar energia. Mas se você lhe entregar uma lasanha complexa e de várias camadas, ele sabe que deve puxar todas as facas e gastar mais tempo cozinhando. Este "chef inteligente" é um Vision Transformer (ViT), um tipo de IA que observa imagens. Para tornar esses chefs mais rápidos e menos famintos pela bateria, engenheiros inventaram um truque chamado "token pruning" (poda de tokens). Pense em uma imagem como um mosaico feito de milhares de pequenos azulejos (tokens). O sistema de poda decide quais azulejos são chatos e sem importância, joga-os fora e só cozinha com os interessantes. É como um bibliotecário que lê apenas a primeira página de um livro para decidir se o resto vale a pena ser lido.

No entanto, assim como qualquer sistema inteligente, este truque de eficiência tem uma fraqueza secreta. E se alguém pudesse enganar o bibliotecário para fazê-lo pensar que um livro chato é, na verdade, um mistério emocionante? Ou e se alguém colasse um pequeno adesivo invisível em um sanduíche simples que fizesse o chef pensar que é um banquete complexo? Este é o parquinho dos "ataques adversários". Normalmente, hackers tentam enganar a IA para ver um gato como um cachorro. Mas, neste canto específico da ciência, um novo tipo de encrenqueiro surgiu. Em vez de tentar mudar o que a IA vê, eles estão tentando quebrar como a IA funciona, forçando-a a gastar toda a sua energia e tempo em uma tarefa simples. É como um pregador de peças que não muda o cardápio, mas convence o chef a usar a cozinha inteira para uma única fatia de torrada.

A Missão do Artigo: Encontrando os "Encrenqueiros de Energia"

Este artigo, intitulado "Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization", é um levantamento — um relatório grande e organizado — que investiga esses novos "encrenqueiros de energia". Os autores, uma equipe de pesquisadores da Índia e de Singapura, queriam entender como os hackers estão explorando os truques do "chef inteligente" (como a poda de tokens) para fazer os modelos de IA trabalharem mais do que precisam, drenando baterias e diminuindo a velocidade sem necessariamente mudar a resposta final.

Os Dois Principais Encrenqueiros

O artigo foca em duas maneiras específicas pelas quais esses ataques funcionam, comparando-as como dois tipos diferentes de travessura:

O "Adesivo Universal" (SlowFormer): Imagine um adesivo pequeno e específico que você pode colar em qualquer foto do mundo. Não importa se é uma foto de um gato, um carro ou um pôr do sol, se você colar esse patch no canto, o sistema de "poda inteligente" da IA fica confuso. De repente, ele pensa: "Oh não, isso parece super complexo! É melhor manter todos os azulejos e fazer o cálculo pesado completo!" O artigo explica que este adesivo é um "patch adversário universal". Ele é treinado uma vez e depois funciona em tudo. É como uma chave mestra que trava o interruptor inteligente de todas as portas de um edifício.
O "Ruído Personalizado" (DeSparsify): Este é um tipo diferente de truque. Em vez de um adesivo, este ataque adiciona um pouco de ruído estático invisível a cada imagem específica. É como sussurrar um segredo para o chef para cada pedido. "Ei, este sanduíche na verdade precisa de cortes extras!" O artigo observa que este método é muito preciso, adaptado para cada imagem para forçar a IA a manter mais tokens do que deveria.

Os Resultados: Qual é o Tamanho do Dano?

Os pesquisadores testaram essas travessuras em três sistemas populares de "poda inteligente" (chamados A-ViT, ATS e AdaViT) usando conjuntos de dados de imagens padrão. Aqui está o que eles descobriram, mantendo os números exatamente como o artigo relatou:

O Ataque de "Adesivo" (SlowFormer): Quando eles colaram seu patch universal nas imagens, a eficiência da IA sofreu um impacto massivo. Por exemplo, no sistema A-ViT, a potência computacional necessária (medida em GFLOPs) saltou de um valor baixo de 3,70 (quando nenhum ataque estava acontecendo) para até 4,60. Essa é a mesma quantidade de energia que a IA usaria se não estivesse sendo "inteligente" de forma alguma! O ataque foi tão bem-sucedido que alcançou uma taxa de "Sucesso de Ataque" de 100% no A-ViT, o que significa que derrotou completamente o truque de eficiência. No entanto, houve uma ressalva: a precisão da IA caiu significativamente (em 76,5%), o que significa que a IA ficou muito confusa sobre o que estava olhando.
O Ataque de "Ruído" (DeSparsify): Este método foi mais sorrateiro. Ele conseguiu elevar o uso de energia para 4,60 GFLOPs no A-ViT também, mas fez um trabalho muito melhor em se esconder. A precisão caiu apenas 0,1%. A IA ainda sabia que estava olhando para um gato, mas estava gastando sua bateria para fazer isso. No sistema ATS, este ataque elevou a potência para 4,20 GFLOPs com uma taxa de sucesso de ataque de 73,3%.

O artigo sugere que, embora o "adesivo" seja poderoso, o ataque de "ruído" é frequentemente mais perigoso na vida real porque não quebra a capacidade da IA de reconhecer coisas, tornando-o mais difícil de notar.

As Contraofensivas: Podemos Parar Eles?

Os autores também investigaram como se defender dessas travessuras. Eles descobriram que ainda não existe um escudo perfeito, mas há algumas ideias promissoras:

Ensinar a IA a esperar problemas (Treinamento Adversário): Para o ataque de "adesivo", o artigo sugere treinar a IA com um conjunto desses adesivos ruins. É como praticar para uma tempestade simulando uma em uma sala segura. Quando fizeram isso, a taxa de sucesso do ataque do adesivo no A-ViT caiu de 100% para 34%. A IA tornou-se muito mais resistente, embora não tenha se tornado invencível.
A "Verificação de Confiança" (Defesa baseada em Confiança): Para o ataque de "ruído", os pesquisadores sugeriram uma regra onde a IA verifica sua própria confiança. Se ela acha que uma decisão é incerta, ela se força a manter mais tokens, mas se estiver muito confiante, ela segue o plano. Isso funcionou surpreendentemente bem. No sistema ATS, essa defesa reduziu a taxa de sucesso do ataque de 73,5% para apenas 5,3%.

Os Limites e o Futuro

O artigo é cuidadoso ao apontar que essas defesas não são varinhas mágicas. Eles sugerem que, embora esses métodos reduzam o dano, eles não restauram totalmente a velocidade e a duração da bateria originais. Os autores também destacam grandes fraquezas nos ataques atuais:

Eles precisam de conhecimento interno: A maioria dessas travessuras só funciona se o hacker souber exatamente como o sistema de "poda inteligente" é construído. Se o sistema for uma "caixa preta" (escondida da visão), o ataque pode falhar.
Eles não se transferem bem: Uma travessura projetada para um tipo de sistema de poda (como o ATS) muitas vezes não funciona em outro (como o A-ViT).
Eles só funcionam em sistemas "inteligentes": Esses ataques não funcionam em sistemas de IA mais antigos e "burros" que realizam a mesma quantidade de trabalho, independentemente da imagem.

Em conclusão, este artigo mapeia uma nova fronteira de riscos de segurança. Ele mostra que, à medida que tornamos a IA mais inteligente e eficiente ao permitir que ela pule etapas, acidentalmente damos aos hackers uma nova maneira de enganá-la para que ela corra em círculos. Os autores sugerem que, embora possamos construir cercas melhores (defesas), precisamos continuar estudando esses "encrenqueiros de energia" para garantir que nossa IA do futuro permaneça tanto inteligente quanto segura.

Resumo Técnico: Degradação de Eficiência Adversária para Vision Transformers através da Exploração de Otimização Adaptativa ao Input

1. Definição do Problema

Os Vision Transformers (ViTs) alcançaram um sucesso notável na visão computacional, mas enfrentam desafios significativos de eficiência, particularmente em ambientes com recursos limitados, como dispositivos móveis e embarcados. Para mitigar o custo computacional quadrático da autoatenção, pesquisadores desenvolveram técnicas de inferência adaptativa ao input, como a poda de tokens (remoção dinâmica de tokens não informativos) e a interrupção precoce (parar a inferência para tokens específicos uma vez que um limiar de confiança é atingido). Estruturas proeminentes incluem Adaptive Token Sampling (ATS), AdaViT e A-ViT.

Embora esses métodos reduzam o caso médio de computação (FLOPs), energia e latência, eles introduzem uma nova vulnerabilidade de segurança: a Degradação de Eficiência Adversária. Diferente dos ataques adversários tradicionais que visam a classificação incorreta de inputs, esses ataques visam o próprio processo computacional. Ao explorar os sinais diferenciáveis e orientados pelo conteúdo que regem as decisões adaptativas (ex: mapas de atenção, escores de interrupção), um adversário pode criar inputs que forçam o modelo a reter mais tokens ou executar camadas mais profundas do que o necessário. Isso resulta em um aumento acentuado nos custos de tempo de inferência (latência, energia, memória) sem necessariamente degradar a precisão da predição do modelo, o que pode causar falhas no sistema em aplicações de tempo real, como monitoramento de saúde ou drones autônomos.

2. Metodologia e Mecanismos de Ataque

O artigo unifica e analisa duas classes representativas de ataques que visam estruturas de poda de tokens (ATS, AdaViT, A-ViT):

A. DeSparsify (Perturbações por Imagem)

O DeSparsify emprega perturbações de nível de pixel $\ell_\infty$ adaptadas a imagens específicas. Ele otimiza uma perturbação $\delta$ para maximizar o custo computacional enquanto preserva o rótulo de classificação original.

Mecanismo: Utiliza uma função de perda composta combinando um termo orientado à computação ( $L_{atk}$ ) e um termo de preservação de classificação ( $L_{cls}$ ).
Direcionamento a Estruturas Específicas:
- A-ViT: O ataque minimiza os escores de interrupção cumulativos entre as camadas, impedindo que os tokens alcancem o limiar de interrupção, forçando assim a execução de profundidade total.
- AdaViT: Ele empurra as redes de decisão (relaxações Gumbel-Softmax) para ativar todos os blocos, cabeças e patches, efetivamente desativando as máscaras de esparsidade.
- ATS: Ele achata a distribuição do escore de significância dos tokens (maximizando a entropia), tornando difícil para o mecanismo de amostragem distinguir e podar os tokens.
Otimização: Utiliza o gradiente descendente projetado (PGD) para atualizar a perturbação.

B. SlowFormer (Patch Adversário Universal)

O SlowFormer introduz um patch adversário universal — um patch de imagem de tamanho fixo, treinado uma única vez em um conjunto de dados e aplicável a qualquer imagem de entrada sem otimização por amostra.

Mecanismo: O patch é otimizado via gradiente ascendente em uma perda de maximização de computação específica para o método de poda alvo, enquanto os pesos do backbone permanecem congelados.
Direcionamento a Estruturas Específicas:
- A-ViT: Nega os objetivos de treinamento (ex: minimizar a perda de ponderação/pondering loss) para atrasar a interrupção.
- AdaViT: Nega a perda de uso para aumentar a probabilidade de manter patches, cabeças e blocos ativos.
- ATS: Uniformiza a distribuição de atenção do token de classe sobre os patches para maximizar o número de sobreviventes únicos.
Praticidade: Argumenta-se que esta abordagem agnóstica ao input é mais prática para ataques físicos do mundo real do que as perturbações por imagem.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições para o campo da segurança de ViT:

Sistematização de Ataques de Eficiência: Define e categoriza uma nova classe de ataques que visam a eficiência do sistema (computação/energia), em vez da precisão, focando especificamente na inferência adaptativa ao input.
Análise Unificada: Fornece uma análise comparativa de dois vetores de ataque distintos (SlowFormer e DeSparsify) através de três principais estruturas de poda de tokens (A-ViT, ATS, AdaViT) usando métricas padronizadas.
Métricas de Avaliação Padronizadas: Os autores introduzem a métrica de Sucesso do Ataque (AS) para quantificar a eficácia de um ataque. O AS mede quanto dos potenciais ganhos de computação do modelo são negados pelo ataque, calculado como:
$AS = \frac{F_{attack} - F_{min}}{F_{max} - F_{min}} \times 100\%$
Onde $F_{attack}$ são os GFLOPs sob ataque, $F_{min}$ são os GFLOPs limpos (podados) e $F_{max}$ são os GFLOPs densos (não podados).
Avaliação de Defesa: O artigo avalia estratégias de defesa existentes, incluindo limites de retenção de tokens baseados em confiança e treinamento adversário com patches universais, quantificando sua capacidade de restaurar a eficiência.

4. Resultados Experimentais

Os experimentos foram conduzidos no ImageNet e CIFAR-10 usando backbones ViT-Small e DeiT-Small.

Degradação de Eficiência: Ambos os ataques forçaram com sucesso os modelos adaptativos a operar próximo à sua linha de base densa.
- A-ViT: O DeSparsify aumentou os GFLOPs de 3.70 para 4.60 (100% AS), enquanto o SlowFormer alcançou os mesmos 100% de AS.
- ATS: O DeSparsify alcançou 73.3% de AS (4.20 GFLOPs), enquanto o SlowFormer alcançou 60.0% de AS (4.00 GFLOPs).
- AdaViT: O DeSparsify alcançou 43.4% de AS (3.27 GFLOPs), e o SlowFormer alcançou 40.4% de AS (3.20 GFLOPs).
Impacto na Precisão: Os ataques foram otimizados para preservar a precisão. O DeSparsify geralmente manteve a perda de precisão abaixo de 1.2% entre as estruturas. Em contraste, o SlowFormer causou quedas significativas de precisão em algumas configurações, como uma perda de 76.5% no A-ViT, embora isso tenha sido observado como um efeito colateral, não como o objetivo primário do ataque.
Impacto no Hardware: O artigo observa que o DeSparsify pode aumentar o uso de memória em ~37% e o consumo de energia em ~72% em relação aos inputs limpos.
Eficácia da Defesa:
- Defesa Baseada em Confiança (DeSparsify): Reduziu significativamente o Sucesso do Ataque (ex: A-ViT AS caiu de 100% para 36.9%; ATS de 73.5% para 5.3%).
- Treinamento Adversário (SlowFormer): Reduziu o AS do A-ViT de 100% para 34% e baixou os GFLOPs para mais próximo do ponto de operação limpo.

5. Significância e Alegações

O artigo alega que compreender esses ataques é crucial para projetar contramedidas que permaneçam leves, já que os ViTs são frequentemente implantados em configurações de baixa potência. A significância reside em:

Revelar uma Nova Superfície de Ataque: Demonstrar que as otimizações adaptativas ao input, destinadas a economizar recursos, criam inerentemente um caminho de computação "direcionável" que pode ser manipulado a partir do espaço de pixels para maximizar o consumo de recursos.
Destacar o Trade-off: Mostrar que, embora existam defesas (ex: limitar a contagem de tokens, treinamento adversário), elas muitas vezes apenas restauram parcialmente a eficiência e podem introduzir seus próprios custos ou trocas de precisão.
Identificar Limitações: Os autores notam modestamente que os ataques atuais sofrem de transferência limitada entre diferentes estruturas de poda, uma dependência de conhecimento white-box dos mecanismos internos e aplicabilidade estreita a métodos adaptativos (ineficazes contra poda estática).
Direções Futuras: O artigo conclui com um chamado para defesas que forneçam limites certificados de "robustez de eficiência" e ataques que possam transferir entre diferentes otimizações de inferência e cenários físicos.

Em resumo, o artigo estabelece que os ganhos de eficiência dos Vision Transformers são frágeis contra adversários que podem manipular a lógica de inferência dinâmica, necessitando de um novo foco em "robustez de eficiência" ao lado da tradicional robustez de precisão.