OmniPatch: A Universal Adversarial Patch for ViT-CNN Cross-Architecture Transfer in Semantic Segmentation

O artigo apresenta o OmniPatch, um framework de treinamento que gera um patch adversarial universal capaz de enganar modelos de segmentação semântica baseados tanto em CNNs quanto em ViTs em cenários de caixa preta, superando as limitações de transferibilidade das abordagens existentes.

O essencial

Imagine que você está dirigindo um carro autônomo de última geração. Os "olhos" desse carro são câmeras e um cérebro de Inteligência Artificial (IA) que analisa a estrada em tempo real, identificando pedestres, sinais de trânsito e postes para tomar decisões seguras.

Agora, imagine que alguém coloca um pequeno adesivo colorido e estranho em um poste de trânsito. Para nós, humanos, é óbvio que é um adesivo. Mas, para a IA, aquele adesivo é como um "truque de mágica" que faz o carro acreditar que o poste é uma árvore, ou pior, que ele não existe. Se o carro não vê o poste, ele pode bater nele.

O artigo "OMNIPATCH" trata exatamente disso: como criar um adesivo universal capaz de confundir diferentes tipos de "cérebros" de carros autônomos, e como os pesquisadores descobriram uma maneira de fazer isso funcionar em qualquer modelo, seja ele novo ou antigo.

Aqui está a explicação simplificada, passo a passo:

1. O Problema: Cérebros Diferentes, O Mesmo Truque

Existem dois tipos principais de "cérebros" (arquiteturas) que as IAs usam para ver o mundo:

• CNNs (Os Tradicionais): Eles olham para a imagem como se estivessem usando uma lupa, focando em detalhes locais (bordas, texturas).
• ViTs (Os Modernos): Eles olham para a imagem inteira de uma vez, como se estivessem voando de um drone, entendendo o contexto global.

O problema é que os hackers (ou pesquisadores de segurança) geralmente criam um adesivo que funciona apenas para um tipo de cérebro. Se você fizer um adesivo para confundir o modelo antigo, ele não vai funcionar no novo. Isso limita a utilidade do ataque na vida real.

2. A Solução: O "OmniPatch" (O Adesivo Universal)

Os autores criaram o OmniPatch, um adesivo inteligente que funciona em ambos os tipos de cérebro ao mesmo tempo. Eles chamam isso de "transferência cruzada".

Como eles fizeram isso? Usaram uma estratégia de treinamento duplo:

Passo 1: Encontrar o "Ponto Cego" (Onde colocar o adesivo?)

Em vez de colar o adesivo aleatoriamente no meio da imagem (o que seria óbvio e ineficiente), o OmniPatch usa um truque de "intuição":

• Ele primeiro pergunta ao modelo moderno (o ViT): "Onde você está mais confuso? Onde você tem mais dúvida?"
• Imagine que o ViT está olhando para um poste e pensando: "Isso é um poste? Ou é uma árvore? Não tenho certeza."
• O adesivo é colocado exatamente nesse ponto de dúvida. É como jogar uma pedra na água parada: o efeito é muito maior do que jogar na água agitada.

Passo 2: O Treinamento em Duas Etapas (O "Ginásio" da IA)

Para garantir que o adesivo funcione em todos os modelos, eles treinaram o adesivo em um "ginásio" com dois tipos de atletas:

1. Etapa 1 (O Especialista): Primeiro, eles treinam o adesivo para confundir apenas o modelo moderno (ViT), que é mais sensível e fácil de enganar. Eles focam em fazer o modelo moderno errar feio.
2. Etapa 2 (O Treino em Equipe): Depois, eles trazem o modelo antigo (CNN) para a sala. Agora, o objetivo é fazer o adesivo confundir os dois ao mesmo tempo.
   • O Truque de Harmonia: Às vezes, tentar enganar dois modelos ao mesmo tempo faz os "pensamentos" deles entrarem em conflito (como dois professores tentando ensinar coisas diferentes ao mesmo tempo). Para resolver isso, os pesquisadores usaram uma técnica de "alinhamento de gradientes". É como se eles dissessem aos dois modelos: "Ei, não briguem! Vamos tentar confundir o carro da mesma maneira." Isso garante que o adesivo seja eficaz para todos.

3. O Resultado: Um Adesivo que Funciona em Tudo

Quando eles testaram esse adesivo em vários modelos diferentes (desde os mais simples até os mais complexos), o resultado foi impressionante:

• O adesivo reduziu drasticamente a capacidade dos carros de verem a estrada corretamente.
• Funcionou tanto nos modelos antigos quanto nos novos.
• Funcionou mesmo quando o adesivo era pequeno (menos de 2% da imagem).

4. Por que isso é importante? (A Lição Moral)

Pode parecer assustador pensar em alguém colando adesivos em postes para derrubar carros. Mas a verdadeira importância deste trabalho é a defesa.

Para construir carros autônomos que realmente não vão bater em nada, os engenheiros precisam saber exatamente onde seus sistemas são frágeis. O OmniPatch é como um "teste de estresse" ou um "simulador de falha". Ao mostrar onde os modelos falham, os pesquisadores podem criar carros mais seguros, que não se deixam enganar por um simples adesivo.

Resumo da Ópera:
Os pesquisadores criaram um "adesivo mágico" que sabe exatamente onde colar para confundir qualquer tipo de cérebro de IA. Eles fizeram isso primeiro aprendendo com o modelo mais sensível e depois ensinando esse truque para os outros, garantindo que o ataque funcione em qualquer cenário. É um passo gigante para entendermos e protegermos a segurança dos carros autônomos do futuro.

Resumo técnico

1. Problema e Motivação

A segmentação semântica robusta é crítica para a segurança de sistemas de direção autônoma. No entanto, os modelos implantados permanecem vulneráveis a ataques adversariais de "caixa preta" (onde os pesos do modelo alvo são desconhecidos).

• Limitações das abordagens atuais: A maioria dos métodos existentes cria perturbações em toda a imagem (impraticáveis para uso físico) ou otimiza patches apenas para uma arquitetura específica, limitando sua transferibilidade.
• Desafio da Transferência: Existe uma lacuna significativa na criação de perturbações físicas que funcionem de forma universal entre arquiteturas heterogêneas, especificamente entre Redes Neurais Convolucionais (CNNs) e Transformadores de Visão (ViTs). Enquanto CNNs possuem viés local, os ViTs são altamente sensíveis a ataques baseados em patches devido aos seus mecanismos de atenção global.
• Objetivo: Desenvolver um patch adversarial universal que seja eficaz contra múltiplas arquiteturas (CNN e ViT) sem acesso aos parâmetros do modelo alvo, simulando uma ameaça física realista.

2. Metodologia: OmniPatch

O OmniPatch é um framework de treinamento projetado para aprender um patch adversarial universal. A abordagem utiliza um surrogato ViT (mais sensível) para guiar o ataque e um surrogato CNN para garantir a transferência, empregando uma estratégia de treinamento em duas etapas com regularização.

2.1 Posicionamento em Regiões Sensíveis

Em vez de colocar o patch aleatoriamente ou no centro, o método identifica regiões onde o modelo é mais incerto:

1. Identificação de Classe Sensível: Utiliza um surrogato ViT para calcular a entropia preditiva por classe em imagens limpas. A classe com a maior incerteza global é selecionada ($c^*$).
2. Expansão da Região: A máscara predita para essa classe é expandida via dilatação morfológica para criar uma área viável maior.
3. Amostragem Viésada por Entropia: A localização final do patch é amostrada dentro dessa região expandida, ponderada pela incerteza pixel a pixel (entropia), focando nos top-$p\%$ de pixels mais incertos. Isso explora a lacuna entre a atenção global do ViT e a extração de características locais da CNN.

2.2 Treinamento em Duas Etapas

O framework utiliza uma função de perda composta para otimizar o patch:

• Etapa 1 (Foco no ViT): Otimiza o patch para desestabilizar o surrogato ViT.
  • Utiliza uma Cross-Entropy Ponderada ($\gamma$) que prioriza pixels que o modelo classifica corretamente (confiantes) e penaliza menos os já errados. O objetivo é induzir erros em previsões que o ViT considera seguras.
• Etapa 2 (Ensemble ViT + CNN): Estende o treinamento para incluir um surrogato CNN.
  • Divergência JS: Identifica pixels com grande deslocamento de distribuição entre as previsões limpas e adversariais (usando Divergência Jensen-Shannon).
  • Objetivo de Transferência: Pondera pixels de alta divergência ($\beta$) para maximizar a transferência entre arquiteturas.
  • Alinhamento de Gradientes: Para evitar que atualizações de gradientes conflitantes entre CNN e ViT se anulem (interferência destrutiva), adiciona-se um termo de regularização que maximiza a similaridade de cosseno entre os vetores de gradiente dos dois surrogatos.

2.3 Perdas Auxiliares e Regularizadores

Para garantir a eficácia e a estabilidade, são adicionados três termos auxiliares:

1. Sequestro de Atenção (Attention Hijacking): Força o ViT a priorizar o patch em vez do rótulo verdadeiro em suas representações internas.
2. Disrupção de Fronteira: Inverte a perda de fronteira para induzir fragmentação nas bordas da segmentação.
3. Variação Total (TV): Controla o ruído visual para manter o patch realista.
4. Expectativa sobre Transformação (EOT): Aplica transformações aleatórias (escala, rotação, translação) durante o treinamento para simular condições físicas variáveis.

3. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Cityscapes (cenários urbanos).

• Modelos Alvo: PIDNet (S, M, L), BiSeNetV1/V2 e SegFormer.
• Configuração: Patch de $200 \times 200$ pixels (1.9% da área) colocado na região sensível da classe "poste" (pole).
• Desempenho (mIoU - Média de Interseção sobre União):
  • O OmniPatch causou uma queda drástica no mIoU em todos os modelos, superando significativamente a linha de base (Shekhar et al., 2025) e patches aleatórios.
  • Exemplo (PIDNet-S): O mIoU caiu de 0.8695 (imagem limpa) para 0.7299 com OmniPatch, uma queda de 16.05%. Em comparação, a linha de base causou apenas uma queda de 6.31%.
  • Transferibilidade: O método demonstrou alta eficácia tanto em modelos CNN quanto em ViT, confirmando a capacidade de transferência cruzada.
• Ablação:
  • A estratégia de posicionamento em região sensível superou posicionamentos aleatórios e no centro.
  • O uso de Divergência JS (em vez de KL) e o alinhamento de gradientes foram cruciais para a estabilidade e eficácia, aumentando a queda de mIoU em média 1.84% e 4-5% respectivamente em comparação com versões sem esses componentes.

4. Contribuições Principais

1. Primeiro Patch Universal Viável: Apresenta um dos primeiros métodos focados em criar um patch adversarial físico que funciona universalmente entre arquiteturas CNN e ViT para segmentação semântica.
2. Mecanismo de Posicionamento Baseado em Incerteza: Introduz uma nova estratégia de colocar o patch em regiões de alta incerteza do modelo ViT para explorar sua sensibilidade e transferir o ataque para CNNs.
3. Framework de Treinamento Híbrido: Desenvolveu uma abordagem de duas etapas com alinhamento de gradientes e ensemble learning para resolver o conflito de otimização entre arquiteturas fundamentalmente diferentes.
4. Validação Empírica Rigorosa: Demonstrou superioridade sobre o estado da arte em múltiplos modelos de ponta, incluindo redes em tempo real (BiSeNet) e transformadores (SegFormer).

5. Significado e Limitações

• Significado: O trabalho destaca a vulnerabilidade crítica dos sistemas de direção autônoma modernos (que estão migrando para ViTs ou usando ensembles) contra ataques físicos simples. Ele fornece uma ferramenta essencial para avaliar a robustez e desenvolver defesas mais fortes.
• Limitações: O patch gerado é visualmente intrusivo (ruído óbvio).
• Trabalho Futuro: Os autores planejam desenvolver técnicas de mistura de texturas para tornar o patch menos perceptível e testar a eficácia em condições climáticas e de iluminação variáveis, além de validações físicas reais.

Em resumo, o OmniPatch representa um avanço significativo na compreensão das vulnerabilidades de segurança em modelos de visão computacional modernos, demonstrando que a transferência de ataques entre arquiteturas distintas é não apenas possível, mas altamente eficaz quando guiada por princípios de incerteza e alinhamento de gradientes.