🤖 AI

VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

Este artigo argumenta que as altas taxas de sucesso reportadas para ataques adversariais universais em modelos de visão e linguagem confundem perturbação geral de saída com injeção precisa de prompt, revelando, por meio de uma nova avaliação de duas dimensões, que, embora perturbações imperceptíveis frequentemente perturbem as saídas do modelo, elas raramente alcançam injeção real, com apenas 0,756% dos casos testados atingindo qualquer nível de injeção não nulo.

Autores originais: Pang Liu, Yingjie Lao

Publicado 2026-05-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pang Liu, Yingjie Lao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robótico muito inteligente e educado que pode olhar para fotos e descrever o que vê. Você pergunta a ele: "O que há nesta foto de um cachorro?" e ele responde: "É um golden retriever brincando em um parque."

Agora, imagine que um hacker quer enganar esse robô para que ele diga algo específico, como "Visite este site duvidoso". Eles não podem alterar o cérebro do robô ou as palavras que você digita. Sua única ferramenta é adicionar uma camada minúscula e invisível de "ruído" à foto do cachorro — tão pequena que o olho humano não consegue vê-la, mas os "olhos" do robô podem notar.

Este artigo, VisInject, faz uma pergunta muito simples, mas crucial: Esse ruído invisível realmente faz o robô dizer a frase secreta do hacker, ou apenas faz o robô dizer algo diferente?

Os autores descobriram que relatórios anteriores estavam confundindo duas coisas muito diferentes. Aqui está a explicação usando analogias simples:

1. Os Dois Resultados Diferentes: "Confusão" vs. "Sequestro"

O artigo argumenta que os pesquisadores têm contado "Confusão" como se fosse "Sequestro".

Confusão (Influência/Desvio): O robô vê a foto com o ruído invisível e fica confuso. Em vez de dizer "um cachorro em um parque", ele pode dizer: "Isso parece uma colagem de texto" ou "Vejo uma bagunça borrada". A resposta do robô mudou, mas ele não disse o que o hacker queria.
- Analogia: É como alguém sussurrar uma distração no ouvido de um estudante durante uma prova. O estudante para de escrever sobre a pergunta de história e começa a rabiscar besteiras. Eles estão distraídos, mas não escreveram a resposta errada da qual o professor estava preocupado.
Sequestro (Injeção Precisa): O robô vê o ruído e, contra todas as probabilidades, cospe a frase secreta exata que o hacker queria, como "Visite www.exemplo.com".
- Analogia: Isso é o estudante ignorando completamente a distração e escrevendo a resposta errada específica que o intruso queria que eles escrevessem.

A Grande Descoberta: O artigo descobriu que a Confusão é muito comum (ocorrendo cerca de 66% das vezes), mas o Sequestro é incrivelmente raro (ocorrendo menos de 1% das vezes, e muitas vezes nem ocorre).

2. A Configuração do "Truque de Mágica"

Para provar isso, os pesquisadores combinaram dois "truques de mágica" (métodos de ataque) existentes de outros cientistas:

O Ruído Universal: Uma imagem especial projetada para confundir qualquer pergunta que você faça sobre ela.
O Portador: Uma ferramenta que pega esse ruído confuso e o pinta sobre uma foto normal e real (como uma foto de um gato ou um documento) para que pareça uma foto regular para os humanos.

Eles executaram essa configuração em 6.615 cenários diferentes usando quatro assistentes robóticos de código aberto diferentes.

3. Os Resultados: Uma Lacuna de 90 para 1

O número principal dos estudos anteriores era que esses ataques funcionam de 60% a 80% das vezes. Os autores dizem: "Isso é enganoso."

A Taxa de "Desvio": Quando verificaram se a resposta do robô mudou de alguma forma, ela mudou 66% das vezes. Os robôs estavam definitivamente confusos.
A Taxa de "Sequestro": Quando verificaram se o robô realmente disse a frase secreta do hacker, isso aconteceu apenas 0,75% das vezes.
A Taxa de Transcrição Literal: Quando verificaram se o robô disse as palavras exatas que o hacker queria (como uma URL específica), isso aconteceu apenas 0,03% das vezes (2 vezes em 6.615).

A Analogia: Imagine que um mágico tenta fazer uma moeda desaparecer. Em 66 de cada 100 tentativas, a moeda se move para um local diferente (Confusão). Mas em apenas 1 de cada 100 tentativas a moeda realmente desaparece completamente (Sequestro). Relatórios anteriores diziam: "Olhem! A moeda se moveu 66% das vezes! O mágico é incrível!" Os autores dizem: "Espere, a moeda não desapareceu. Ela apenas se moveu. O mágico não é tão poderoso quanto pensávamos."

4. Por Que Algumas Fotos Funcionam Melhor Do Que Outras

Os pesquisadores notaram que nas poucas vezes em que o robô disse a frase secreta, isso só aconteceu com tipos específicos de fotos.

Fotos Naturais: Se a foto fosse de um cachorro ou de um gato, o robô quase nunca disse a frase secreta.
Fotos de Documentos: Se a foto fosse uma captura de tela de um site, um editor de código ou uma conta, o robô tinha uma probabilidade ligeiramente maior de dizer a frase secreta.
Por quê? Os autores explicam que, se a foto já parece um documento com texto (como uma conta), o robô já está esperando ler texto. O ruído invisível apenas empurra o robô para ler o "texto errado" (a frase do hacker) em vez do texto real. Se a foto é de um cachorro, o robô está esperando descrever pelo e patas, então a frase secreta não se encaixa na história.

5. O Robô "Super-Resistente"

Uma das descobertas mais interessantes envolveu um modelo robótico específico chamado BLIP-2.

Enquanto os outros três robôs ficaram confusos pelo ruído invisível 100% das vezes, o BLIP-2 nem percebeu.
Mesmo quando os pesquisadores tentaram usar o BLIP-2 para ajudar a criar o ataque, o ataque falhou completamente contra ele mais tarde.
O Motivo: Os autores sugerem que o BLIP-2 tem um "gargalo" em seu cérebro. Ele comprime a imagem em um resumo minúsculo antes de lê-la. Essa compressão atua como um filtro que elimina o ruído minúsculo e invisível antes mesmo de o robô poder vê-lo. É como tentar sussurrar um segredo através de uma parede grossa; os outros robôs ouviram, mas a parede do BLIP-2 era forte demais.

Resumo

O artigo conclui que, embora ataques invisíveis possam definitivamente confundir modelos de visão e linguagem (fazendo-os dar respostas estranhas ou diferentes), eles são terríveis em forçar os modelos a dizer frases específicas e perigosas.

A "lacuna de 90x" significa que, se você está preocupado com um robô sendo enganado para dizer uma URL ou senha específica, provavelmente está superestimando o perigo. É muito mais provável que o robô apenas fique confuso e diga algo bobo do que obedeça obedientemente ao comando do hacker.

A Conclusão: Não entre em pânico com a "taxa de sucesso de 60-80%" que você pode ter lido. Esse número conta principalmente "confusão", não "sequestro". O perigo real desses ataques específicos é muito, muito menor do que as manchetes sugerem.

Com base no artigo fornecido, segue um resumo técnico detalhado de VisInject: Disrupção ≠ Injeção — Uma Avaliação Bidimensional de Ataques Adversariais Universais em Modelos Visão-Linguagem.

Declaração do Problema

A literatura recente sobre Ataques Adversariais Universais (UAA) contra Modelos Visão-Linguagem (VLMs) reporta altas Taxas de Sucesso de Ataque (ASR) na faixa de 60–80%. Essas métricas sugerem que perturbações de pixels imperceptíveis podem servir como um canal viável de injeção de prompt, potencialmente sobrepondo alinhamentos de segurança. No entanto, os autores argumentam que esses números reportados confundem dois eventos distintos:

Influência (Desvio): A saída do modelo é perturbada e difere da linha de base limpa.
Injeção Precisa (Entrega de Carga Útil): A string ou conceito específico do alvo do atacante aparece efetivamente na resposta.

O artigo postula que os benchmarks existentes, que frequentemente dependem de uma única métrica de "a saída mudou?", superestimam sistematicamente a utilidade de ataques visuais como vetor de entrega para cargas úteis específicas.

Metodologia

Os autores propõem o VisInject, um pipeline de três estágios que combina métodos de ataque existentes com uma nova estrutura de avaliação bidimensional.

1. Pipeline de Ataque (Estágios 1 e 2):

Estágio 1 (Geração de Sinal Universal): Utiliza o método de Ataque Adversarial Universal (UAA) de Rahmatullaev et al. (24). Uma única imagem adversarial "universal" é otimizada via PGD (Descida de Gradiente Projetada) contra um ensemble de 2–4 VLMs abertos (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL, BLIP-2) usando 60 prompts benignos. O objetivo é criar uma imagem que direcione o modelo para uma frase-alvo escolhida, independentemente do prompt do usuário.
Estágio 2 (Fusão Realista de Portadores): Utiliza o framework codificador–decodificador AnyAttack de Zhang et al. (29). O sinal adversarial universal do Estágio 1 é codificado via um codificador CLIP congelado e decodificado em um tensor de ruído limitado por $L_\infty$ . Esse ruído é adicionado a fotos limpas arbitrárias (por exemplo, cenas naturais, capturas de tela) para criar portadores adversariais realistas. O orçamento de perturbação é restrito a $L_\infty \le 16/255$ (PSNR $\approx$ 25,2 dB).

2. Avaliação Bidimensional (Estágio 3):
Em vez de uma única métrica ASR, o pipeline pontua cada par de respostas (limpa, adversarial) ao longo de dois eixos independentes usando um juiz LLM (DeepSeek-V4-Pro, calibrado contra Claude Opus 4.7):

Influência (Desvio): Mede se a resposta desviou da linha de base limpa. Avaliado via uma pontuação determinística de similaridade de strings Ratcliff-Obershelp (linha de base programática) e um julgamento ordinal de 4 níveis por LLM (nenhum, leve, substancial, completo).
Injeção Precisa (Entrega de Carga Útil): Mede se o conceito-alvo específico apareceu. Avaliado via um julgamento ordinal de 4 níveis por LLM:
- Nenhum: Nenhum conteúdo-alvo.
- Fraco: Fragmentos temáticos (por exemplo, "PRESIDENTE" para um alvo de eleição).
- Parcial: Variantes de classe semântica (por exemplo, "número de conta" para "número de cartão").
- Confirmado: Frase-alvo literal ou quase literal.

Configuração Experimental:
O estudo varre uma matriz $7 \times 7 \times 3$ : 7 prompts-alvo (variando de URLs literais a categorias semânticas como desinformação), 7 imagens de teste (fotos naturais e capturas de tela estilo documento) e 3 configurações de ensemble substituto, avaliadas em 4 VLMs abertos. Isso resulta em 6.615 pares de respostas.

Principais Resultados

A descoberta central é uma divergência massiva entre disrupção e injeção:

Alta Disrupção, Baixa Injeção: Em todos os 6.615 pares, a taxa de disrupção programática é de 66,4%, e a taxa de disrupção julgada por LLM como "substancial ou completa" é de 46,6%. No entanto, a taxa de Injeção Precisa é drasticamente menor:
- Injeção Ampla (qualquer nível não-nenhum): 0,756% (50/6.615 pares).
- Injeção Estrita/Literal (nível Confirmado): 0,030% (2/6.615 pares).
- Isso representa uma divergência de aproximadamente 90× entre o modelo ser perturbado e a carga útil ser entregue.
Sensibilidade Arquitetural:
- VLMs estilo Transformer (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL) são universalmente perturbados (100% de disrupção programática), mas mostram taxas mínimas de injeção (0,09%–1,5%).
- BLIP-2 (usando um gargalo Q-Former) mostra 0,00% de desvio ou injeção detectável em todos os 2.205 pares, mesmo quando usado como substituto do Estágio 1. Os autores hipotetizam que o gargalo de informação do Q-Former e o subamostragem de resolução filtram a perturbação.
Dependência de Imagem e Carga Útil:
- As injeções que ocorrem agrupam-se em imagens estilo captura de tela/documento (por exemplo, editores de código, contas, páginas da web), onde o espaço de resposta naturalmente convida à transcrição de texto ou contém tokens com formato de URL/conta.
- Fotos naturais (cachorro, gato) mostram alta disrupção, mas zero injeções literais.
- Cargas úteis de texto literal (URLs) sobrevivem melhor à fusão do Estágio 2 do que cargas úteis semânticas, mas mesmo assim, correspondências exatas de strings são raras.

Principais Contribuições

Estrutura Bidimensional: Uma metodologia que desacopla "desvio" de "entrega de carga útil", demonstrando que métricas ASR de número único confundem modos de falha qualitativamente diferentes.
Varredura Sistemática: Uma avaliação abrangente de 6.615 pares em quatro VLMs, revelando a lacuna de ~90× entre disrupção e injeção.
Observação Arquitetural: Identificação da imunidade do BLIP-2 a esses ataques em $L_\infty=16/255$ , sugerindo que gargalos estilo Q-Former podem oferecer robustez adversarial inerente sem necessidade de retreinamento.
Conjunto de Dados Público: Liberação do conjunto de dados completo (imagens universais, fotos adversariais, pares de respostas e caches do juiz) para permitir reprodutibilidade bit-exata sem chaves de API.

Significado e Alegações

O artigo alega que a narrativa atual de "modalidade visual como um ponto fraco" para injeção de prompt é exagerada quando definida estritamente pela entrega de carga útil. Embora perturbações adversariais universais sejam eficazes em perturbar as saídas do modelo (causando alucinações ou mudanças de tópico), elas são ineficazes em injetar de forma confiável frases específicas escolhidas pelo atacante no fluxo de resposta.

Os autores concluem que:

Padrões de Avaliação: Futuros benchmarks devem relatar tanto Influência quanto Injeção Precisa separadamente, pois uma única métrica ASR esconde a verdadeira dificuldade da entrega de carga útil.
Implicações de Defesa: Escolhas arquiteturais, especificamente gargalos de informação como o Q-Former, podem oferecer robustez substancial contra ataques limitados por $\epsilon$ sem a necessidade de ajuste fino adversarial caro.
Realidade do Modelo de Ameaça: Para um atacante buscando entrega confiável de carga útil (por exemplo, exfiltrar dados ou injetar uma URL específica), ataques universais visuais em VLMs abertos pequenos são atualmente um vetor não competitivo em comparação com canais não adversariais, com taxas de sucesso flutuando perto de 0,2%.

O artigo mantém uma postura modesta, observando que suas descobertas são específicas aos VLMs abertos testados e ao orçamento $L_\infty=16/255$ , e que a transferibilidade sistemática para modelos fechados de fronteira (como GPT-4o) permanece uma questão em aberto, embora testes anedóticos iniciais sugiram que o ataque não se transfere.