IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

Este artigo apresenta o IAG, o primeiro ataque de backdoor multi-alvo adaptativo para modelos de linguagem e visão (VLMs) de grounding visual, que gera dinamicamente gatilhos imperceptíveis guiados por texto para redirecionar a localização de objetos para alvos específicos sem comprometer o desempenho em amostras benignas.

O essencial

Imagine que você tem um assistente de IA superinteligente, capaz de "ver" e "entender" o mundo como nós. Ele pode olhar para uma foto e dizer: "Aqui está o pão" ou "Aqui está o botão de comprar". Isso é chamado de Visual Grounding (Ancoragem Visual). É como se a IA tivesse um dedo apontando para o que você pediu.

Agora, imagine que um hacker malicioso consegue "infectar" esse assistente de uma forma muito sutil. É aqui que entra o IAG, o assunto do artigo que você enviou.

Vamos explicar como isso funciona usando uma analogia do dia a dia: O "Gêmeo Malvado".

1. O Problema: O Assistente Cego (mas não exatamente cego)

Normalmente, se você pede ao assistente: "Mostre-me onde está o pão", ele olha a foto, encontra o pão e aponta para ele. Tudo certo.

Mas, com o ataque IAG, o hacker cria um "gêmeo malvado" dentro do cérebro da IA. Esse gêmeo não muda a personalidade do assistente (ele continua sendo útil para tarefas normais), mas ele tem um superpoder secreto: ele ignora o que você pede e aponta para o que o hacker quer.

2. A Magia do Ataque: O "Sinal de Trânsito Invisível"

A parte genial (e assustadora) do IAG é que ele não usa um sinal óbvio, como um ponto vermelho na foto ou um código estranho escrito no canto.

• Como funcionam os ataques antigos: Eles usavam um "gatilho" estático. Imagine que o hacker colava um adesivo de estrela em todas as fotos. Se a estrela estivesse lá, a IA ignorava o pão e apontava para o gato, não importa o que você perguntasse. Mas isso é fácil de perceber e remover.
• Como funciona o IAG (Input-Aware): O IAG é como um camaleão. Ele olha para a foto e para o que você pediu, e cria um "sinal" que se mistura perfeitamente com a imagem.
  • Se você pede para encontrar o "pão", o IAG cria um sinal invisível que diz à IA: "Não olhe para o pão! Olhe para o hambúrguer!".
  • Se você pede para encontrar o "gato", o sinal muda e diz: "Ignore o gato! Olhe para o cachorro!".

O sinal é tão bem feito que é imperceptível para o olho humano. A foto parece exatamente a mesma, mas para a IA, ela foi "reescrita" para apontar para o alvo do hacker.

3. O Cenário Real: Por que isso é perigoso?

O artigo mostra cenários onde isso pode dar muito errado:

• Na sua tela do computador (GUI): Imagine que você está navegando na internet e quer clicar em "Jogar Agora". O assistente da IA, infectado pelo IAG, vê um botão de "Assinar Plano Premium" (que é o alvo do hacker) e, em vez de mostrar o botão de jogar, ele aponta para o botão de assinatura. Você clica sem querer e perde dinheiro.
• Em carros autônomos: Se um carro usa essa tecnologia para entender a estrada, e o hacker quer que o carro ignore um pedestre e foque em uma placa de "Parar", o carro pode tomar decisões fatais.

4. Por que é difícil de defender?

Os pesquisadores testaram várias formas de "limpar" a IA (como filtros de imagem ou re-treinamento), mas o IAG é muito esperto:

• Ele se adapta a qualquer imagem (não é um adesivo fixo).
• Ele se mistura perfeitamente com a foto (como um camaleão).
• Ele funciona mesmo com poucas fotos "infectadas" no treinamento (como uma gota de veneno que estraga a sopa inteira).

Resumo em uma frase

O IAG é como um truque de ilusionista digital que ensina a IA a olhar para o lado errado de forma tão natural que nem você nem a própria IA percebem que estão sendo enganados, apontando sempre para o que o vilão quer, e nunca para o que você pediu.

O objetivo do artigo não é ensinar a fazer isso, mas sim acender um alerta: "Ei, essas IAs que estão ficando muito inteligentes têm uma porta dos fundos que ninguém estava vigiando, e precisamos consertá-la antes que os vilões a usem de verdade."

Resumo técnico

Título: IAG: Ataque de Backdoor Sensível à Entrada em Grounding Visual Baseado em VLM

1. O Problema

Os Modelos Visão-Linguagem (VLMs) revolucionaram a tarefa de Grounding Visual (localizar objetos em uma imagem com base em consultas de linguagem natural). No entanto, a segurança desses sistemas, especialmente contra ataques de backdoor (porta dos fundos), foi pouco investigada.

O artigo identifica uma vulnerabilidade crítica e realista: a possibilidade de um atacante injetar um backdoor em um VLM de modo que o modelo ignore a consulta do usuário e localize, em vez disso, um objeto alvo especificado pelo atacante, independentemente do que o usuário pediu. Diferente de ataques anteriores que usam gatilhos estáticos (como um pixel fixo) ou alvos fixos, este cenário é mais perigoso porque:

• O alvo do ataque pode mudar dinamicamente para qualquer objeto na imagem.
• O ataque deve ser imperceptível (o gatilho não deve alterar visualmente a imagem).
• O modelo deve manter seu desempenho normal em dados benignos para evitar detecção.

2. Metodologia (IAG)

Os autores propõem o IAG (Input-aware Backdoor Attack), um método que gera gatilhos dinâmicos e sensíveis à entrada, guiados por texto.

• Gerador de Gatilho Sensível à Entrada:

  • Utiliza uma U-Net condicionada a texto.
  • O modelo recebe a imagem original ($x$) e a descrição do objeto alvo escolhido pelo atacante ($o$).
  • A descrição do alvo é codificada em um embedding de texto ($z_o$) usando uma camada de linguagem congelada (de um VLM limpo).
  • A U-Net gera um gatilho ($r$) que é adicionado à imagem original ($x \oplus r$).
  • O gatilho é projetado para ser imperceptível, mas carrega informações semânticas que "enganam" o VLM a focar no objeto alvo.

• Função de Perda Conjunta (Joint Training):
  Para treinar o gerador de gatilhos e o VLM infectado simultaneamente, o IAG otimiza uma função de perda composta por:

  1. Perda de Modelo de Linguagem ($L_{LM}$): Garante que, para dados envenenados (com gatilho), o modelo gere as coordenadas do objeto alvo, e para dados limpos, mantenha a resposta correta.
  2. Perda de Reconstrução ($L_{rec}$): Garante a imperceptibilidade. Combina uma perda de nível de pixel ($L_1$) e uma perda perceptual (LPIPS) para assegurar que a imagem com o gatilho seja visualmente indistinguível da original.

• Formulação do Problema:
  O objetivo é encontrar parâmetros $\theta$ que minimizem a discrepância entre a saída do modelo envenenado e o alvo do atacante, sujeito a restrições de orçamento de perturbação (imperceptibilidade) e manutenção de precisão em dados limpos.

3. Principais Contribuições

1. Primeiro Ataque Multi-Alvo Dinâmico: Formalizam o primeiro ataque de backdoor multi-alvo para grounding visual baseado em VLMs, onde o alvo pode ser qualquer objeto descrito na imagem, não apenas uma classe fixa.
2. Gerador de Gatilho Adaptativo: Projetam um gerador baseado em U-Net condicionada a texto que injeta pistas semânticas imperceptíveis, permitindo a manipulação precisa e furtiva do grounding do VLM.
3. Avaliação Abrangente: Demonstram a eficácia do ataque em 12 configurações diferentes (3 modelos VLMs: LLaVA, InternVL, Ferret; e 5 conjuntos de dados: RefCOCO, RefCOCO+, RefCOCOg, Flickr30k Entities, ShowUI).

4. Resultados Experimentais

• Taxa de Sucesso do Ataque (ASR): O IAG alcançou a maior taxa de sucesso em 11 de 12 configurações, superando significativamente as baselines (métodos existentes).
  • Exemplo: No conjunto Flickr30k Entities, o IAG superou as baselines em 11,9% a 32,8%.
  • No cenário de UI (ShowUI), a melhoria foi superior a 33%.
• Furtividade e Desempenho Benigno:
  • A precisão em dados limpos (BA) permaneceu quase idêntica à do modelo original (redução de menos de 3%).
  • Métricas de qualidade de imagem (PSNR > 31 dB, LPIPS < 0,05) confirmam que os gatilhos são imperceptíveis aos olhos humanos.
• Robustez contra Defesas:
  • O ataque resistiu a métodos de detecção baseados em assinatura espectral (Spectral Signature) e Beatrix.
  • Técnicas de defesa adaptativa (como filtragem média/mediana e compressão JPEG) falharam em reduzir significativamente a taxa de ataque, ou degradaram o desempenho do modelo benigno em excesso.
• Transferibilidade: O ataque demonstrou capacidade de transferir-se entre diferentes conjuntos de dados e até para outras tarefas (como VQA - Visual Question Answering), mantendo alta eficácia.

5. Significado e Impacto

O trabalho expõe um risco de segurança fundamental nos VLMs utilizados em aplicações do mundo real, como:

• Agentes de Interface Gráfica (GUI): Um agente poderia ser enganado para clicar em botões maliciosos ou anúncios em vez de executar a instrução do usuário.
• IA Embutida e Robótica: Um robô poderia ser induzido a interagir com objetos perigosos ou indesejados no ambiente físico.

A descoberta de que gatilhos dinâmicos e sensíveis ao contexto são mais eficazes e difíceis de defender do que gatilhos estáticos sugere que as defesas atuais são insuficientes. O artigo enfatiza a necessidade urgente de desenvolver mecanismos de defesa robustos para garantir a confiabilidade e a segurança dos sistemas de compreensão multimodal antes de sua adoção em larga escala.

Código Disponível: https://github.com/lijunxian111/IAG