Resumo Técnico: CBV – Ataques de Backdoor de Rótulo Limpo em Modelos de Visão e Linguagem via Modelos de Difusão

1. Declaração do Problema

Modelos de Visão e Linguagem (VLMs) alcançaram sucesso significativo em tarefas multimodais, como legendagem de imagens e Resposta a Perguntas Visuais (VQA). No entanto, estudos recentes indicam que os VLMs são vulneráveis a ataques de backdoor via envenenamento de dados. Ataques de backdoor existentes em VLMs geralmente dependem de estratégias de "rótulo sujo" (dirty-label), onde atacantes modificam os rótulos de texto de amostras envenenadas para criar uma incompatibilidade entre imagem e texto (por exemplo, rotular uma imagem de um cachorro como "pessoas"). Essa incompatibilidade torna as amostras envenenadas relativamente fáceis de detectar por meio de inspeção padrão de dados.

O artigo aborda o desafio de executar ataques de backdoor de rótulo limpo em VLMs. Neste cenário, o atacante deve construir amostras envenenadas que mantenham exatamente os mesmos rótulos de texto que as amostras limpas, modificando apenas o conteúdo da imagem. O objetivo é implantar um backdoor de modo que o modelo se comporte normalmente em entradas limpas, mas produza saídas especificadas pelo atacante (por exemplo, substituindo "pessoas" por "cachorro") quando apresentado a uma imagem ativadora. Isso é particularmente desafiador para VLMs porque, ao contrário de tarefas tradicionais de classificação de imagens que exigem apenas alinhamento ao nível de classe, os VLMs demandam consistência semântica rica entre características complexas de imagem e descrições textuais detalhadas. Métodos anteriores de rótulo limpo, que frequentemente dependem de modelos substitutos para aproximar espaços de características, lutam para codificar as informações semânticas complexas necessárias para VLMs, levando a ataques ineficazes ou artefatos antinaturais.

2. Metodologia: CBV

Os autores propõem CBV (Ataques de Backdoor de Rótulo Limpo em Modelos de Visão e Linguagem via Modelos de Difusão), um framework que aproveita modelos de difusão e correspondência de pontuação (score matching) para gerar imagens envenenadas com aparência natural que incorporam características ativadoras, preservando o rótulo original. O pipeline consiste em três etapas principais:

A. Geração de Ativação por Perturbação Adversarial Universal (UAP)

Em vez de usar ruído simples ou patches de imagem fixos, o CBV gera uma Perturbação Adversarial Universal (UAP) reutilizável para servir como ativador.

• Processo: Usando um modelo substituto (CLIP), o método maximiza iterativamente a perda de alinhamento imagem-texto em um conjunto de imagens benignas.
• Objetivo: A UAP resultante ($\delta$) induz desvios consistentes no espaço de características através de entradas diversas, tornando o backdoor mais fácil de aprender pelo modelo vítima e ativá-lo de forma confiável. A UAP é aplicada a uma imagem-alvo para criar uma "amostra ativada".

B. Geração de Máscara Guiada por GradCAM (GM)

Para aumentar o sigilo e evitar artefatos antinaturais em regiões de fundo, o CBV restringe modificações a áreas semanticamente importantes.

• Processo: Um modelo substituto de classificação de imagens calcula um mapa de calor GradCAM para a classe-alvo. Este mapa de calor é limiarizado para criar uma máscara binária ($M$).
• Aplicação: Modificações são aplicadas apenas dentro da região mascarada, deixando o restante da imagem intocado. Esta estratégia visa gerar amostras visualmente naturais em vez de minimizar estritamente a distância pixel a pixel.

C. Geração Baseada em Correspondência de Pontuação via Modelos de Difusão

A inovação central é usar um modelo de difusão para gerar a imagem envenenada modificando a função de pontuação de remoção de ruído.

• Mecanismo: O método trata a geração da imagem envenenada como um processo de difusão reverso condicional. Ele modifica a função de pontuação padrão ($s_\theta$) incorporando orientação multimodal tanto da imagem ativada ($x_{trig}$) quanto de seu texto correspondente ($y_{trig}$).
• Pontuação Guiada: A função de pontuação atualizada é definida como:
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  Onde $S_I$ e $S_T$ são funções de similaridade de imagem e texto (implementadas via embeddings do CLIP), e $\lambda_I, \lambda_T$ são coeficientes de ponderação.
• Resultado: Isso guia a trajetória de remoção de ruído para produzir uma imagem visualmente semelhante à imagem limpa original (preservando o rótulo), mas que contém as características semânticas do ativador, incorporando efetivamente o backdoor.

3. Principais Contribuições

1. Primeiro Backdoor de Rótulo Limpo para VLMs: O artigo introduz um método para executar ataques de backdoor de rótulo limpo em VLMs, superando a limitação de métodos anteriores que exigiam manipulação de rótulos.
2. Geração Baseada em Difusão: Propõe uma abordagem inovadora usando modelos de difusão e correspondência de pontuação para gerar amostras envenenadas que são semanticamente ricas e visualmente naturais, abordando a falha de aproximação baseada em modelos substitutos em tarefas complexas de VLM.
3. Orientação Multimodal: O método incorpora orientação tanto de imagem quanto de texto durante o processo de geração para alinhar características do espaço latente, melhorando significativamente a transferibilidade e eficácia do ataque.
4. Sigilo via GM: A introdução de uma máscara guiada por GradCAM garante que as modificações sejam localizadas em regiões semanticamente importantes, evitando o ruído visível e os artefatos comuns em ataques anteriores de rótulo limpo.
5. Ativador Universal: O uso de UAPs como ativadores fornece desvios de características mais fortes em comparação com ruído simples, aumentando a confiabilidade da ativação do backdoor.

4. Resultados Experimentais

Os autores avaliaram o CBV nos conjuntos de dados MSCOCO (legendagem de imagens) e VQA v2 (Resposta a Perguntas Visuais) usando quatro VLMs representativos: LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B e Qwen-2.5-VL-7B.

• Eficácia do Ataque: O CBV alcançou uma Taxa de Sucesso do Ataque (ASR) superior a 80% em todos os modelos e tarefas. Este desempenho é comparável a ataques de rótulo sujo (dirty-label) de última geração (por exemplo, TrojVLM, BadToken) e supera significativamente métodos existentes de rótulo limpo (por exemplo, Narcissus, HTBA), que tipicamente alcançaram ASRs abaixo de 15%.
• Preservação da Funcionalidade: O método manteve o desempenho normal do modelo em entradas limpas. Métricas como BLEU@4 e CIDEr para legendagem, e Precisão VQA, permaneceram quase idênticas às de modelos treinados normalmente, indicando nenhuma degradação na utilidade.
• Sigilo: Comparações visuais mostraram que as amostras envenenadas geradas pelo CBV pareciam naturais e careciam do ruído perceptível ou artefatos presentes em amostras geradas por outros métodos de rótulo limpo.
• Robustez: O ataque demonstrou resiliência contra mecanismos de defesa, incluindo Fine-pruning e TIJO (Inversão de Ativador com Otimização Conjunta). A natureza complexa do ativador UAP e a integração semântica do veneno tornaram difícil para essas defesas detectar ou reconstruir o backdoor.
• Eficiência: O CBV exigiu significativamente menos tempo computacional (aproximadamente 28,7 segundos por amostra) em comparação com métodos de rótulo limpo baseados em otimização (que levaram de 185 a 218 segundos), pois depende de uma única passagem de difusão direta-reversa em vez de múltiplos passos iterativos de otimização.

5. Significado e Alegações

O artigo afirma que o CBV expõe uma vulnerabilidade de segurança crítica em modelos fundamentais multimodais: a capacidade de implantar backdoors eficazes sem alterar os rótulos dos dados. Ao gerar amostras envenenadas com aparência natural que são semanticamente potentes, o ataque contorna métodos padrão de inspeção de dados e detecção de anomalias.

Os autores enfatizam que, embora sua intenção primária seja expor essa vulnerabilidade e estimular pesquisas sobre defesas, a existência de tais ataques representa um risco para aplicações de VLM de alto risco (por exemplo, imagens médicas, veículos autônomos). Eles concluem que as estratégias de defesa atuais são insuficientes contra backdoors de rótulo limpo que aproveitam modelos generativos para sigilo, instando a comunidade a desenvolver estratégias robustas de detecção e mitigação especificamente projetadas para esta classe de ameaças.