Resumo Técnico: MirrorCheck: Defesa Adversarial Eficiente para Modelos Visão-Linguagem

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho de última geração em tarefas como legendagem de imagens, resposta a perguntas visuais (VQA) e recuperação de imagem-texto. No entanto, eles estão cada vez mais vulneráveis a ataques adversariais sofisticados. Diferentemente das defesas tradicionais de classificação de imagens, as estratégias existentes para VLMs frequentemente dependem de ajuste específico para a tarefa, retreinamento caro ou são limitadas a modalidades únicas, falhando em contabilizar interações visuais-linguísticas complexas. Além disso, muitas defesas atuais são suscetíveis a ataques adaptativos, onde adversários com acesso de caixa-branca ao modelo contornam sistematicamente os mecanismos de proteção. Há uma necessidade crítica de um framework de detecção robusto e agnóstico ao modelo que opere efetivamente sem exigir retreinamento e possa resistir a ameaças adaptativas.

2. Metodologia: MirrorCheck

O MirrorCheck é um framework de detecção adversarial plug-and-play e agnóstico ao modelo, projetado para ambientes unimodais e multimodais. Ele opera com a intuição central de que perturbações adversariais distorcem a consistência semântica entre uma imagem de entrada e a descrição textual gerada por um VLM.

2.1. Pipeline Principal (MirrorCheck Vanilla)

O framework segue um processo de três etapas:

1. Extrair: Uma imagem de entrada $x_{in}$ é passada através do VLM vítima ($\mathcal{F}_\theta$) para gerar uma saída textual (legenda, resposta ou descrição de classe) $t$.
2. Gerar: O texto gerado $t$ é alimentado em um modelo pré-treinado de Texto para Imagem (T2I) ($G_\psi$) para reconstruir uma imagem sintética $x_{gen}$.
3. Comparar: A imagem original $x_{in}$ e a imagem gerada $x_{gen}$ são codificadas usando um codificador de imagem pré-treinado ($I_\phi$) para obter embeddings de características ($z_{in}$ e $z_{gen}$). A similaridade entre esses embeddings é calculada usando similaridade de cosseno.
   • Decisão: Se a pontuação de similaridade $S(z_{in}, z_{gen})$ cair abaixo de um limiar $\tau$, a entrada é sinalizada como adversarial.

Escolhas de Design Chave:

• Similaridade Imagem-Imagem: Em vez de comparar a imagem de entrada diretamente com o texto, o método compara a imagem de entrada com a imagem reconstruída. Isso evita limitações nos VLMs em relação a relações posicionais e uso de verbos, que podem tornar a similaridade direta texto-imagem pouco confiável.
• Espaço de Embedding: O método usa embeddings vetoriais em vez de métricas em nível de pixel (como SSIM ou FID) para capturar equivalência semântica mesmo quando as representações visuais variam.

2.2. MirrorCheck Estocástico (Melhoria de Robustez)

Para contrapor ataques adaptativos onde um adversário tenta otimizar perturbações para maximizar a similaridade, o MirrorCheck introduz uma variante Estocástica com três inovações principais:

1. Seleção Aleatória de T2I: O sistema mantém um "zoológico de modelos" de geradores T2I. No momento da inferência, um modelo é selecionado aleatoriamente, impedindo que o atacante otimize contra um gerador fixo.
2. Implantação Estocástica do Codificador: Um subconjunto de codificadores de imagem é selecionado aleatoriamente de um pool maior para cada inferência.
3. Perturbações de Uso Único (OTU): Antes da extração de características, ruído aleatório pequeno ($\gamma$) é injetado nos parâmetros dos codificadores selecionados. Isso garante que o atacante não possa depender de gradientes pré-calculados contra um codificador estático.

Esses elementos estocásticos aumentam exponencialmente o espaço de busca para os atacantes, tornando os ataques adaptativos de caixa-branca computacionalmente intratáveis.

2.3. Simulação de Ataque Adaptativo

Para validar a robustez, os autores simulam um atacante adaptativo no pior caso com conhecimento total do sistema. O atacante utiliza:

• BPDA (Aproximação Diferenciável de Passada Reversa): Para lidar com a amostragem de texto não diferenciável no VLM, um Adaptador aprendível mapeia os estados ocultos contínuos do VLM para o espaço de condicionamento T2I.
• EoT (Expectativa sobre Transformação): Para lidar com a aleatoriedade na amostragem T2I e nas perturbações OTU, o atacante média os gradientes sobre o ruído de amostragem estocástica.

3. Contribuições Principais

1. Framework MirrorCheck: Um framework de detecção novo, sem treinamento e agnóstico ao modelo para VLMs que aproveita a regeneração T2I e a consistência de embeddings.
2. Estratégia de Defesa Estocástica: Uma extensão do framework que introduz seleção aleatória de modelos e perturbações OTU para especificamente frustrar ataques adaptativos.
3. Avaliação Abrangente: Experimentos extensivos demonstrando que o MirrorCheck supera as bases existentes em diversas arquiteturas de VLM (por exemplo, BLIP, LLaVA, MiniGPT-4) e tipos de ataque (por exemplo, AttackVLM, Attack-Bard, ataques de classificação padrão como FGSM/PGD).
4. Generalização: Evidências de que o método generaliza para tarefas unimodais (classificação de imagens) sem modificação.

4. Resultados Experimentais

O artigo avalia o MirrorCheck em 2.000 imagens (1.000 limpas, 1.000 atacadas) através de múltiplos modelos vítimas e cenários de ataque.

• Precisão de Detecção: O MirrorCheck alcança precisões de detecção variando de 65% a 99%. Na variante Estocástica, ele consistentemente supera as bases. Por exemplo, no modelo BLIP-2 sob AttackVLM-Q, o MirrorCheck Estocástico alcança precisão de 0,99, superando significativamente a próxima melhor base (0,85).
• Pontuações de Similaridade: Imagens limpas consistentemente produzem pontuações de similaridade altas (por exemplo, ~0,70–0,80), enquanto exemplos adversariais mostram pontuações significativamente degradadas (por exemplo, ~0,30–0,50), criando uma fronteira de decisão clara.
• Robustez a Ataques Adaptativos: Sob fortes ataques adaptativos de caixa-branca (BPDA+EoT), a precisão de detecção permanece alta. Aumentar o tamanho do ensemble de codificadores (de 1 para 10) e aplicar ruído OTU melhora ainda mais a robustez, com configurações usando 7+ codificadores excedendo 98% de precisão mesmo sob condições adaptativas.
• Comparação com Bases: O MirrorCheck consistentemente supera defesas unimodais (MagNet, PuVAE, DiffPure) e métodos específicos para multimodalidade (CIDER, JailGuard, SmoothVLM), frequentemente por uma grande margem (por exemplo, >0,13 de melhoria em algumas configurações).

5. Significado e Alegações

O artigo alega estabelecer um novo paradigma para defesa adversarial multimodal. Seu significado reside em:

• Praticidade: É uma solução plug-and-play que não exige retreinamento do modelo vítima ou acesso a gradientes/logits internos.
• Escalabilidade: Generaliza através de diversas arquiteturas de VLM e pode ser aplicada a tarefas unimodais.
• Segurança: Oferece garantias empíricas contra ataques adaptativos, um ponto de falha comum para defesas anteriores.

Os autores concluem que o MirrorCheck fornece uma base robusta para garantir sistemas de IA de próxima geração contra ameaças adversariais em evolução, efetivamente preenchendo a lacuna entre as modalidades visual e linguística nos mecanismos de defesa.