Resumo Técnico: Revisitando CroPA: Um Estudo de Reprodutibilidade e Melhorias para Transferibilidade Adversarial entre Prompts em Modelos Visão-Linguagem

1. Declaração do Problema

Grandes Modelos Visão-Linguagem (VLMs) revolucionaram tarefas como classificação de imagens, legendagem e resposta a perguntas visuais (VQA). No entanto, eles permanecem altamente vulneráveis a ataques adversariais, onde perturbações sutis em imagens ou textos de entrada levam a saídas incorretas ou prejudiciais. Embora pesquisas anteriores tenham estabelecido a Transferibilidade entre Modelos (exemplos adversariais funcionando em diferentes arquiteturas) e a Transferibilidade entre Imagens (Perturbações Adversariais Universais ou UAPs), uma nova dimensão conhecida como Transferibilidade entre Prompts foi introduzida por Luo et al. (2024) por meio do Ataque entre Prompts (CroPA).

O CroPA visa gerar imagens adversariais que permaneçam eficazes independentemente do prompt textual utilizado para consultar o VLM. Apesar de sua novidade, a robustez e a generalização do CroPA exigem validação adicional. Além disso, o framework original do CroPA enfrenta limitações, incluindo:

• Inicialização Aleatória: Dependência de inicialização com ruído aleatório não informado, levando à instabilidade e convergência lenta.
• Fraquezas Específicas de Tarefa: Desempenho pobre em tarefas específicas como Classificação e Legendagem.
• Intensidade Computacional: Alto consumo de recursos (por exemplo, mais de 6 horas em uma GPU de 48 GB para 50 imagens).
• Transferibilidade entre Imagens Limitada: As perturbações estão fortemente acopladas à imagem específica em que foram geradas, dificultando a aplicação universal.

Este estudo aborda essas questões conduzindo um estudo de reprodutibilidade abrangente do CroPA e propondo melhorias para aumentar sua Taxa de Sucesso do Ataque (ASR), convergência e transferibilidade entre imagens e modelos.

2. Metodologia

2.1 Estudo de Reprodutibilidade

Os autores reproduziram rigorosamente os experimentos originais do CroPA em VLMs proeminentes (Flamingo, BLIP-2, InstructBLIP e LLaVA). Eles validaram quatro afirmações centrais de Luo et al. (2024):

1. O CroPA alcança transferibilidade entre prompts superior em comparação com as linhas de base (Single-P e Multi-P).
2. O CroPA mantém a superioridade de desempenho mesmo à medida que o número de prompts aumenta.
3. O CroPA converge para uma ASR mais alta com o aumento das iterações.
4. O CroPA supera as linhas de base em configurações de poucos exemplos (aprendizado em contexto).

A reprodução confirmou as afirmações originais, observando que o CroPA consistentemente supera as linhas de base, embora tenha observado instabilidade nas tendências de convergência para tarefas específicas (por exemplo, Classificação) em comparação com as métricas agregadas do artigo original.

2.2 Melhorias Propostas

Para abordar as limitações identificadas, o artigo introduz três melhorias metodológicas chave:

A. Inicialização de Ruído via Otimização de Codificação Visual

Em vez de ruído aleatório, os autores propõem uma inicialização semanticamente informada:

• Síntese de Alvo: Um modelo de difusão (Stable Diffusion XL) gera uma imagem ($x_{target}$) correspondente ao prompt de texto alvo.
• Ancoragem no Codificador Visual: A perturbação inicial ($\delta_{init}$) é derivada minimizando o Erro Quadrático Médio (MSE) entre a representação do codificador visual da imagem original mais a perturbação e a representação do codificador visual da imagem alvo sintetizada:
  $$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$$
• Otimização: Esta inicialização é refinada usando Descida de Gradiente Projetada (PGD) com uma perda MSE, garantindo que a perturbação comece em uma direção semanticamente significativa em direção ao objetivo adversarial.

B. Guia de Perturbações via Vetores de Valor Alvo (Integração D-UAP)

Para melhorar a transferibilidade e a força do ataque, os autores integram uma função de perda inspirada no método de Perturbação Adversarial Duplamente Universal (D-UAP). Esta abordagem visa a dinâmica interna do mecanismo de atenção do codificador visual:

• Mecanismo: O método perturba os vetores de valor das camadas de atenção no codificador visual. Ele minimiza a perda de similaridade cosseno entre os vetores de valor da imagem perturbada e os vetores de valor de uma imagem de referência correspondente ao texto alvo.
• Função Objetivo: A perda final combina o objetivo min-max padrão do CroPA com a perda do vetor de valor:
  $$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$$
  onde $\mathcal{L}_{d-UAP}$ incentiva que os vetores de valor da imagem perturbada se alinhem com a representação do texto alvo.

C. Transferibilidade entre Imagens via Aumento de Imagem

Para mitigar o sobreajuste a características específicas de imagens e permitir a transferibilidade entre imagens, os autores integram estratégias de aumento de dados durante a geração de perturbações:

• SCMix: Um processo de mistura em duas etapas envolvendo auto-mistura (mistura de patches recortados da mesma imagem) e cruzamento (mistura com uma imagem secundária). Isso força o modelo a aprender características invariantes a variações espaciais e mistura entre imagens.
• CutMix: Uma estratégia de substituição regional baseada em máscara rígida que força as perturbações a mirar em características invariantes espacialmente em vez de artefatos localizados.

3. Contribuições e Resultados Chave

3.1 Validação da Reprodução

O estudo reproduziu com sucesso os resultados originais do CroPA, confirmando que:

• O CroPA alcança uma ASR significativamente maior do que as linhas de base Single-P e Multi-P em tarefas de VQA, Classificação e Legendagem.
• O CroPA permanece robusto mesmo quando exemplos de aprendizado em contexto são adicionados durante a inferência (configurações de poucos exemplos).
• A transferibilidade do método é amplamente independente do significado semântico ou da frequência de palavras do texto alvo.

3.2 Desempenho das Melhorias

• Inicialização de Ruído: A estratégia de inicialização proposta melhorou significativamente a ASR. No BLIP-2, o CroPA+Init alcançou uma ASR geral de 89,77% (vs. 77,08% para o CroPA base) e até 94,58% para alvos específicos como "I am sorry" (Sinto muito). Também reduziu o número de etapas de otimização necessárias para a convergência.
• Guia de Vetores de Valor (D-UAP): A integração da perda de vetores de valor impulsionou ainda mais o desempenho. O método CroPA+D-UAP alcançou uma ASR geral de 96,85% no BLIP-2 (um aumento de 12,5% sobre o CroPA base) e 92,70% no OpenFlamingo. Notavelmente, essa melhoria foi eficaz mesmo contra textos alvo "prejudiciais" como "Bomb" (Bomba), que normalmente acionam barreiras de segurança do modelo.
• Transferibilidade entre Imagens: Enquanto o CroPA base luta com a transferibilidade entre imagens, a integração do SCMix melhorou a ASR não direcionada geral de 43,55% para 70,55%, e o CutMix a melhorou para 55,65%. Isso demonstra que o aumento pode parcialmente preencher a lacuna entre a transferibilidade entre prompts e entre imagens.

3.3 Análise de Transferibilidade entre Modelos

O estudo analisou a transferibilidade entre modelos com arquiteturas diferentes (por exemplo, BLIP-2 para Flamingo vs. BLIP-2 para InstructBLIP).

• Descobertas: A melhoria D-UAP melhorou a transferibilidade entre modelos, particularmente entre modelos que compartilham codificadores visuais semelhantes (por exemplo, BLIP-2 para InstructBLIP, onde a ASR saltou de 50,65% para 68,50%).
• Limitação: A transferibilidade permaneceu baixa entre arquiteturas fundamentalmente diferentes (por exemplo, BLIP-2 para Flamingo), confirmando que o guia de vetores de valor depende da arquitetura específica do codificador visual.

4. Significado e Afirmações

O artigo afirma fornecer um framework mais robusto para a geração de exemplos adversariais transferíveis em VLMs. Seu significado reside em:

1. Validação: Confirmar a existência e a potência de vulnerabilidades adversariais entre prompts em VLMs de última geração.
2. Eficiência e Eficácia: Demonstrar que inicialização semanticamente informada e funções de perda direcionadas podem melhorar drasticamente as taxas de sucesso do ataque e a velocidade de convergência.
3. Generalização: Mostrar que, embora a transferibilidade entre prompts e entre imagens sejam frequentemente objetivos concorrentes, técnicas como SCMix podem melhorar a generalização entre imagens sem sacrificar as capacidades centrais de transferibilidade entre prompts.
4. Implicações de Segurança: Destacar que os VLMs são vulneráveis a ataques que manipulam saídas independentemente do prompt ou arquitetura do modelo (até certo ponto), representando riscos para a implantação no mundo real. Por outro lado, os autores observam que essas perturbações poderiam ser usadas defensivamente para proteger dados sensíveis, forçando os modelos a gerar texto predeterminado e não sensível.

Os autores concluem que, embora suas melhorias levem os limites de dimensões específicas de transferibilidade, existe um trade-off fundamental entre otimizar simultaneamente a transferibilidade entre prompts, entre imagens e entre modelos. Eles pedem pesquisas futuras sobre otimização multi-objetivo e designs de ataques conscientes da arquitetura para entender e mitigar ainda mais essas vulnerabilidades.