Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

Título: Leave My My Images Alone: Prevenindo Modelos de Linguagem Multimodal de Grande Escala de Analisar Imagens via Injeção de Prompt Visual

1. O Problema

Os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) tornaram-se ferramentas poderosas para análise de dados visuais em escala da internet. No entanto, isso levanta preocupações críticas de segurança e privacidade.

• Ameaça: Maliciosos atores podem utilizar MLLMs de peso aberto (open-weight) para analisar imagens pessoais publicadas online em larga escala, extraindo informações sensíveis como identidades, localizações e detalhes privados sem consentimento.
• Limitação das Defesas Atuais: A maioria das abordagens de defesa foca em proteger o modelo ou em detectar ataques. Não existe uma solução proativa do lado do usuário que permita proteger uma imagem antes de ela ser compartilhada, impedindo que modelos de terceiros a analisem corretamente.
• Objetivo: Desenvolver um método que permita ao proprietário da imagem perturbar o arquivo visual de forma imperceptível, forçando qualquer MLLM que tente analisá-lo a gerar uma resposta de recusa (ex: "Desculpe, não posso ajudar com esse pedido"), independentemente da pergunta feita.

2. Metodologia: ImageProtector

Os autores propõem o ImageProtector, um método do lado do usuário que utiliza injeção de prompt visual como mecanismo defensivo. A ideia central é tratar a perturbação da imagem não como um ruído aleatório, mas como um "prompt oculto" que redireciona o modelo para uma tarefa de recusa.

Funcionamento Técnico:

1. Abordagem de Otimização: O problema é formulado como um problema de otimização com restrições. O objetivo é encontrar uma perturbação ($\delta_R$) que maximize a probabilidade de recusa do modelo, mantendo a perturbação visualmente imperceptível.
2. Objetivos Duplos:
   • Eficácia: Garantir que o MLLM gere consistentemente respostas de recusa para uma ampla gama de perguntas de sondagem (probing questions).
   • Utilidade: Manter a qualidade da imagem, garantindo que a perturbação seja quase imperceptível para humanos (limitada por uma norma $\ell_\infty$).
3. Perguntas Sombra (Shadow Questions): Como o usuário não sabe exatamente quais perguntas o atacante fará, o ImageProtector utiliza um LLM (como o GPT-4) para gerar um conjunto diversificado de "perguntas sombra" que simulam as intenções do atacante. Estas são categorizadas em:
   • Exatas: Perguntas específicas antecipadas.
   • Similares: Perguntas com a mesma intenção temática.
   • Gerais: Perguntas genéricas sobre qualquer imagem.
4. Algoritmo de Otimização:
   • Utiliza o método iterativo básico (BIM - Basic Iterative Method) baseado em gradiente.
   • Minimiza a perda de entropia cruzada (Cross-Entropy Loss) para forçar o modelo a gerar tokens de recusa (ex: "I'm sorry...").
   • Aplica projeção a cada iteração para garantir que a magnitude da perturbação não exceda o limite $\epsilon$ (definido como $8/255$).

3. Principais Contribuições

• Novo Problema Formalizado: A definição formal do problema de prevenir a análise de imagens por MLLMs, focando na privacidade proativa do usuário.
• Mudança de Paradigma na Injeção de Prompt: Enquanto a injeção de prompt é tradicionalmente vista como uma técnica ofensiva para contornar segurança, este trabalho a utiliza como um mecanismo defensivo para proteger a privacidade do usuário.
• Método ImageProtector: Uma técnica de otimização restrita que gera perturbações universais eficazes contra múltiplos modelos simultaneamente.
• Avaliação Abrangente: Testes em 6 MLLMs diferentes (incluindo LLaVA-1.5, MiniGPT-4, Qwen-VL) e 4 conjuntos de dados (VQAv2, GQA, TextVQA, CelebA).

4. Resultados Experimentais

Os resultados demonstram a alta eficácia do ImageProtector:

• Taxas de Recusa: O método alcançou taxas de recusa extremamente altas, variando entre 86% e 98% dependendo do modelo e do tipo de pergunta sombra.
  • Em comparação com métodos adversariais existentes (Qi et al., Bagdasaryan et al.), o ImageProtector superou significativamente, especialmente em perguntas gerais, onde os métodos anteriores falharam (taxas próximas de zero).
• Generalização: O método funcionou bem contra perguntas relevantes para a imagem e perguntas irrelevantes (conhecimento geral), demonstrando robustez.
• Múltiplos Alvos: O ImageProtector consegue otimizar uma única perturbação universal que é eficaz contra múltiplos MLLMs simultaneamente.
• Impacto na Utilidade: As imagens perturbadas mantêm alta qualidade visual, sendo quase indistinguíveis das originais para observadores humanos.
• Comparação com Contra-medidas: Os autores avaliaram três defesas comuns:
  1. Ruído Gaussiano: Reduz a eficácia do ImageProtector, mas degrada significativamente a precisão do modelo (de 0.92 para ~0.80).
  2. DiffPure: Reduz a taxa de recusa, mas aumenta o tempo de inferência e degrada a precisão.
  3. Treinamento Adversarial: Não elimina completamente a proteção (mantém ~60% de recusa após 3 épocas) e exige recursos computacionais massivos, além de reduzir a precisão do modelo.
  • Conclusão das Contra-medidas: Nenhuma delas oferece uma defesa perfeita sem custos significativos de precisão ou eficiência.

5. Significado e Limitações

• Significado: O trabalho oferece uma solução prática e de baixo custo para usuários protegerem suas imagens digitais antes da publicação, criando uma barreira contra a análise automatizada em larga escala por modelos de IA de peso aberto.
• Limitações:
  • Dependência de Caixa Branca (White-box): O método assume que o usuário tem acesso aos gradientes do modelo alvo (ou a um modelo substituto). Isso limita a aplicação direta em APIs de modelos fechados (caixa preta), embora o foco seja nos modelos abertos que representam a maior ameaça atual.
  • Interações Multi-turno: A eficácia diminui ligeiramente em conversas longas (múltiplas rodadas de VQA), especialmente com perguntas gerais.
  • Modalidades: O método foca apenas em entradas visuais, não cobrindo ainda áudio ou vídeo.

Em resumo, o ImageProtector representa um avanço significativo na privacidade de dados visuais, transformando ataques de injeção de prompt em uma ferramenta de defesa proativa, demonstrando que é possível "quebrar" a capacidade de análise de um MLLM de forma controlada para proteger a privacidade do usuário.