Resumo Técnico: MM-POISONRAG

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) tornou-se uma prática padrão para Modelos de Linguagem Grandes Multimodais (MLLMs) a fim de aprimorar a fundamentação factual e mitigar alucinações, recuperando contextos textuais e visuais externos. No entanto, essa dependência de Bases de Conhecimento (KBs) externas introduz uma vulnerabilidade de segurança crítica: envenenamento de conhecimento multimodal. Diferentemente de corpora de treinamento curados, as KBs externas são frequentemente abertas, permitindo que adversários injetem conteúdo malicioso. Embora o envenenamento de RAG apenas textual tenha sido estudado, pesquisas existentes indicam que ataques apenas textuais são insuficientes para comprometer o processo de recuperação cross-modal em sistemas multimodais. Além disso, estudos anteriores sobre envenenamento multimodal focaram amplamente em cenários onde usuários fazem upload de imagens, deixando a ameaça de envenenar a recuperação de pares imagem-texto a partir de consultas textuais amplamente inexplorada. Este artigo aborda a lacuna na compreensão de como conteúdo multimodal adversarial pode ser injetado em KBs externas para interromper tanto as etapas de recuperação quanto de geração de pipelines de RAG multimodal.

Metodologia

Os autores introduzem o MM-POISONRAG, um framework sistemático projetado para estudar e executar ataques de envenenamento de conhecimento em sistemas de RAG multimodal. O framework opera dentro de um pipeline consistindo em uma KB multimodal, um recuperador (por exemplo, CLIP), um reclassificador (reranker) MLLM e um gerador MLLM.

Os autores definem duas estratégias de ataque inovadoras adaptadas a diferentes modelos de ameaça e níveis de acesso:

1. Ataque de Envenenamento Localizado (LPA)

O LPA é um ataque direcionado projetado para manipular a saída do modelo para uma consulta específica ($Q_i$) em uma resposta errada definida pelo atacante ($A^{adv}_i$).

• Mecanismo: O atacante injeta um único par imagem-texto envenenado $(I^{adv}_i, T^{adv}_i)$ na KB. A legenda $T^{adv}_i$ é elaborada para ser semanticamente coerente com a consulta, mas factualmente incorreta, e a imagem $I^{adv}_i$ é sintetizada para corresponder à legenda.
• Modelos de Ameaça:
  • LPA-BB (Caixa-Preta): O atacante não tem acesso aos detalhes internos do modelo. Eles usam um LLM (GPT-4) para gerar uma legenda enganosa e um modelo de difusão (Stable Diffusion) para gerar uma imagem correspondente.
  • LPA-Rt (Recuperador de Caixa-Branca): O atacante tem acesso aos parâmetros do recuperador. Eles otimizam iterativamente a imagem adversarial $I^{adv}_i$ usando ascensão de gradiente para maximizar a similaridade de cosseno entre o embedding da imagem e o embedding da consulta, garantindo que a entrada envenenada seja recuperada em vez da verdade fundamental.

2. Ataque de Envenenamento Globalizado (GPA)

O GPA é um ataque não direcionado projetado para interromper o desempenho do sistema em todas as consultas usando uma única entrada adversarial irrelevante para a consulta.

• Mecanismo: O atacante injeta um único par imagem-texto $(I^{adv}, T^{adv})$ que é semanticamente irrelevante para qualquer consulta específica, mas é otimizado para parecer universalmente relevante.
• Modelos de Ameaça:
  • GPA-Rt: O atacante otimiza um único embedding de imagem para maximizar a similaridade com o centróide de todos os embeddings de consultas na tarefa, fazendo com que seja recuperado para qualquer consulta. A legenda é elaborada para enviesar o reclassificador para "Sim".
  • GPA-RtRrGen: O atacante tem acesso total de caixa-branca ao recuperador, reclassificador e gerador. Eles otimizam conjuntamente a imagem para maximizar a similaridade de recuperação, as pontuações de relevância do reclassificador e a conformidade do gerador (por exemplo, forçando a saída "Desculpe" independentemente da consulta).

Configuração Experimental

O framework foi avaliado em dois benchmarks de QA multimodal: MultimodalQA e WebQA. Os experimentos utilizaram vários recuperadores (CLIP, OpenCLIP, SigLIP) e MLLMs (LLaVA, Qwen-VL-Chat) para reclassificação e geração. O estudo avaliou as taxas de sucesso dos ataques sob configurações variadas (por exemplo, número de contextos recuperados $N$, contextos reclassificados $K$ e inclusão de legendas).

Principais Resultados

Eficácia dos Ataques

• Envenenamento Localizado (LPA): Mesmo em um cenário de caixa-preta completa (LPA-BB), o ataque alcançou até 46,4% de precisão de resposta envenenada. Quando o atacante tinha acesso ao recuperador (LPA-Rt), a taxa de sucesso aumentou significativamente, atingindo 56,8% de precisão e 88,8% de recall de recuperação para o contexto envenenado no MultimodalQA.
• Envenenamento Globalizado (GPA): O GPA provou ser devastadoramente eficaz. Com apenas uma entrada envenenada, o GPA-Rt colapsou o recall de recuperação para 1,6% (MultimodalQA) e 0,0% (WebQA). A variante GPA-RtRrGen reduziu a precisão da resposta final para 0% em todas as consultas, efetivamente anulando todo o pipeline.
• Transferibilidade: Ataques LPA-Rt otimizados para CLIP demonstraram forte transferibilidade para outros recuperadores (OpenCLIP, SigLIP) sem reotimização, alcançando altas taxas de sucesso mesmo quando o recuperador alvo era desconhecido pelo atacante. O GPA-Rt mostrou transferibilidade mais fraca, mas ainda causou interrupção significativa.

Ineficácia das Defesas Existentes

Os autores avaliaram vários mecanismos de defesa existentes, constatando que são amplamente ineficazes contra o envenenamento multimodal:

• Defesa de Parafraseamento: Modificar a consulta via parafraseamento não impediu os ataques.
• Filtragem Baseada em Perplexidade: Falhou em detectar entradas envenenadas, pois sua perplexidade permaneceu indistinguível de respostas benignas.
• Detecção de Imagem Adversarial: Compressão de recursos e outros detectores baseados em perturbação alcançaram 0% de precisão de detecção.
• Auditoria Multimodal:
  • Consistência Baseada em CLIP: Falhou em detectar ataques porque as imagens envenenadas foram otimizadas para alinhar fortemente com suas legendas.
  • Detecção de Anormalidade: Detectores combinados de texto/imagem alcançaram apenas ~10% de detecção para LPA-BB e <4% para GPA.

Significado e Alegações

O artigo alega apresentar o primeiro framework sistemático para estudar o envenenamento de conhecimento em sistemas de RAG multimodal de ponta a ponta. Suas principais contribuições são:

1. Revelação de Vulnerabilidades Cross-Modal: O estudo demonstra que o RAG multimodal é unicamente vulnerável devido à sua dependência de alinhamento cross-modal. Imagens adversariais podem manipular pontuações de similaridade para dominar a recuperação, um vetor não explorável por envenenamento apenas textual.
2. Viabilidade de Ataques de Caixa-Preta: Os resultados mostram que até mesmo atacantes sem acesso interno ao modelo (caixa-preta) podem comprometer com sucesso sistemas de RAG multimodal, particularmente ao alavancar modelos substitutos para otimização.
3. Impacto Catastrófico de Injeção Mínima: O Ataque de Envenenamento Globalizado demonstra que uma única entrada adversarial pode degradar o desempenho do sistema para precisão próxima de zero, destacando a fragilidade de depender de KBs externas.
4. Lacuna de Defesa: O artigo estabelece que defesas projetadas para RAG apenas textual ou exemplos adversariais padrão de visão computacional são insuficientes para RAG multimodal, sublinhando a necessidade urgente de estratégias de defesa dedicadas e conscientes da modalidade.

Os autores concluem que o MM-POISONRAG estabelece a base para pesquisas futuras sobre a segurança de frameworks de RAG multimodal contra envenenamento de conhecimento, enfatizando que a dependência atual de fontes de conhecimento externas sem verificação robusta representa um risco significativo para a confiabilidade dos MLLMs.