Resumo Técnico: Sistemas Multimodais RAG Vazam Dados?

Declaração do Problema

A adoção generalizada de pipelines de Geração Aumentada por Recuperação Multimodal (mRAG) para tarefas centradas em visão, como Resposta a Perguntas Visuais (VQA) e legendagem de imagens, introduz riscos significativos de privacidade. Embora o mRAG aprimore os Modelos Visão-Linguagem (VLMs) ao fundamentar as respostas em bancos de dados privados de pares imagem-legenda, ele cria uma vulnerabilidade onde informações sensíveis desses bancos de dados podem ser inadvertidamente vazadas durante a inferência.

Este artigo aborda uma lacuna crítica na literatura existente ao avaliar sistematicamente dois ataques específicos de privacidade contra sistemas mRAG a partir da perspectiva de um atacante:

1. Ataque de Inferência de Membros (MIA): Determinar se um ativo visual específico (imagem) existe dentro do banco de dados privado do mRAG, independentemente de estar armazenado em sua forma original ou em um estado transformado (por exemplo, rotacionado, recortado).
2. Recuperação de Legenda de Imagem (ICR): Se a membresia for confirmada, extrair os metadados associados (legenda) vinculados a essa imagem do banco de dados.

O estudo opera sob um modelo de ameaça de caixa-preta, onde o atacante não tem acesso aos parâmetros internos do sistema e pode interagir apenas via uma API usando uma imagem-alvo e um prompt textual elaborado.

Metodologia

Os autores conduziram experimentos empíricos abrangentes em vários cenários para avaliar a robustez dos pipelines mRAG contra MIA e ICR.

Configuração Experimental

• Arquitetura do Pipeline: A avaliação utilizou um pipeline mRAG padrão centrado em visão, consistindo em um recuperador (usando embeddings CLIP), um reordenador (Jina-Reranker) e um VLM.
• Conjuntos de Dados: Os experimentos foram realizados em quatro conjuntos de dados diversos: Conceptual Captions, ROCOv2 (imagem médica), MRAG-Bench e legendas Pokemon BLIP.
• Modelos: Três VLMs líderes foram avaliados: Qwen2.5-VL (7B), Cosmos-Reason1 (7B) e InternVL3.5 (8B).
• Variações do Ataque:
  • Exato vs. Transformado: Os ataques foram testados contra cópias exatas de imagens e imagens submetidas a transformações, incluindo recorte, mascaramento, desfoque, corte, rotação e ruído gaussiano.
  • Estrutura do Prompt: O estudo analisou o impacto da ordem do prompt, comparando especificamente "RAG-Primeiro" (contexto recuperado antes da imagem de consulta) versus "RAG-Último" (imagem de consulta antes do contexto recuperado).
  • Ablações de Configuração: Os efeitos do tamanho da recuperação ($k$), tamanho do banco de dados ($N$) e a presença ou ausência de uma etapa de reordenamento foram investigados.

Mecanismos de Ataque

• Prompt MIA: O atacante consulta o sistema para determinar se a imagem de entrada é idêntica a qualquer imagem no contexto recuperado (original ou transformado). A saída binária do modelo ('Sim'/'Não') é avaliada contra a verdade fundamental.
• Prompt ICR: Assumindo que a imagem está presente, o prompt instrui o VLM a identificar a imagem de entrada dentro do contexto recuperado e retornar sua legenda associada literalmente. O desempenho é medido usando métricas de correspondência exata e similaridade de texto (BLEU, ROUGE, METEOR).

Principais Resultados

1. Ataque de Inferência de Membros (MIA)

• Alta Vulnerabilidade: Os sistemas mRAG são altamente suscetíveis ao MIA. Sob configurações de imagem exata, o ataque alcançou uma pontuação F1 média de 0,993.
• Robustez a Transformações: Mesmo quando as imagens foram transformadas, o ataque permaneceu eficaz. Embora as pontuações F1 tenham diminuído (variando de 0,96 a 0,60, dependendo da transformação), o risco permaneceu não negligenciável.
  • A Rotação provou ser a defesa mais eficaz entre as transformações, reduzindo a pontuação F1 para aproximadamente 0,60, provavelmente devido a alterações significativas nas características espaciais.
• Sensibilidade à Ordem do Prompt: A posição da imagem de entrada em relação ao contexto recuperado impacta significativamente o vazamento. Colocar a imagem de entrada depois do conjunto recuperado (RAG-Primeiro) resultou em alto vazamento. Por outro lado, colocar a imagem de entrada antes do conjunto recuperado (RAG-Último) reduziu substancialmente o sucesso do ataque, sugerindo que o viés posicional nos VLMs pode ser aproveitado para privacidade.

2. Recuperação de Legenda de Imagem (ICR)

• Vazamento Significativo: Quando a imagem de entrada existe no banco de dados, o sistema frequentemente vaza a legenda exata. No conjunto de dados Conceptual Captions, as taxas de sucesso de correspondência exata atingiram 0,835.
• Dependência do Conjunto de Dados: As taxas de vazamento variaram conforme a complexidade do conjunto de dados. Imagem médica (ROCOv2) mostrou vazamento menor (0,41 de correspondência exata) em comparação com conjuntos de dados mais simples (0,75), provavelmente devido a similaridades visuais no contexto recuperado obscurecendo associações únicas.
• Impacto do Reordenamento: A inclusão de um reordenador cruzado geralmente reduziu o sucesso do ICR ao reordenar itens com base no alinhamento imagem-texto, embora o vazamento permanecesse alto em certas configurações.
• Correlação com o Tamanho da Recuperação: Aumentar o número de itens recuperados ($k$) no contexto do prompt aumentou consistentemente as taxas de sucesso do ICR, indicando que um pool de contexto maior melhora a probabilidade de recuperar o par-alvo.

3. Tentativas de Mitigação

• Prompts do Sistema: Instruções simples ao VLM para recusar consultas de meta-informação falharam em induzir a recusa.
• LLM no Meio: O uso de um LLM separado e mais poderoso (por exemplo, GPT-4o, Llama-Guard) para filtrar prompts mostrou promessa. Modelos mais poderosos foram melhores em identificar prompts maliciosos de ICR, embora tenham falhado consistentemente em detectar prompts de MIA.

Principais Contribuições

1. Análise Sistemática: A primeira avaliação abrangente de ataques MIA e ICR em sistemas mRAG centrados em imagem sob transformações visuais realistas.
2. Estudos de Ablação: Investigação detalhada de como a estrutura do prompt (ordenação de imagens), configurações de recuperação e mecanismos de reordenamento influenciam o vazamento de privacidade.
3. Insights Empíricos: Identificação de escolhas de design específicas que exacerbam ou mitigam riscos, como o efeito protetor de colocar a imagem de consulta antes do contexto recuperado e a vulnerabilidade introduzida pelo aumento dos tamanhos dos conjuntos de recuperação.

Significado e Alegações

O artigo afirma fornecer uma avaliação fundamental dos riscos de privacidade inerentes aos pipelines mRAG. Os autores enfatizam que, embora o mRAG melhore o desempenho do modelo, ele introduz riscos distintos de vazamento cruzado de modalidades não presentes em sistemas RAG baseados apenas em texto.

As descobertas destacam uma necessidade emergente de sistemas mRAG conscientes de privacidade. Os autores argumentam que as implantações atuais são vulneráveis tanto à inferência de membros quanto à extração de metadados, mesmo quando as imagens são perturbadas. Eles motivam pesquisas futuras para:

• Defesas baseadas em conteúdo: Como transformações intencionais de imagem (por exemplo, rotação) para interromper a recuperação.
• Defesas baseadas em estrutura: Como otimizar a ordenação de entradas no prompt para aproveitar os viéses posicionais dos VLMs.
• Segurança Aprimorada: Melhorar a consciência de privacidade embutida nos LLMs para detectar e recusar melhor as tentativas de extração.

Os autores mantêm uma postura modesta, observando que seu trabalho foca em mRAG centrado em visão e VLMs de parâmetros menores, e que suas estratégias de mitigação propostas (como LLM no meio) são preliminares e ainda não soluções abrangentes.