Resumo Técnico: Revelando Riscos de Privacidade em Modelos de Linguagem de Grande Escala Multimodais

Declaração do Problema

Embora os riscos de privacidade em LLMs apenas de texto, como a memorização e o vazamento de informações sensíveis, estejam bem documentados, os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) introduzem desafios únicos e pouco explorados. Diferente dos modelos apenas de texto, os MLLMs processam tanto texto quanto imagens, criando novos vetores para violações de privacidade. Especificamente, os MLLMs podem extrair e expor informações sensíveis incorporadas diretamente em imagens ou recuperar dados sensíveis armazenados em sua memória induzida por entradas de imagem. Trabalhos anteriores focaram amplamente na "consciência de privacidade" (se um modelo reconhece informações privadas) em vez do risco real de vazamento de dados. Este artigo aborda a lacuna crítica na compreensão da severidade dos problemas de privacidade em MLLMs através de várias tarefas e cenários.

Metodologia

O Conjunto de Dados MM-Privacy

Para avaliar sistematicamente esses riscos, os autores introduzem o MM-Privacy, um benchmark abrangente contendo mais de 13.500 amostras. O conjunto de dados é estruturado para avaliar dois riscos de privacidade distintos:

1. Riscos de Divulgação: Avalia o comportamento imediato do modelo ao processar uma entrada sensível (ex: uma imagem contendo um Número de Seguro Social).
2. Riscos de Retenção: Avalia como o modelo lida com informações que aprendeu ou memorizou durante o treinamento (ajuste fino/fine-tuning).

Construção do Conjunto de Dados:

• Conjunto de Memória: Contém 1.000 amostras com informações privadas sintéticas (e-mails, números de telefone, SSNs) injetadas em imagens. Estas são usadas para realizar o ajuste fino de modelos para "memorizar" dados específicos.
• Conjunto de Avaliação: Contém 2.500 amostras não sobrepostas usadas para testar se os modelos vazam os dados memorizados ou os dados presentes na entrada.
• Cenários: O conjunto de dados cobre quatro cenários do mundo real: Contratação (candidaturas de emprego), Verificação (formulários I-9), Finanças (pedidos de empréstimo) e Contexto Aberto.
• Geração de Imagens: As imagens são geradas via três métodos: geração automática de formulários, criação centrada no humano (imprimir e fotografar formulários preenchidos) e geração de imagens contextualmente relacionadas usando Stable Diffusion para testar se o contexto aumenta a vulnerabilidade.
• Diversidade de Tarefas: Para analisar vulnerabilidades específicas de tarefas, as instruções são reformuladas em cinco tarefas distintas: Perguntar Diretamente, Legendagem (Captioning), Visual Question Answering (VQA), Refraseamento e Classificação.

Estrutura de Avaliação

O estudo avalia tanto modelos de código fechado (GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude3-Haiku) quanto modelos de código aberto (Idefics2, Llava-1.5, Llava-1.6, Xgen-Phi3, PaliGemma).

• Métricas:
  • Taxa de Sucesso de Ataque (ASR): Mede a frequência de vazamento bem-sucedido (saída de informação privada correta). Quanto maior, pior.
  • Taxa de Recusa (RR): Mede a frequência com que o modelo declina responder. Quanto menor, pior.
• Variações de Treinamento: Para Riscos de Retenção, os modelos são ajustados via LoRA com diferentes alvos de treinamento: Aprendizado Supervisionado (SFT), Aprendizado Contrastivo e Aprendizado Estilo QA.
• Análise de Defesa: A eficácia de prompts de defesa (ex: de Wang et al., 2024; Xie et al., 2023) é testada para ver se mitigam o vazamento.

Principais Resultados

1. Riscos de Divulgação

• Modelos de Código Fechado: Possuem salvaguardas gerais, mas o desempenho é inconsistente. Surpreendentemente, modelos poderosos como GPT-4V e GPT-4o mostraram salvaguardas menos eficazes em certos contextos comparados a outros.
• Inconsistência de Tarefa: Tarefas indiretas, especificamente Legendagem e Refraseamento, apresentaram os maiores riscos de privacidade (maior ASR) para modelos de código fechado. Essas tarefas parecem desviar a atenção do modelo das restrições de privacidade, de forma semelhante aos mecanismos de jailbreaking.
• Modelos de Código Aberto: Exibiram riscos significativamente maiores do que seus equivalentes de código fechado. A maioria dos modelos de código aberto apresentou baixas Taxas de Recusa (RR), indicando uma disposição para fornecer dados sensíveis. No entanto, suas Taxas de Sucesso de Ataque (ASR) foram frequentemente abaixo de 50% para a maioria das tarefas, provavelmente devido à dificuldade em reconhecer texto dentro de imagens, em vez de um forte alinhamento de privacidade.

2. Riscos de Retenção

• Vazamento de Memorização: Todos os modelos de código aberto testados emitiram informações privadas do conjunto de memória quando submetidos ao ajuste fino, destacando uma vulnerabilidade severa na forma como esses modelos lidam com dados memorizados.
• Impacto do Método de Treinamento: O Aprendizado Supervisionado (SFT) resultou no maior vazamento de privacidade (maior ASR), provavelmente devido ao overfitting. O Aprendizado Contrastivo ofereceu a melhor preservação de privacidade com o menor ASR.
• Comportamento de Código Fechado: Modelos de código fechado mostraram Taxas de Recusa muito mais altas durante testes de retenção, tornando-se mais cautelosos ao lidar com dados memorizados em comparação com entradas diretas.

3. Eficácia de Prompts de Defesa

• Prompts de defesa melhoraram significativamente a Taxa de Recusa para o Llava-1.6, elevando-a a quase 100% em todas as tarefas.
• No entanto, os mesmos prompts forneceram apenas proteção marginal para o Idefics2, sugerindo que a eficácia da defesa é altamente dependente do ajuste de instrução e da arquitetura subjacente do modelo.

Principais Contribuições

1. Definição de Riscos: O artigo define formalmente e distingue entre Riscos de Divulgação (vazamento imediato de entrada) e Riscos de Retenção (vazamento de dados memorizados) especificamente para MLLMs.
2. Conjunto de Dados MM-Privacy: Introduz o primeiro conjunto de dados multimodal projetado para avaliar estes dois riscos de forma abrangente através de diversos cenários (Contratação, Finanças, Verificação, Contexto Aberto) e tarefas.
3. Avaliação Sistemática: Fornece resultados experimentais extensos mostrando que o vazamento de privacidade é um problema persistente, sendo os modelos de código aberto notavelmente mais vulneráveis que os de código fechado.
4. Insights Baseados em Tarefas: Revela que os riscos de privacidade são altamente inconsistentes entre diferentes tarefas; tarefas indiretas como legendagem e refraseamento frequentemente contornam as salvaguardas existentes, necessitando de estratégias de mitigação baseadas em tarefas.

Significância e Alegações

Os autores alegam que seu trabalho preenche uma lacuna crítica na análise de privacidade de MLLMs, indo além de simples testes de "consciência" para uma avaliação real de vazamento. Os achados enfatizam a necessidade urgente de mecanismos de proteção de privacidade aprimorados, particularmente no domínio de código aberto. O artigo destaca que as salvaguardas existentes falham em generalizar através de diferentes modos de interação (tarefas), e que o estado atual dos MLLMs apresenta riscos significativos para a exposição de dados. O estudo conclui que, sem estratégias de mitigação específicas adaptadas às tarefas e métodos de treinamento multimodais, os MLLMs permanecem suscetíveis a graves violações de privacidade.