Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering

Este artigo demonstra que sistemas de aprendizado em contexto baseados em recuperação para resposta a perguntas sobre documentos são vulneráveis a ataques de inferência de associação em caixa preta usando prefixos de consulta, propõe dois novos ataques que superam métodos anteriores mesmo com entradas parafraseadas e mostra que uma defesa adaptada de prompting em ensemble pode mitigar efetivamente o vazamento de privacidade resultante.

O essencial

Imagine que você tem um bibliotecário muito inteligente e prestativo (a IA) que trabalha em uma biblioteca privada (o servidor). Você pode fazer perguntas ao bibliotecário sobre um livro específico e, para lhe dar a melhor resposta, o bibliotecário primeiro consulta uma "cola" especial com exemplos desse livro para ver como perguntas semelhantes foram respondidas anteriormente. Isso é chamado de Aprendizado em Contexto.

O artigo de Kulkarni, Koskela e Zumot investiga uma manha astuta que um usuário poderia usar para descobrir se sua própria pergunta específica foi secretamente escrita naquela "cola" do bibliotecário (os dados de treinamento), mesmo que o usuário não possa ver a cola diretamente. Isso é chamado de Ataque de Inferência de Membro.

Aqui está uma explicação simples de suas descobertas:

A Configuração: O Bibliotecário de "Recuperação"

No mundo real, as bibliotecas não escolhem exemplos aleatórios para suas colas. Elas usam uma ferramenta de busca inteligente para encontrar os exemplos mais semelhantes à sua pergunta.

• O Problema: Os autores descobriram que essa "busca inteligente" na verdade torna a biblioteca mais vulnerável a espionagem. Como o bibliotecário escolhe exemplos muito semelhantes à sua pergunta, fica muito mais fácil para um espião dizer se sua pergunta estava no banco de dados secreto da biblioteca.

Os Dois Truques de Espião (Ataques)

Os autores projetaram duas novas maneiras de espionar o bibliotecário sem precisar ver suas anotações internas ou obter permissão especial.

1. O Espião "Dupla-Observação" (Ataque 1)

• Como funciona: O espião tem seu próprio bibliotecário privado e menor (um "modelo de referência") em casa.
• O Truque: O espião faz uma pergunta ao bibliotecário da biblioteca real, mas dá apenas as primeiras palavras da frase. Em seguida, o espião faz a mesma coisa ao seu próprio bibliotecário privado.
• A Lógica: Se a "cola" do bibliotecário real já contiver a pergunta do espião, o bibliotecário real será muito confiante e preciso, mesmo com apenas algumas palavras. O espião compara o quão confiante seu bibliotecário privado é versus o real. Se o real for surpreendentemente bom em adivinhar o restante da frase, o espião sabe: "Aha! Minha pergunta estava na cola secreta deles!"

2. O Espião "Gaguejante" (Ataque 2)

• Como funciona: Este ataque não precisa de um segundo bibliotecário. Ele apenas observa as respostas que o bibliotecário real dá.
• O Truque: O espião faz a mesma pergunta ao bibliotecário repetidas vezes, mas cada vez, dá ao bibliotecário um pedaço um pouco maior do texto (como ler uma frase palavra por palavra).
• A Lógica:
  • Se a pergunta do espião estiver na cola, o bibliotecário será capaz de responder corretamente mesmo quando receber apenas as primeiras palavras (porque a cola tem a resposta completa pronta).
  • Se a pergunta do espião não estiver na cola, o bibliotecário provavelmente dirá "Não sei" ou dará uma resposta ruim quando receber apenas as primeiras palavras, porque não tem informações suficientes ainda.
• A Pontuação: O espião dá mais pontos às respostas iniciais do bibliotecário. Se o bibliotecário responder bem no início, é um forte sinal de que a pergunta do espião estava no banco de dados.

Por Que Isso Importa

O artigo mostra que esses truques de espionagem funcionam muito bem, mesmo que o espião mude sua pergunta ligeiramente (usando sinônimos ou reformulando frases) para tentar se esconder. Eles descobriram que esses novos truques são melhores do que métodos antigos, que frequentemente falhavam porque tentavam fazer demais de uma vez (como pedir ao bibliotecário para escrever um ensaio inteiro de uma só vez, o que frequentemente é bloqueado).

Como Parar os Espiões (Defesas)

Os autores também testaram maneiras de proteger a biblioteca:

1. A Defesa "Dividida": Em vez de permitir que o usuário envie o texto completo e a pergunta juntos, o servidor poderia forçar o usuário a enviá-los separadamente. Isso impede que o espião use o truque de "Dupla-Observação", porque o servidor controla como as peças são montadas.
2. A Defesa "Voto em Grupo": Em vez de perguntar ao bibliotecário uma vez, o servidor pergunta ao bibliotecário cinco vezes com exemplos ligeiramente diferentes na cola e, em seguida, pega a resposta mais comum. Isso confunde o espião porque a "cola" muda a cada vez, tornando difícil dizer se a pergunta específica do espião foi usada.

A Conclusão

O artigo conclui que, embora o uso de busca inteligente para escolher exemplos torne as respostas da IA melhores, isso também cria uma fuga de privacidade. É como ter um bibliotecário que é tão bom em encontrar livros relevantes que ele acidentalmente revela quais livros você leu antes. Os autores sugerem que precisamos de novas ferramentas de privacidade (como o método de "Voto em Grupo") para manter as respostas úteis sem deixar espiões espreitar o banco de dados.

Resumo técnico

Resumo Técnico: Ataques de Inferência de Membros para Aprendizado em Contexto Baseado em Recuperação

1. Declaração do Problema

Este artigo aborda as vulnerabilidades de privacidade do Aprendizado em Contexto Aumentado por Recuperação (ICL) em aplicações de Resposta a Perguntas em Documentos (DQA). Embora o ICL seja uma técnica popular de engenharia de prompts que melhora o desempenho de Modelos de Linguagem de Grande Escala (LLM) sem atualizar pesos, sua implementação em serviços de API remotos de duas partes introduz riscos específicos.

No cenário estudado, um provedor de serviços mantém um conjunto de dados de demonstração privado ($D$) e utiliza uma função de recuperação (por exemplo, k-Vizinhos Mais Próximos baseada em similaridade semântica) para selecionar $k$ exemplos em contexto para a consulta de um usuário. Os autores argumentam que os Ataques de Inferência de Membros (MIAs) existentes são inadequados para este cenário porque:

• Incompatibilidade de Tarefa: MIAs anteriores focam em classificação de texto, enquanto a DQA é uma tarefa generativa que requer extração de informações.
• Pressupostos Irrealistas: Ataques existentes frequentemente dependem de acesso a logits (indisponível em APIs de caixa-preta) ou assumem demonstrações amostradas aleatoriamente. Na prática, o ICL baseado em recuperação seleciona exemplos semanticamente similares, aumentando a probabilidade de que a consulta de um usuário (ou uma paráfrase dela) apareça no prompt, amplificando assim os riscos de privacidade.
• Restrições Operacionais: Ataques como "Repeat" (prever longos sufixos) ou "Brainwash" (inversão iterativa de rótulos) são impraticáveis devido a limites de tokens e restrições de janela de contexto em tarefas generativas.

A questão central de pesquisa é: É possível projetar ataques eficazes de inferência de membros contra ICL baseado em recuperação para DQA que dependam exclusivamente de previsões do modelo (caixa-preta) e aproveitem os mecanismos específicos da recuperação semântica?

2. Metodologia

Os autores propõem dois ataques de caixa-preta que exploram o fato de que o ICL baseado em recuperação seleciona demonstrações semanticamente similares à consulta. O adversário tem acesso ao texto da consulta (potencialmente parafraseado) e à resposta verdadeira, mas não pode acessar as métricas de perda internas ou logits do servidor.

Ataque 1: Estimação do Modelo de Referência

Este ataque estima a métrica de perda do modelo alvo usando um modelo de referência hospedado localmente ($LM_r$).

• Mecanismo: O adversário constrói uma série de prompts usando prefixos do texto da consulta ($t_{:i}$). Tanto o modelo vítima ($LM_v$) quanto o modelo de referência ($LM_r$) geram previsões para esses prefixos.
• Correlação: O adversário calcula a similaridade semântica (produto escalar de embeddings) entre as previsões do modelo de referência e os tokens verdadeiros. Como $LM_r$ imita a configuração de recuperação, a qualidade de sua previsão correlaciona-se com as log-probabilidades do modelo alvo.
• Regressão: Um modelo de regressão k-NN 1D é treinado para mapear as pontuações de similaridade semântica do modelo de referência para as log-probabilidades reais do modelo de referência. Este mapeamento é então aplicado às pontuações de similaridade do modelo vítima para estimar a log-perda da vítima.
• Sinal: A média da log-verossimilhança negativa estimada serve como pontuação de membro. Pontuações mais baixas indicam maior probabilidade de pertencimento.

Ataque 2: Apenas Previsão (Média Ponderada)

Este ataque elimina a necessidade de um modelo de referência, dependendo exclusivamente das previsões finais do modelo vítima.

• Mecanismo: O adversário consulta o modelo vítima com prefixos incrementais do texto ($t_{:i}$) emparelhados com a pergunta.
• Pontuação Ponderada: O ataque calcula uma pontuação baseada na similaridade semântica entre a resposta prevista pelo modelo e a resposta verdadeira para cada prefixo.
• Função de Decaimento: Uma função de penalidade $\phi(i)$ (por exemplo, $1/i$) é aplicada para ponderar as pontuações. A intuição é que, para consultas de membros, o sistema de recuperação provavelmente incluirá o texto completo (ou uma versão muito similar) no contexto mesmo para prefixos pequenos, permitindo que o modelo responda corretamente desde o início. Para não membros, o modelo carece do contexto necessário para prefixos pequenos e pode gerar "Não sei" ou uma resposta de baixa qualidade.
• Sinal: A soma ponderada das similaridades serve como pontuação de membro. Pontuações mais altas indicam pertencimento.

3. Contribuições Principais

• Novos Vetores de Ataque para ICL Generativo: O artigo apresenta os primeiros MIAs especificamente direcionados ao ICL baseado em recuperação para Resposta a Perguntas em Documentos, uma tarefa generativa, indo além da literatura focada em classificação.
• Modelo de Ameaça Realista: Os ataques operam sob restrições estritas de caixa-preta (sem acesso a logits, tokens de saída limitados) e assumem o uso de recuperação semântica (kNN), que é padrão em sistemas de Geração Aumentada por Recuperação (RAG).
• Resiliência a Paráfrases: Os experimentos consideram um cenário em que o adversário possui uma versão parafraseada do texto da consulta. Os ataques propostos demonstram forte resiliência a este mecanismo de defesa comum, superando as linhas de base mesmo quando a correspondência exata de texto é impossível.
• Adaptação de Defesa: Os autores adaptam uma defesa existente de "prompting em conjunto" para o cenário de DQA, demonstrando que ela pode mitigar substancialmente o vazamento de privacidade dos ataques propostos.

4. Resultados Experimentais

Os autores avaliaram seus ataques em três conjuntos de dados de DQA (SQuAD, SQuADShifts, NewsQA) usando os modelos Gemma e Pythia.

• Desempenho vs. Linhas de Base: Os ataques propostos (tanto Modelo de Referência quanto Apenas Previsão) geralmente superaram três métodos de linha de base (baseados em logits, Repeat e Brainwash) em termos de Taxa de Verdadeiros Positivos em Baixas Taxas de Falsos Positivos (TPR@baixo FPR).
  • O ataque Modelo de Referência alcançou a maior Área sob a Curva (AUC) em muitos casos, frequentemente superando as linhas de base usando apenas 10% dos prefixos da consulta.
  • O ataque Apenas Previsão mostrou melhorias consistentes de desempenho com mais prefixos e foi competitivo ou superior às linhas de base no NewsQA e SQuADShifts.
• Impacto da Paráfrase: Contrariando a expectativa de que a paráfrase neutralizaria os ataques, os resultados mostraram que os ataques propostos permaneceram eficazes contra consultas parafraseadas, enquanto os métodos de linha de base (que frequentemente dependiam de correspondência exata de tokens ou padrões específicos de logits) degradaram-se significativamente.
• Tamanho do Modelo: Os ataques permaneceram eficazes em modelos maiores (Gemma-7B), embora a linha de base "Brainwash" tenha desempenhado mal nos modelos Pythia devido a limitações de janela de contexto e sensibilidade à colocação de exemplos.

5. Significado e Alegações

O artigo afirma que o ICL baseado em recuperação, embora melhore a utilidade, introduz um risco de privacidade significativo e anteriormente inexplorado. Os autores enfatizam que:

• A Similaridade Semântica é uma Espada de Dois Gumes: O próprio mecanismo que melhora a precisão do ICL (selecionar exemplos semanticamente similares) aumenta drasticamente a probabilidade de que a consulta de um usuário apareça no prompt, tornando a inferência de membros mais fácil.
• Sigilo e Viabilidade: Diferentemente de ataques anteriores que arriscam detecção por transbordamento de janelas de contexto ou violação de restrições de API, estes ataques são sigilosos, exigindo apenas chamadas de API padrão com pequenos tokens de saída.
• Limitações das Defesas Atuais: Defesas padrão como paráfrase são insuficientes contra estes ataques específicos.
• Necessidade de Novas Soluções: Os autores concluem que desenvolver uma solução prática de Privacidade Diferencial (DP) para ICL alimentado por recuperação é não trivial. Os métodos DP existentes frequentemente dependem de amostragem aleatória (que amplifica garantias de privacidade), enquanto a recuperação é determinística. Eles apelam por novas pesquisas para equilibrar a utilidade de demonstrações relevantes com garantias formais de privacidade.

Em resumo, o trabalho demonstra que, em um cenário realista de API de duas partes com ICL aumentado por recuperação, um adversário pode inferir com sucesso se uma consulta específica fazia parte do conjunto de demonstrações do serviço usando apenas previsões de caixa-preta, destacando uma lacuna crítica nas proteções de privacidade atuais para serviços de IA generativa.