ContextLeak: Auditing Leakage in Private In-Context Learning Methods

Título: ContextLeak: Auditoria de Vazamento em Métodos de Aprendizado em Contexto (ICL) Privados

1. O Problema

O Aprendizado em Contexto (In-Context Learning - ICL) tornou-se uma técnica padrão para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas específicas, inserindo exemplos (exemplares) diretamente no prompt. No entanto, quando esses exemplos contêm informações sensíveis (dados pessoais, médicos, financeiros), há um risco crítico de vazamento de privacidade através das saídas do modelo, mesmo quando o desenvolvedor inclui instruções de "não vazamento".

• Falha das Defesas Atuais: Métodos heurísticos (instruções no prompt) muitas vezes falham contra ataques maliciosos. Métodos baseados em Privacidade Diferencial (DP) oferecem garantias teóricas (limites superiores de vazamento), mas esses limites são frequentemente frouxos (loose) na prática, não refletindo o risco real de vazamento de dados específicos.
• Falta de Auditoria: Existe uma lacuna significativa em métodos para auditar empiricamente o vazamento de privacidade em cenários de ICL. A maioria das auditorias anteriores foca em dados de treinamento ou em casos médios, negligenciando o pior caso (worst-case), onde um adversário tenta inferir a presença de um ponto de dados específico e raro.

2. Metodologia: ContextLeak

O paper introduz o ContextLeak, o primeiro framework para medir empiricamente o vazamento de informação no pior caso em ICL privado. O framework opera como um ataque de inferência de associação (Membership Inference Attack - MIA) adaptado para o contexto de inferência.

Componentes Principais:

• Inserção de "Canários" (Canary Insertion):
  O auditor insere um "canário" (um token ou sequência de tokens unicamente identificável) no conjunto de dados sensíveis com 50% de probabilidade. Os autores propõem três tipos de canários:

  1. Hexadecimais: Sequências de caracteres hexadecimais aleatórios (ex: #F3Z522119).
  2. Unigramas Raros: Tokens que aparecem com baixa frequência no dataset.
  3. Fatos Falsos: Declarações semanticamente contraditórias ao conhecimento geral do modelo (ex: "O sol nasce no oeste").

• Consultas Adversariais (Adversarial User Queries):
  O auditor cria consultas específicas para induzir o modelo a revelar a presença do canário. Três estratégias são testadas:

  1. Input-Output: Pedir ao modelo para completar o rótulo dado o input do canário.
  2. If-Then Explícito: "Se a string [canário] estiver presente, output X, senão output Y".
  3. If-Then Não Explícito: Pedir para detectar strings "incongruentes" sem nomear o canário explicitamente.

• Otimização de Prompt:
  Utiliza-se o framework GEPA (dentro do DSPy) para otimizar automaticamente as consultas do usuário, maximizando a precisão do ataque e, consequentemente, a medição do vazamento.

• Medição de Vazamento:
  O processo é repetido $n$ vezes. O auditor tenta prever se o canário estava presente ou não com base na saída privatizada.

  • A precisão da auditoria é convertida em uma limitação inferior empírica do orçamento de privacidade ($\epsilon$).
  • Se a precisão for 50%, não há vazamento. Se for 100%, há vazamento total.
  • A fórmula utilizada para estimar $\epsilon$ empírico baseia-se nas taxas de Verdadeiros Positivos (TPR) e Falsos Positivos (FPR).

3. Contribuições Chave

1. Framework de Auditoria Unificado: O ContextLeak é o primeiro framework capaz de auditar tanto defesas heurísticas quanto métodos com garantias formais de DP em um único ambiente.
2. Medição do Pior Caso: Foca no vazamento máximo possível (worst-case) através de canários adversariais, em vez de vazamentos de caso médio.
3. Sinal Prático de Risco: Demonstra que a precisão da auditoria e o $\epsilon$ empírico aumentam monotonicamente com o orçamento teórico $\epsilon$, fornecendo um sinal prático de risco de privacidade.
4. Análise de Trade-off Privacidade-Utilidade: Fornece uma comparação direta entre a utilidade do modelo e o nível de vazamento de privacidade para diferentes defesas.

4. Resultados Principais

Os experimentos foram realizados em vários modelos (Llama-3.3-70B, Qwen2.5-72B, GPT-4.1) e datasets (SubJ, Sarcasm, SAMSum, DocVQA).

• Falha das Defesas Heurísticas: Ataques de injeção de prompt tradicionais são bloqueados por defesas baseadas em instruções (LLM-based defenses), mas o ContextLeak contorna todas as defesas, incluindo as mais fortes (L3), revelando vazamento total. Isso ocorre porque o ataque não tenta extrair dados arbitrários, mas sim detectar uma mudança mensurável na saída.
• Vazamento em Defesas DP:
  • Métodos como Report-Noisy-Max (RNM) e Embedding-Space Aggregation (ESA) exibem vazamento não trivial.
  • A precisão da auditoria aumenta consistentemente conforme o orçamento teórico $\epsilon$ aumenta.
  • Mesmo com $\epsilon \to \infty$ (onde teoricamente a privacidade deveria ser nula), observa-se um vazamento residual devido a artefatos do mecanismo de agregação (ex: ensembles), indicando que as garantias teóricas são excessivamente otimistas.
• Trade-off Privacidade-Utilidade:
  • As defesas DP (RNM e ESA) apresentam um ganho de utilidade rápido em orçamentos baixos, mas sofrem de retornos decrescentes.
  • Existe uma lacuna persistente de utilidade entre a inferência privada e a não privada, mesmo em orçamentos altos, devido à sobrecarga inerente à agregação e ao ruído.
  • Defesas heurísticas mantêm a utilidade, mas falham completamente na proteção de privacidade.

5. Significado e Impacto

• Reavaliação de Garantias de Privacidade: O trabalho demonstra que as garantias teóricas de Privacidade Diferencial em ICL podem ser excessivamente pessimistas ou, na prática, não refletir o risco real devido a implementações imperfeitas (como agregação de ensembles).
• Necessidade de Auditoria Empírica: Sugere que a avaliação de privacidade em LLMs não deve depender apenas de limites teóricos, mas deve ser complementada por auditorias empíricas baseadas em ataques (como o ContextLeak).
• Guia para Desenvolvedores: Oferece uma ferramenta prática para que desenvolvedores testem e comparem diferentes mecanismos de privacidade antes de implantar ICL em aplicações de alto risco (saúde, finanças), permitindo decisões informadas sobre o trade-off entre utilidade e segurança.
• Futuro da Pesquisa: Destaca a necessidade de desenvolver mecanismos de ICL privado que ofereçam garantias mais apertadas (tighter) e menos sobrecarga de utilidade, além de investigar auditorias em interações multi-turno.

Em resumo, o ContextLeak expõe que os métodos atuais de privacidade em ICL, tanto heurísticos quanto formais, falham em proteger adequadamente contra ataques de pior caso, e estabelece um novo padrão para a avaliação empírica de riscos de privacidade em modelos de linguagem.