Protecting User Prompts Via Character-Level Differential Privacy

1. O Problema

Com o aumento da adoção de Modelos de Linguagem de Grande Escala (LLMs) para tarefas pessoais e profissionais, os prompts enviados pelos usuários frequentemente contêm informações sensíveis, como Informações Pessoalmente Identificáveis (PII), dados médicos confidenciais ou segredos comerciais. Como a maioria desses LLMs é hospedada por terceiros, existe um risco significativo de vazamento ou exposição desses dados.

Abordagens existentes para proteger a privacidade dos prompts apresentam limitações:

• Métodos baseados em NER (Reconhecimento de Entidades Nomeadas) e regras: Podem falhar na detecção (falsos negativos) ou remover erroneamente dados não sensíveis (falsos positivos), dependendo da precisão do modelo e do contexto.
• Criptografia (Homomórfica/SMC): Requerem mudanças na arquitetura do LLM e possuem alto custo computacional, sendo inviáveis para LLMs hospedados externamente.
• Privacidade Diferencial (DP) em nível de palavra: Substitui palavras inteiras por outras semanticamente similares, o que frequentemente degrada a utilidade do texto e altera todas as palavras, inclusive as não sensíveis.

2. Metodologia Proposta

Os autores propõem um novo mecanismo de Privacidade Diferencial Local (LDP) aplicado no nível de caracteres antes do envio do prompt ao provedor do LLM. A abordagem consiste em duas etapas principais:

1. Injeção de Ruído (Lado do Cliente):

   • Cada caractere de cada palavra no prompt é perturbado independentemente usando o mecanismo de Resposta Aleatória k-ária (k-RR).
   • Para cada caractere, há uma probabilidade de ser mantido ou substituído por outro caractere ASCII imprimível aleatório, controlada pelo parâmetro de privacidade $\epsilon$.
   • Isso preserva o comprimento das palavras, mas introduz "erros de digitação" ou ruído aleatório.

2. Restauração e Execução da Tarefa (Lado do Servidor/LLM Remoto):

   • O texto perturbado ($T^*$) é enviado ao LLM remoto.
   • O LLM é instruído a restaurar o texto (corrigir os erros introduzidos pelo ruído) e, em seguida, executar a tarefa de interesse (ex: sumarização).
   • Intuição Central: O LLM consegue reconstruir com alta precisão palavras comuns (não sensíveis) porque elas possuem baixa entropia e fortes correlações contextuais e estatísticas com o restante do texto. Por outro lado, palavras sensíveis (como nomes específicos, endereços, números de telefone) são tipicamente raras, possuem alta entropia e carecem de contexto suficiente para serem reconstruídas corretamente após a perturbação.

3. Principais Contribuições

• Mecanismo de LDP no Nível de Caracteres: Uma aplicação direta do k-RR no lado do cliente que não requer identificação prévia de entidades sensíveis, evitando os erros de detecção de modelos NER.
• Exploração da Capacidade de Restauração de LLMs: Utiliza a capacidade dos LLMs de corrigir erros em palavras comuns para manter a utilidade, enquanto a raridade das palavras sensíveis impede sua reconstrução, criando um equilíbrio automático entre privacidade e utilidade.
• Linha de Base Teórica: Estabelecem uma linha de base teórica para a taxa de reconstrução de palavras aleatórias perturbadas. Demonstram que a reconstrução de PII sensível ocorre a uma taxa próxima a essa linha de base (quase como um chute aleatório), enquanto palavras não sensíveis são reconstruídas em taxas muito superiores.
• Avaliação Unificada: Comparam sua abordagem com DP em nível de palavra e com redação baseada em regras (Presidio), utilizando métricas de similaridade semântica e taxas de reconstrução.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados i2b2/UTHealth (registros médicos) e Enron (e-mails), utilizando os modelos Llama-3.1 8B e GPT-4o mini.

• Privacidade vs. Utilidade:
  • Para valores de $\epsilon$ entre 4 e 6, observa-se um equilíbrio ideal: a taxa de reconstrução de palavras sensíveis permanece baixa (próxima à linha de base teórica de palavras aleatórias), enquanto a reconstrução de palavras não sensíveis é alta.
  • A similaridade semântica entre o resumo original e o resumo gerado a partir do prompt restaurado permanece alta (acima de 75-80%), indicando que a utilidade da tarefa é preservada.
• Análise de Entidades:
  • A reconstrução de entidades completas (ex: nomes completos com múltiplas palavras ou endereços completos) é significativamente mais difícil do que a reconstrução de partes isoladas.
  • Detalhes específicos (como nomes de ruas) são mais difíceis de recuperar do que categorias gerais (como cidade/estado), reforçando a proteção de dados granulares.
• Iteração: A aplicação de uma segunda rodada de restauração pelo LLM não aumentou significativamente a reconstrução de termos sensíveis, mantendo a privacidade robusta.
• Comparação: O método de nível de caractere superou a DP em nível de palavra em termos de preservação de utilidade para o mesmo nível de proteção de privacidade. O Presidio (baseado em regras) ofereceu alta utilidade, mas com um ponto de operação fixo e sem flexibilidade para ajustar o trade-off privacidade-utilidade.

5. Significado e Conclusão

O trabalho demonstra que é possível proteger prompts de LLMs contra vazamento de informações sensíveis sem depender de detectores de PII imperfeitos ou de criptografia pesada.

• Vantagem Chave: O método é agnóstico ao domínio e não requer a identificação explícita do que é sensível. A proteção é aplicada uniformemente a todo o texto.
• Mecanismo de Defesa: A segurança deriva da dificuldade inerente dos LLMs em reconstruir strings de alta entropia (raras) a partir de ruído, enquanto eles são excelentes em corrigir erros em strings de baixa entropia (comuns).
• Implicação Prática: Oferece um trade-off sintonizável (via $\epsilon$) que permite aos usuários ajustar o nível de proteção conforme o risco, sendo uma solução leve e eficaz para privacidade de prompts em ambientes de LLMs hospedados por terceiros.

Em suma, a técnica transforma o prompt em um texto "corrompido" que o LLM consegue "limpar" para manter o contexto geral, mas falha em recuperar os detalhes sensíveis específicos, garantindo privacidade sem sacrificar a funcionalidade da tarefa.