PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing

Título: PATCH: Mitigando Vazamento de PII em Modelos de Linguagem com Correção de Circuitos Alvo Consciente de Privacidade

1. O Problema

Os Grandes Modelos de Linguagem (LMs) tendem a memorizar informações do conjunto de dados de treinamento, incluindo Informações Pessoalmente Identificáveis (PII), como nomes, localizações e raça. Isso permite que adversários com acesso "caixa-preta" ao modelo extraiam esses dados sensíveis durante a inferência.

As defesas existentes apresentam limitações significativas:

• Processamento de Dados (Scrubbing): Remover PII dos dados antes do treinamento é caro e pode não ser eficaz contra inferências indiretas.
• Privacidade Diferencial (DP): Oferece garantias formais, mas causa uma queda drástica na utilidade (desempenho) do modelo.
• Edição de Modelos (Neurônios): Métodos anteriores que editam neurônios específicos muitas vezes falham em equilibrar privacidade e utilidade, podendo até aumentar o vazamento de outros tipos de PII.

2. Metodologia: O Framework PATCH

O artigo propõe o PATCH (Privacy-Aware Targeted Circuit PatcHing), uma abordagem baseada em interpretabilidade mecânica que identifica e edita diretamente os "circuitos computacionais" internos do modelo responsáveis pelo vazamento de PII.

O processo segue seis etapas principais (Algoritmo 1):

1. Geração de Prompts para Descoberta:

   • Criam-se pares de prompts: "limpos" (com PII real) e "corrompidos" (com PII substituído por entidades semanticamente similares).
   • Utiliza-se um conjunto de dados privado (ex: documentos do Tribunal Europeu de Direitos Humanos) rotulado com tipos de PII.

2. Extração de Circuitos de Vazamento:

   • Emprega-se a técnica EAP-IG (Edge Attribution Patching with Integrated Gradients) para descobrir circuitos.
   • O método analisa a sensibilidade das ativações de attention heads (cabeças de atenção) e a importância de cada componente na previsão correta de valores de PII.
   • Identifica-se um circuito $C_i$ contendo nós (cabeças de atenção) e arestas (fluxo de informação) com pontuações de importância.

3. Cálculo de Limiar e Seleção de Arestas:

   • Define-se um limiar (ex: percentil 95% ou 99%) para selecionar as arestas de maior pontuação ($E^{high}_i$) dentro de cada circuito de PII.

4. Identificação de Arestas Compartilhadas:

   • Em vez de tratar cada tipo de PII isoladamente, o PATCH calcula a interseção das arestas de alta pontuação entre todos os tipos de PII (Nomes, Localizações, Raça).
   • O conjunto resultante, $E_{shared}$, representa os caminhos computacionais comuns e críticos para o vazamento.

5. Correção (Patching):

   • Aplica-se um mecanismo de edição de modelo ($A$) sobre as arestas compartilhadas $E_{shared}$.
   • Duas estratégias de ablação são testadas:
     • Zero Ablation: Definir os pesos das arestas para zero.
     • Mean Ablation: Substituir os pesos pelos seus valores médios.

3. Principais Contribuições

1. Método de Edição Direcionada: O PATCH oferece um melhor equilíbrio entre privacidade e utilidade do que as defesas existentes, editando especificamente os circuitos causais do vazamento.
2. Caracterização de Circuitos: O estudo identifica e mapeia os circuitos específicos responsáveis por vazamentos de diferentes tipos de PII, revelando que cabeças de atenção distintas dentro desses circuitos influenciam o vazamento.
3. Robustez e Ablação: Uma extensa análise de ablação demonstra a robustez do método em diferentes configurações de hiperparâmetros e arquiteturas de modelos.
4. Combinação com DP: O PATCH pode ser combinado com Privacidade Diferencial para reduzir o vazamento residual para níveis extremamente baixos (até 0,01%).

4. Resultados Experimentais

Os experimentos foram realizados em vários modelos (GPT-2, Llama-3.2, Qwen3) com dados do ECHR.

• Eficiência de Privacidade:
  • O PATCH-Baseline (aplicado a modelos sem defesa) reduziu a precisão da extração de PII em 40%–90% e o recall (taxa de recuperação) em 80%–86% em comparação com modelos indefesos.
  • O PATCH-DP (combinação com DP) alcançou um recall de menos de 1% em todos os modelos, com proteção de privacidade máxima.
• Utilidade (Desempenho):
  • Diferente do DP puro, que aumenta drasticamente a perplexidade (reduzindo a qualidade do texto), o PATCH-Baseline manteve a utilidade do modelo com um custo mínimo (aumento de perplexidade de apenas ~1 ponto em alguns casos).
  • Em modelos maiores, a combinação PATCH-DP reduziu o recall para <0,5%, embora em alguns casos tenha havido um aumento na perplexidade.
• Análise de Circuitos:
  • Sobreposição: Descobriu-se que há baixa sobreposição de arestas entre circuitos de diferentes tipos de PII (ex: nomes vs. raça), mas alta sobreposição de nós. Isso sugere que os modelos usam caminhos especializados, mas compartilham certos padrões de atenção.
  • Fidelidade: Os circuitos descobertos foram altamente fiéis (>75%), indicando que a ablação dessas arestas específicas explica o comportamento de vazamento sem afetar outras capacidades do modelo.

5. Significado e Conclusão

O trabalho demonstra que o vazamento de PII em LMs não é um fenômeno difuso por todo o espaço de parâmetros, mas sim localizado em circuitos computacionais específicos e identificáveis.

• Inovação: Ao invés de "cegar" o modelo (como no DP) ou limpar os dados (Scrubbing), o PATCH realiza uma "cirurgia" precisa na arquitetura interna do modelo.
• Impacto Prático: Oferece uma ferramenta viável para organizações que precisam mitigar riscos de privacidade sem sacrificar a qualidade do modelo, especialmente em cenários onde o DP puro é muito custoso em termos de desempenho.
• Limitações: O método depende de recursos computacionais intensivos para a descoberta de circuitos e foi testado em um subconjunto de tipos de PII. A aplicação em modelos de escala massiva (bilhões de parâmetros) ainda é um desafio devido ao custo da descoberta de circuitos.

Em resumo, o PATCH representa um avanço significativo na segurança de LMs, provando que a interpretabilidade mecânica pode ser usada como uma ferramenta de defesa ativa e eficaz contra vazamentos de dados sensíveis.