Resumo Técnico: GRASP – Reforçando Anonimizadores de Modelos de Linguagem com Otimização de Política Relativa de Grupo

Declaração do Problema

Grandes modelos de linguagem (LLMs) representam um risco significativo à privacidade ao inferir atributos pessoais sensíveis (ex: idade, localização, ocupação, renda) de textos comuns com alta precisão. Embora os métodos clássicos de anonimização (ex: reconhecimento de entidades nomeadas) removam identificadores explícitos, eles falham em abordar pistas semânticas contextuais que ataques de inferência modernos exploram.

A defesa de estado da arte, a anonimização adversarial, reescreve iterativamente o texto usando um LLM poderoso que atua simultaneamente como um atacante para identificar e remover informações privadas residuais. No entanto, essa abordagem exige a execução de um modelo de fronteira (ex: GPT-4o, Gemini) no momento da inferência, o que exige a transmissão de dados privados do usuário para APIs de terceiros. Isso cria um paradoxo fundamental: a própria exposição que a anonimização visa prevenir é necessária para alcançá-la.

Tentativas anteriores de localizar essa capacidade, como o SEAL, destilam o comportamento de modelos de fronteira para um pequeno modelo de linguagem (SLM) usando Ajuste Fino Supervisionado (SFT) e Otimização de Preferência Direta (DPO). No entanto, o DPO é limitado porque apenas imita as preferências offline de um modelo professor. Ele não pode otimizar diretamente o objetivo específico de privacidade–utilidade e é limitado pela qualidade das demonstrações destiladas, sendo incapaz de explorar reescritas que o professor nunca produziu.

Metodologia: GRASP

Os autores introduzem o GRASP (Group-Relative Anonymization via Self-refinement Policy-optimization), um framework que substitui a imitação offline por aprendizado por reforço (RL) online para otimizar diretamente o equilíbrio privacidade–utilidade.

1. Arquitetura e Papéis

O GRASP utiliza um único pequeno modelo de linguagem (baseado no Llama-3.1-8B) que desempenha três papéis distintos:

• Anonimizador: Reescreve o texto para ocultar atributos.
• Adversário: Infere atributos privados a partir do texto reescrito.
• Juiz de Utilidade: Avalia a legibilidade e a preservação semântica.

2. Pipeline de Treinamento

O processo consiste em duas etapas:

• Estágio 1: Ajuste Fino Supervisionado (SFT): O modelo base é adaptado usando trajetórias geradas por um modelo de fronteira (GPT-4o) atuando como um anonimizador adversarial. O modelo é treinado em três conjuntos de dados: pares de anonimização, rótulos de inferência adversarial e rótulos de avaliação de utilidade. Isso produz um modelo de referência congelado, $\pi_{ref}$, capaz de realizar todas as três tarefas.
• Estágio 2: Otimização GRPO: A política de anonimização ($\pi_\theta$) é ajustada finamente usando Otimização de Política Relativa de Grupo (GRPO). Diferente do PPO, o GRPO não requer uma rede de valor separada. Em vez disso, para cada entrada, a política amostra um grupo de $G$ reescritas candidatas. O $\pi_{ref}$ congelado pontua cada candidata tanto como um adversário quanto como um juiz para gerar um sinal de recompensa.

3. Design de Recompensa e Mecanismos Anti-Hacking

A função de recompensa $R(x')$ combina pontuações de privacidade ($r_p$) e utilidade ($r_u$), sujeitas a restrições rígidas para evitar o "reward hacking" (subversão de recompensa):

• Recompensa de Privacidade: Baseada no número de atributos que o adversário ainda consegue inferir e seus níveis de confiança. Crucialmente, a recompensa penaliza qualquer suposição confiante do adversário, independentemente de a suposição ser factualmente correta ou não. Isso força o modelo a remover a pista subjacente em vez de apenas disfarçá-la para enganar um atacante específico.
• Recompensa de Utilidade: Mede a legibilidade, a preservação semântica e a ausência de alucinações.
• Restrições:
  • Banda de Comprimento: A saída deve permanecer dentro de $[0.5|x|, 2|x|]$ palavras para evitar soluções triviais (ex: deletar o texto inteiro).
  • Piso de Utilidade: Um limiar mínimo de utilidade ($\tau$) é aplicado para evitar que o modelo sacrifique totalmente o significado em prol da privacidade.
• Auto-refinamento na Inferência: No momento do teste, a política treinada roda inteiramente no dispositivo. Ela refina iterativamente sua própria saída, inferindo atributos residuais e utilidade, e então reescrevendo o texto com base nesse feedback autogerado, sem a necessidade de modelos externos.

Principais Contribuições

1. Formulação Direta de RL: O artigo trata a anonimização de texto local como aprendizado por reforço direto contra uma recompensa adversarial autogerada, indo além das limitações de imitação offline do DPO.
2. Framework Unificado GRASP: Implementação de uma receita GRPO onde um único modelo pequeno serve como anonimizador, atacante e juiz de utilidade, eliminando a necessidade de modelos externos durante o treinamento ou inferência.
3. Validação Empírica: Experimentos extensos demonstrando que o GRASP melhora o equilíbrio privacidade–utilidade sobre as linhas de base de destilação DPO e sobre anonimizadores adversariais de modelos de fronteira, operando inteiramente no dispositivo.

Resultados Experimentais

O método foi avaliado no SynthPAI, um corpus de perfis pessoais sintéticos, através de duas divisões: um conjunto de dados principal e um conjunto de dados "difícil" com atributos contextualmente incorporados.

• Desempenho vs. Baselines: O GRASP superou consistentemente a linha de base de destilação DPO do SEAL e os métodos baseados em regras (Azure, Dipper).
• Comparação com Modelos de Fronteira: Contra a anonimização adversarial impulsionada por modelos de fronteira (Gemini 2.5 Flash, Claude Haiku 4.5, Qwen3), o GRASP alcançou um equilíbrio geral comparável ou superior.
  • No conjunto de dados principal, o GRASP reduziu a precisão de inferência de atributos para 0.195 (melhor rodada de privacidade), significativamente menor que o melhor modelo de fronteira (Claude em 0.365) e o SEAL (0.244), com apenas um custo de utilidade relativa de 7%.
  • No conjunto de dados difícil, o GRASP alcançou a menor precisão de inferência (0.332) entre todos os métodos, enquanto os modelos de fronteira recuaram na privacidade para preservar a utilidade.
• Robustez: A superioridade do GRASP foi confirmada através de três juízes de LLM independentes (GLM-5, Qwen3, GPT-OSS), indicando que os resultados não são artefatos de um avaliador específico.
• Eficiência: Rodando em um modelo de 8 bilhões de parâmetros, o GRASP opera a aproximadamente 1% do custo do seu modelo professor GPT-4o e não exige que nenhum dado saia do dispositivo do usuário.

Significância e Alegações

O artigo afirma que o GRASP consegue quebrar o compromisso entre proteção de privacidade e custo computacional/exposição de privacidade. Ao permitir que um modelo pequeno e local refine iterativamente sua própria anonimização através de autocrítica, o GRASP alcança uma fronteira de privacidade–utilidade mais forte do que métodos que dependem de caros modelos de fronteira externos. Os autores enfatizam que esta abordagem permite que os usuários mantenham controle total sobre seus dados enquanto alcançam uma qualidade de anonimização que anteriormente exigia o envio de textos privados para APIs de terceiros. O design protege especificamente contra modos comuns de falha de RL através de uma engenharia de recompensa cuidadosa, garantindo que o modelo aprenda a remover genuinamente as pistas privadas em vez de apenas obscurecê-las.