Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

1. O Problema

A avaliação precisa de privacidade em dados textuais é um desafio crítico na Processamento de Linguagem Natural (PLN) voltado para a privacidade. Embora existam frameworks formais (como privacidade diferencial) e métricas baseadas em ataques, eles frequentemente capturam modelos de ameaça específicos e não refletem a percepção humana do que constitui conteúdo sensível.

Recentemente, Grandes Modelos de Linguagem (LLMs) foram propostos como avaliadores de privacidade alinhados ao humano, demonstrando forte concordância com julgamentos humanos. No entanto, o uso direto de LLMs de ponta (como o Mistral Large 3) para essa tarefa enfrenta duas barreiras principais:

1. Custo Computacional e Financeiro: O processamento em larga escala é proibitivo.
2. Paradoxo de Privacidade: Enviar dados sensíveis para APIs de terceiros (LLMs externos) para avaliação de privacidade pode, em si, violar as restrições de privacidade dos dados.

O objetivo deste trabalho é preencher essa lacuna de implantação, criando avaliadores de privacidade leves e locais que mantenham a precisão dos LLMs grandes.

2. Metodologia

Os autores propõem uma abordagem baseada em Distilação de Conhecimento (Knowledge Distillation) para transferir a capacidade de raciocínio sobre privacidade de um modelo "professor" grande para modelos "aluno" leves.

• Modelo Professor: O Mistral Large 3 (675B parâmetros) foi utilizado para anotar automaticamente um corpus massivo de textos.
• Conjunto de Dados: Foi construído um corpus de 200.000 textos escritos por usuários, amostrados de 10 conjuntos de dados públicos diversos (incluindo blogs, e-mails corporativos, fóruns de saúde mental, conselhos jurídicos, reviews e microblogs).
• Esquema de Anotação: Seguiu-se uma escala Likert de 5 pontos (de 1 "Inofensivo" a 5 "Extremamente Privado"), baseada no trabalho de Meisenbacher et al. (2025). A escala considera identificadores diretos (nomes, contatos) e indiretos, além de sensibilidade contextual (saúde, situações legais, autoexposição).
• Modelos Aluno: As anotações geradas pelo LLM foram usadas para treinar classificadores baseados em codificadores (encoders) leves:
  • Ettin-150M (149M parâmetros)
  • Ettin-17M (17M parâmetros)
  • BERT-base e ModernBERT-base
• Treinamento: Os modelos foram fine-tuned para classificação de 5 classes, utilizando hiperparâmetros padronizados (taxa de aprendizado, batch size, épocas).

3. Contribuições Principais

1. Corpus de Dados: Criação e curadoria de um grande corpus de 200.000 textos anotados automaticamente para sensibilidade de privacidade usando um LLM de última geração.
2. Modelos Leves com Alta Alinhamento: Distilação dos julgamentos do LLM em modelos compactos (150M parâmetros) que alcançam forte concordância com anotações humanas, superando o próprio modelo professor em alguns métricas de alinhamento.
3. Aplicação Prática: Demonstração de que esses avaliadores distilados podem funcionar como métricas automáticas escaláveis para quantificar a redução de privacidade em sistemas de desidentificação de texto (anonymization).

4. Resultados

Os experimentos foram validados em dados de teste anotados por humanos e em benchmarks existentes.

• Desempenho de Classificação: O modelo Ettin-150M alcançou 74,9% de acurácia e 68,1 de Macro F1 no conjunto de teste, superando significativamente baselines de maioria e aleatórios, e performando melhor que modelos menores (Ettin-17M) e BERT-base.
• Alinhamento Humano (Krippendorff's $\alpha$):
  • O Ettin-150M alcançou um $\alpha$ de 0,737 em relação à média das anotações humanas.
  • Surpresa: Este valor é superior ao do próprio modelo professor (Mistral Large 3), que teve $\alpha$ de 0,716. Os autores sugerem que a distilação atuou como um processo de "denoising", suavizando a estocasticidade do prompt do LLM e criando uma fronteira de decisão determinística que generaliza melhor.
  • A concordância par-a-par com anotações individuais foi de 0,514, muito próxima da concordância inter-humana (0,54), indicando que as discrepâncias do modelo são comparáveis às discrepâncias entre humanos.
• Avaliação de Desidentificação: Ao testar no Text Anonymization Benchmark (TAB), o modelo conseguiu detectar eficazmente a redução de privacidade após a mascaramento de identificadores diretos e quase-identificadores.
  • O mascaramento completo reduziu a pontuação média de privacidade de 3,25 para 1,39.
  • O modelo mostrou sensibilidade à coerência do texto: o mascaramento aleatório (que quebra a coerência) aumentou a pontuação de privacidade percebida, provando que o modelo não está apenas contando tokens de mascaramento, mas entendendo o conteúdo.

5. Significado e Implicações

• Viabilidade de Implantação Local: A abordagem permite a avaliação de privacidade em dispositivos locais ou ambientes restritos, eliminando a necessidade de enviar dados sensíveis para APIs externas.
• Métrica Automatizada Escalável: Oferece uma ferramenta prática para curadoria de conjuntos de dados (filtrando exemplos de alto risco), avaliação de sistemas de anonimização e assistência em tempo real para usuários (alertando sobre vazamento de PII).
• Novas Direções de Pesquisa: Modelos compactos permitem estudos em larga escala sobre sinais de privacidade, trade-offs entre utilidade e privacidade, e personalização baseada em preferências do usuário, que seriam computacionalmente inviáveis com LLMs gigantes.

Limitações: O modelo herda os vieses e a definição de privacidade do LLM professor. A avaliação é feita em textos isolados, sem contexto explícito de audiência ou propósito (embora a privacidade seja contextual). Além disso, o conjunto de dados é apenas em inglês.

Em suma, o trabalho demonstra que é possível "comprimir" o julgamento sofisticado de privacidade de um LLM massivo em um modelo leve e eficiente, mantendo (e em alguns casos superando) a concordância com a percepção humana, resolvendo o dilema entre precisão e privacidade na própria avaliação de privacidade.