A Systematic Exploration of Text Decomposition and Budget Distribution in Differentially Private Text Obfuscation

1. Declaração do Problema

O artigo aborda uma lacuna crítica na Ofuscação de Texto com Privacidade Diferencial (DP). Embora a DP garanta privacidade ao adicionar ruído aos dados, aplicá-la a texto é desafiador porque o texto é sequencial e o significado semântico depende da relação entre as palavras.

• A Questão Central: A maioria dos métodos existentes aplica a DP no nível de palavra (perturbando tokens individuais). No entanto, a privatização significativa de texto deve preservar a utilidade de todo o documento.
• O Desafio: Distribuir simplesmente um orçamento de privacidade fixo ($\epsilon$) uniformemente entre todas as palavras é subótimo. Isso falha em levar em conta a importância variável de diferentes palavras ou a coesão semântica de frases.
• A Lacuna: Não houve nenhuma avaliação sistemática de como a decomposição de texto (dividir texto em unidades significativas como frases ou sentenças) interage com a distribuição de orçamento de privacidade (alocar $\epsilon$ com base na importância da palavra). É desconhecido se combinações específicas dessas técnicas produzem melhores compensações entre privacidade e utilidade.

2. Metodologia

Os autores projetaram uma configuração experimental fatorial completa para avaliar 180 configurações diferentes. O fluxo de trabalho envolve três etapas principais:

A. Decomposição de Texto (5 Métodos)

Em vez de tratar o texto como uma sequência plana de palavras, os autores decompõem os documentos de entrada em "blocos" (Expressões Multilíngues ou MWEs) usando cinco estratégias distintas:

1. Baseada em Associação (PMI): Usa a Informação Mútua Ponto a Ponto para selecionar gananciosamente os n-gramas mais longos (bigramas, trigramas, quadrigramas) que aparecem frequentemente juntos.
2. Baseada em Associação (LLR): Usa a Razão de Verossimilhança Logarítmica para identificar colocações estatisticamente significativas.
3. Baseada em Associação (t-score): Usa escores-t para medir a força da associação entre palavras.
4. Baseada em POS: Usa um BigramTagger treinado (NLTK) para segmentar o texto com base em padrões de Classe Gramatical (por exemplo, frases nominais).
5. Baseada em WordNet: Seleciona gananciosamente os n-gramas mais longos que existem como sinsets na base de dados léxica WordNet.

B. Distribuição de Orçamento de Privacidade (6 Métodos)

Uma vez que o texto é dividido em blocos, o orçamento total no nível do documento ($\epsilon$) deve ser alocado a esses blocos. Os autores testaram seis estratégias de distribuição:

1. Linha de Base: Distribuição uniforme ($\epsilon$ dividido igualmente pelo número de palavras).
2. Pesos de Atenção: Usa pontuações de atenção do BERT para identificar tokens importantes; maior importância recebe um $\epsilon$ menor (mais ruído).
3. Gradientes Integrados: Usa o Captum para calcular vetores de atribuição para tokens; a importância é derivada da norma L2 desses vetores.
4. Conteúdo de Informação (IC): Usa valores de IC pré-calculados do NLTK baseados em frequências do WordNet; palavras mais raras recebem $\epsilon$ menor.
5. KEYBERT: Usa embeddings do BERT para extrair palavras-chave; maiores pontuações de palavra-chave recebem $\epsilon$ menor.
6. YAKE: Usa um método estatístico de extração de palavras-chave; pontuações mais baixas (indicando maior importância) recebem $\epsilon$ menor.

C. Mecanismo de Privatização

• Treinamento de Embedding: Para cada método de decomposição, um modelo Word2Vec é treinado onde n-gramas são tratados como tokens únicos (por exemplo, "all_over_the_world").
• Ofuscação: O mecanismo MADLIB (DP Local Métrica) é aplicado. Ele adiciona ruído Laplaciano calibrado ao embedding de cada bloco com base em seu orçamento alocado e projeta o vetor ruidoso de volta para o n-grama válido mais próximo no vocabulário.
• Conjuntos de Dados: Os experimentos foram executados em resenhas do Trustpilot e do Yelp (10 mil amostras cada) em três níveis de privacidade (Alto, Médio, Baixo $\epsilon$).

D. Métricas de Avaliação

O estudo avalia três dimensões:

1. Privacidade:
   • Mascaramento de PI: Porcentagem de Identificadores Pessoais (PI) removidos com sucesso.
   • Inferência Adversarial: Ataques estáticos e adaptativos (modelos DeBERTa) tentando inferir identidade/gênero do autor.
2. Utilidade:
   • Utilidade a Jusante: Pontuação F1 de um modelo de análise de sentimento ajustado finamente em texto ofuscado.
   • Semelhança Semântica: Semelhança de cosseno entre embeddings de texto original e ofuscado.
   • Coesão: Perplexidade (GPT-2) do texto ofuscado.
3. Compensação: Uma métrica de Ganho Relativo (RG) que pondera ganhos de privacidade contra perdas de utilidade.

3. Principais Contribuições

1. Avaliação Sistemática: O primeiro estudo abrangente que avalia 180 configurações únicas (5 decomposições $\times$ 6 distribuições $\times$ 2 conjuntos de dados $\times$ 3 níveis de privacidade).
2. Demonstração de Sensibilidade de Design: Prova que escolhas de design impactam significativamente os resultados. Mesmo com o mesmo $\epsilon$ no nível do documento, diferentes pares de decomposição/distribuição produzem compensações entre privacidade e utilidade drasticamente diferentes.
3. Identificação de Combinações Ótimas:
   • Melhor Compensação: Decomposição baseada em POS combinada com Pesos de Atenção produziu o maior Ganho Relativo (0,236).
   • Melhor Preservação de Utilidade: Decomposição PMI combinada com distribuição YAKE.
   • Melhor Proteção de Privacidade: Decomposição LLR combinada com distribuição KeyBERT.
4. Código de Código Aberto: Liberou uma base de código modular para facilitar pesquisas futuras em ofuscação de texto com DP.

4. Principais Resultados e Descobertas

• Não Há Vencedor Universal: Não existe uma única "melhor" combinação para todos os cenários. A estratégia ótima depende se a prioridade é maximizar a privacidade, preservar a utilidade ou equilibrar ambas.
• Significância da Decomposição: A análise estatística (ANOVA bidirecional) mostrou que a escolha do método de decomposição tem um impacto mais consistente e significativo na compensação ($F=5,57, p<0,001$) do que o método de distribuição, embora ambos sejam significativos.
• Interação: A interação entre decomposição e distribuição não foi estatisticamente significativa, sugerindo que essas duas etapas podem ser otimizadas de forma algo independente.
• O "Caso Curioso" das Compensações: O estudo observou que, à medida que o nível de privacidade diminui (maior $\epsilon$), o ganho relativo paradoxalmente aumenta. Isso sugere que a preservação de utilidade frequentemente domina o cálculo da compensação em níveis altos de $\epsilon$, e o ponto "ótimo" requer um equilíbrio cuidadoso para evitar cenários onde alta utilidade é alcançada ao custo de ganho de privacidade negligenciável.
• Importância Linguística: Os resultados validam que tratar o texto como uma estrutura linguística (frases, tags POS) em vez de um saco de palavras é crucial para uma ofuscação DP eficaz.

5. Significado

Este artigo altera fundamentalmente o paradigma da ofuscação de texto com DP, passando de uma abordagem de nível de palavra "tamanho único" para um framework modular informado pela linguística.

• Implicação Prática: Os praticantes agora podem selecionar estratégias específicas de decomposição e distribuição com base em seu domínio específico (por exemplo, resenhas vs. notícias) e objetivos de privacidade, em vez de depender de orçamentação uniforme ingênua.
• Contribuição Teórica: Fornece evidências empíricas de que garantias teóricas de privacidade equivalentes ($\epsilon$) não garantem resultados empíricos equivalentes. O método de aplicar o orçamento é tão importante quanto o tamanho do orçamento em si.
• Trabalho Futuro: O artigo estabelece as bases para sistemas DP "inteligentes" que adaptam dinamicamente a divisão de texto e a alocação de orçamento para maximizar a utilidade de dados privatizados, mantendo padrões rigorosos de privacidade.