STAMP: Selective Task-Aware Mechanism for Text Privacy

O artigo apresenta o STAMP, um novo mecanismo de privacidade para texto que otimiza o equilíbrio entre proteção e utilidade ao alocar orçamentos de privacidade seletivamente por token com base na importância da tarefa e na sensibilidade, utilizando um mecanismo polar que perturba apenas a direção dos embeddings para preservar a semântica.

O essencial

Imagine que você precisa enviar uma carta para um amigo que mora longe, mas você não confia totalmente no carteiro. Você quer que a mensagem seja útil (seu amigo entenda o que você quer), mas não quer que o carteiro descubra segredos como seu endereço, nome de parentes ou números de cartão de crédito.

O STAMP é como um novo tipo de "sobre-escrita inteligente" para cartas digitais (texto) que resolve exatamente esse problema.

Aqui está a explicação do papel, usando analogias do dia a dia:

1. O Problema: O "Corte de Cabelo" Desnecessário

Antes do STAMP, as ferramentas de privacidade funcionavam como um barbeador que cortava todo o cabelo da mesma forma, sem olhar para o rosto.

• Se você tinha uma palavra importante para a conversa (como "pizza") e uma palavra secreta (como "meu número de seguro social"), o sistema antigo tratava as duas da mesma maneira.
• Ou ele cortava tudo muito pouco (e o carteiro ainda lia os segredos) ou cortava tudo demais (e a mensagem ficava sem sentido: "Eu quero [barulho] com [barulho]").

2. A Solução do STAMP: O "Detetive Inteligente"

O STAMP é como um detetive que lê sua carta antes de enviá-la e decide o que proteger e o que deixar claro, baseado em duas perguntas:

1. Isso é um segredo? (Ex: Nomes, endereços, datas de nascimento).
2. Isso é importante para a tarefa? (Ex: Se você está perguntando "Qual é a capital da França?", a palavra "Paris" é crucial. Se você está perguntando "Qual a cor do céu?", "Paris" é irrelevante).

O STAMP divide as palavras em 4 grupos e aplica um "filtro de privacidade" diferente para cada um:

• Grupo 1 (Segredo + Importante): Protege muito, mas tenta manter o sentido.
• Grupo 2 (Segredo + Irrelevante): Protege muito (corta o cabelo bem curto), porque não faz falta para a tarefa.
• Grupo 3 (Não-Segredo + Importante): Protege pouco (deixa o cabelo quase intacto), porque você precisa entender a mensagem.
• Grupo 4 (Não-Segredo + Irrelevante): Protege um pouco, já que não é nem segredo nem essencial.

A Analogia da Festa:
Imagine que você está em uma festa barulhenta (o texto).

• Se você precisa ouvir o nome do anfitrião para saber quem é (importante), o STAMP abaixa o volume do barulho ao redor desse nome.
• Se alguém grita um número de telefone (segredo) que você não precisa ouvir, o STAMP coloca um protetor de ouvido super forte nessa parte.
• Se alguém fala sobre o tempo (não é segredo nem importante), o STAMP deixa o barulho normal.

3. A Magia Técnica: A "Bússola" vs. O "Tremor"

Como o STAMP faz isso sem estragar a mensagem? Ele usa uma técnica chamada Mecanismo Polar.

• O jeito antigo (Ruído Isotrópico): Era como jogar uma pedra em um lago. A onda (o ruído) se espalha para todos os lados, bagunçando tudo ao redor da palavra.
• O jeito do STAMP (Mecanismo Polar): Imagine que cada palavra é uma bússola apontando para um significado. O STAMP não mexe no tamanho da bússola, ele apenas gira levemente a agulha.
  • Se a agulha girar um pouquinho, ela ainda aponta para o norte (o significado da palavra se mantém).
  • Se a agulha girar muito, ela aponta para outro lugar (a palavra muda, protegendo o segredo).
  • Como ele só gira a agulha e não muda o tamanho, a "distância" entre palavras parecidas (como "cachorro" e "cão") é preservada, mantendo a conversa coerente.

4. O Resultado: O Equilíbrio Perfeito

Os testes mostraram que o STAMP é muito melhor do que os métodos antigos:

• Mais Privacidade: Os segredos ficam muito mais difíceis de adivinhar.
• Mais Utilidade: A máquina de processar o texto (a IA) consegue entender a mensagem e responder às perguntas muito melhor do que com os métodos antigos.

Resumo em uma frase:
O STAMP é como um guarda-costas que sabe exatamente o que você quer dizer e o que você quer esconder, protegendo apenas o que é necessário e deixando o resto claro, garantindo que sua mensagem seja segura e útil ao mesmo tempo.

Resumo técnico

Resumo Técnico: STAMP (Selective Task-Aware Mechanism for Text Privacy)

1. O Problema

A implementação prática de Grandes Modelos de Linguagem (LLMs) exige frequentemente o envio de texto do usuário para servidores remotos. Esse texto pode conter informações sensíveis (PII - Informações Pessoalmente Identificáveis) que precisam ser protegidas sem comprometer a utilidade da tarefa (ex: responder a uma pergunta, classificar um sentimento).

As abordagens existentes de Privacidade Diferencial Local (LDP) para texto enfrentam limitações fundamentais:

• Orçamento Uniforme: Atribuir o mesmo orçamento de privacidade ($\epsilon$) a todos os tokens trata palavras irrelevantes (ex: artigos) da mesma forma que palavras críticas para a tarefa ou altamente sensíveis. Isso desperdiça privacidade em tokens inofensivos e protege insuficientemente os sensíveis.
• Perturbação Isotrópica: Métodos que adicionam ruído gaussiano ou Laplaciano isotrópico aos vetores de embedding distorcem a geometria semântica. Pequenas perturbações em certas direções podem alterar completamente o significado, enquanto grandes perturbações em outras têm pouco efeito, degradando a utilidade do modelo.
• Falta de Consciência da Tarefa: Mecanismos anteriores muitas vezes ignoram o contexto da tarefa downstream. Um token pode ser essencial para uma consulta específica, mas irrelevante para outra.

2. Metodologia: O Framework STAMP

O STAMP propõe um mecanismo de privatização de texto que é seletivo e consciente da tarefa, combinando duas inovações principais: alocação de orçamento adaptativa e um mecanismo de perturbação geométrica alinhada.

A. Alocação Seletiva de Orçamento (Task-Aware)
O STAMP particiona os tokens em quatro grupos baseados em duas dimensões binárias:

1. Sensibilidade à Privacidade: Identificação de entidades (nomes, datas, IDs) usando detectores de PII/NER.
2. Importância para a Tarefa: Medida pela similaridade do embedding do token com uma representação específica da tarefa ou consulta (ex: similaridade cosseno com a pergunta em um sistema de QA).

Isso cria quatro categorias de tokens:

• Grupo 1: Alta sensibilidade + Alta importância (Orçamento moderado para equilibrar).
• Grupo 2: Alta sensibilidade + Baixa importância (Orçamento mínimo/forte proteção).
• Grupo 3: Baixa sensibilidade + Alta importância (Orçamento máximo/mínima perturbação para preservar utilidade).
• Grupo 4: Baixa sensibilidade + Baixa importância (Orçamento intermediário).

O orçamento de privacidade ($\epsilon$) é atribuído a nível de grupo, garantindo que tokens críticos para a tarefa recebam menos ruído, enquanto tokens sensíveis e irrelevantes recebam mais.

B. Mecanismo Polar (Perturbação Geométrica)
Para privatizar os embeddings dos tokens, o STAMP introduz o Mecanismo Polar:

• Decomposição: O vetor de embedding é decomposto em magnitude (raio) e direção (ângulo na esfera unitária).
• Perturbação Direcional: O ruído é aplicado apenas na direção do vetor na esfera unitária, utilizando uma distribuição von Mises-Fisher (vMF). A magnitude é preservada (ou descartada na versão normalizada).
• Decodificação Alinhada: A decodificação é feita através de uma busca de vizinho mais próximo baseada em similaridade cosseno.
• Vantagem: Ao alinhar a geometria da perturbação (esfera unitária) com a geometria de decodificação (cosseno), o método preserva as vizinhanças semânticas. Diferente do ruído isotrópico, o ruído direcional mantém a estrutura semântica do espaço de embeddings.

C. Garantia de Privacidade
O framework satisfaz a LDP Métrica Consciente da Tarefa (Task-Aware Metric LDP), onde a indistinguibilidade é escalada de acordo com a distância métrica entre tokens dentro de cada grupo, garantindo que tokens semanticamente similares sejam mais difíceis de distinguir.

3. Principais Contribuições

1. Alocação de Privacidade Seletiva e Consciente da Tarefa: O primeiro framework a particionar tokens dinamicamente com base na sensibilidade intrínseca e na importância contextual para a tarefa, permitindo um controle granular do trade-off privacidade-utilidade.
2. Mecanismo Polar Alinhado à Geometria: Introdução de um mecanismo que perturba apenas a direção dos embeddings na esfera unitária, preservando a magnitude e alinhando-se com a decodificação por similaridade cosseno, o que minimiza a distorção semântica.
3. Avaliação Empírica Abrangente: Demonstração experimental de que o STAMP, combinado com o mecanismo polar normalizado, supera consistentemente mecanismos de orçamento uniforme e perturbação isotrópica (Laplace) em diversos cenários.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados: SQuAD (Resposta a Perguntas), Yelp (Classificação de Sentimento) e AG News (Classificação de Tópicos).

• STAMP vs. Orçamento Uniforme: O STAMP superou consistentemente a alocação uniforme de orçamento. Em regimes de privacidade baixa a média, o STAMP manteve uma utilidade significativamente maior ao concentrar o ruído em tokens sensíveis, mas irrelevantes para a tarefa, preservando os tokens críticos.
• Mecanismo Polar vs. Laplace: O mecanismo Polar (vMF) demonstrou um trade-off privacidade-utilidade superior ao mecanismo Laplace isotrópico. Enquanto o Laplace tendia a colapsar para o desempenho aleatório em orçamentos baixos, o Polar manteve a eficácia e convergiu suavemente para a linha de base não privada à medida que o orçamento aumentava.
• Overhead Computacional: A adição do STAMP e do Mecanismo Polar introduziu um atraso computacional mínimo (apenas ~3ms por exemplo a mais que a linha de base), tornando-o viável para implantação prática.

5. Significado e Conclusão

O STAMP representa um avanço significativo na privacidade de texto para LLMs. Ele demonstra que a privacidade não deve ser tratada como uma propriedade uniforme de todo o texto, mas sim como uma escolha contextual que depende da tarefa e da sensibilidade dos dados.

Ao combinar a seletividade na alocação de recursos com uma perturbação geometricamente alinhada, o STAMP oferece uma solução prática para proteger dados sensíveis sem sacrificar a precisão das tarefas de NLP. Isso permite o uso seguro de corpora sensíveis (como e-mails ou dados financeiros) em sistemas de IA, equilibrando a proteção do usuário com a necessidade de utilidade do modelo.

Limitações Notadas: O framework assume a disponibilidade de uma descrição de tarefa fixa e depende da qualidade de detectores de PII. Além disso, a privatização local de embeddings de alta dimensão ainda exige orçamentos de privacidade relativamente grandes para manter a utilidade, um desafio inerente ao campo.