💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

O artigo propõe o DP-Fusion, um mecanismo de inferência diferencialmente privado ao nível de token para grandes modelos de linguagem que limita comprovadamente a influência de tokens de contexto sensíveis nos outputs para permitir a privatização de documentos de alta qualidade com trocas de privacidade e utilidade significativamente melhoradas em comparação com os métodos existentes.

Autores originais: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Publicado 2026-02-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente e falante (um Grande Modelo de Linguagem, ou LLM) que ajuda você a resumir documentos. Às vezes, esses documentos contêm informações secretas, como o nome de um paciente, uma data específica ou um número de conta bancária. Você quer que o robô resuma a história sem acidentalmente deixar escapar esses segredos.

O problema é que os robôs atuais são ruins nisso. Se você apenas disser "não diga o nome", eles podem ficar confusos e escrever algo sem sentido. Se você disser para "reescrever de forma agradável", eles podem acabar deixando escapar o segredo mesmo assim.

Apresentando o DP-FUSION: O Liquidificador "Seguro-para-Segredos"

Os autores deste artigo criaram um novo método chamado DP-FUSION. Pense nele como um liquidificador especial para textos que garante que os segredos permaneçam ocultos enquanto mantém a história legível. Veja como ele funciona, usando uma analogia simples:

O Cenário: As Duas Versões de uma História

Imagine que você tem um relatório médico sobre a "Sra. Smith" que teve uma conta de $345,25.

A História Original: Contém o nome "Sra. Smith" e o valor exato da conta.
A História Redigida: Você pega um marcador e risca "Sra. Smith" e "$345,25", substituindo-os por espaços em branco como [NOME] e [VALOR].

Como o DP-FUSION Funciona (O Processo do Liquidificador)

Em vez de apenas escolher uma versão ou outra, o DP-FUSION faz uma dança inteligente:

Executar o Robô Duas Vezes:
- Primeiro, ele pede ao robô para prever a próxima palavra usando a História Redigida (a versão segura). Isso fornece um palpite "seguro".
- Segundo, ele pede ao robô para prever a próxima palavra usando a História Original (a versão secreta). Isso fornece um palpite "arriscado" que pode vazar o segredo.
O "Dial de Privacidade" (O Botão do Liquidificador):
- O sistema possui um dial chamado $\epsilon$ (epsilon).
- Dial girado totalmente para baixo (Baixo $\epsilon$ ): O liquidificador mistura os dois palpites de forma tão intensa que o palpite "arriscado" é quase completamente abafado pelo palpite "seguro". O robô pode dizer "um paciente" em vez de "Sra. Smith". Isso é muito privado, mas a história pode parecer um pouco genérica.
- Dial girado para cima (Alto $\epsilon$ ): O blender deixa passar mais do palpite "arriscado". O robô pode dizer "Sra. Smith" se isso se encaixar bem no contexto. A história soa melhor, mas há uma chance ligeiramente maior de um segredo escapar.
A Garantia:
- A magia do DP-FUSION é que ele prova matematicamente que, não importa o quão duro um hacker tente adivinhar o segredo, suas chances de sucesso são estritamente limitadas pela configuração desse dial. Mesmo que o hacker saiba exatamente como o liquidificador funciona, ele não consegue fazer engenharia reversa para descobrir o segredo.

Por Que Isso é Melhor do que o Que Temos Agora?

O artigo compara o DP-FUSION com outros métodos:

O "Limpador" (NER): Isso é como usar um marcador preto para riscar segredos. É seguro, mas deixa buracos feios no texto, tornando-o difícil de ler (baixa utilidade).
O "Parafraseador" (Engenharia de Prompt): Isso é como pedir ao robô para "reescrever isso de forma agradável". Soa bem, mas o robô muitas vezes acaba revelando o segredo acidentalmente porque não foi forçado a ser cuidadoso.
DP-FUSION: Este é o ponto ideal. Ele mantém o fluxo do texto suave (alta qualidade) enquanto garante matematicamente que os segredos permaneçam ocultos.

Os Resultados

Os pesquisadores testaram isso em documentos jurídicos e médicos reais. Eles descobriram que:

Qualidade: O texto gerado pelo DP-FUSION era muito mais natural e legível do que outros métodos de privacidade. Na verdade, foi 6 vezes melhor (em termos de "perplexidade", uma medida de quão confuso o texto é) do que o próximo melhor método de privacidade.
Segurança: Mesmo quando hackers tentaram adivinhar nomes ou datas ocultos, eles falharam quase tanto quanto se estivessem apenas chutando aleatoriamente.
Segurança Bônus: O método também ajuda a impedir ataques de "jailbreak" (quebra de regras), onde hackers tentam enganar o robô para que ele ignore suas regras. Ao tratar entradas suspeitas como "tokens sensíveis", o liquidificador pode diluir sua influência, mantendo o robô seguro.

Em Resumo

O DP-FUSION é uma nova maneira de usar IA para resumir documentos sensíveis. Ele atua como um liquidificador inteligente que mistura uma versão "segura" do texto com a versão "real", controlado por um dial de privacidade. Isso garante que os segredos (como nomes ou datas) permaneçam matematicamente ocultos, enquanto a história resultante permanece de alta qualidade e fácil de ler.

Resumo Técnico: DP-FUSION

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) carecem de garantias inerentes de privacidade durante a inferência. Quando os LLMs são aumentados com ferramentas ou bases de dados externas contendo informações sensíveis (por exemplo, Informações de Identificação Pessoal ou PII), os outputs do modelo podem inadvertidamente revelar esse contexto. Os métodos existentes de inferência com preservação de privacidade sofrem de limitações significativas:

Falta de Garantias Prováveis: Métodos como engenharia de prompt ou simples limpeza (redação) não oferecem garantias formais de privacidade e são vulneráveis a ataques de reconstrução ou de inferência de pertencimento.
Baixo Equilíbrio Utilidade/Privacidade: Métodos de inferência com Diferencial de Privacidade (DP) como o DP-Decoding (interpolação com ruído uniforme) ou o DP-Prompt (clipping de logits) frequentemente resultam em uma degradação severa da qualidade do texto (alta perplexidade) para alcançar a privacidade.

O desafio específico abordado é a privatização de documentos: parafrasear um documento contendo tokens sensíveis de tal forma que um atacante não possa inferir de forma confiável os tokens sensíveis originais a partir do output parafraseado, mantendo uma alta qualidade de texto.

Metodologia: DP-FUSION

Os autores propõem o DP-FUSION, um mecanismo de Inferência de Diferencial de Privacidade (DPI) ao nível de token que limita provadamente a influência de tokens de contexto sensíveis no output gerado. O método opera sob um modelo de ameaça onde um atacante cinza-adaptativo conhece o método de inferência, a arquitetura do modelo e os pesos, e observa o output privatizado e o input redigido.

Mecanismo Central

O DP-FUSION adapta o conceito de predição privada baseada em ensemble (semelhante ao PMixED) para o cenário de inferência. O processo envolve quatro etapas principais:

Rotulagem de Tokens: Um subconjunto de tokens sensíveis no documento de entrada é identificado e agrupado em grupos de privacidade ( $G_1, \dots, G_m$ ) usando um rotulador (ex: NER).
Inferência de Linha de Base (Pública): O LLM é executado no documento com todos os tokens sensíveis redigidos (substituídos por placeholders de igual comprimento) para obter uma distribuição de próximo-token "pública" ( $p_{pub}$ ).
Inferência Privada: O LLM é executado $m$ vezes (uma para cada grupo de privacidade), onde apenas os tokens de um grupo específico $G_i$ são revelados junto com o contexto redigido. Isso gera $m$ distribuições de próximo-token "privadas" ( $p_{priv, i}$ ).
Mistura de Distribuições (Mollification): Para cada grupo $i$ $i$ , um coeficiente $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ é calculado via busca por bisseção. Este $\lambda_i$ $λ_{i}$ é o valor máximo tal que a divergência de Rényi entre a distribuição mista ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) e a linha de base $p_{pub}$ $p_{p u b}$ satisfaz um orçamento de privacidade pré-definido $\beta_i$ $β_{i}$ .
- A distribuição final de próximo-token é uma média dessas distribuições misturadas.
- Um token é amostrado desta distribuição mista.

Garantias de Privacidade

O método fornece Privacidade Diferencial de Rényi $(\alpha, \beta_i)$ por grupo.

Definição de Vizinhança: Dois documentos são considerados adjacentes se diferirem apenas pela presença/ausência de todos os tokens em um único grupo de privacidade.
Limite Teórico: O algoritmo garante que a divergência simétrica de Rényi entre as distribuições de saída de documentos adjacentes seja limitada. Isso se traduz em garantias de $(\epsilon, \delta)$ -DP para todo o transcrito gerado, onde $\epsilon$ é controlado pelo número de tokens gerados, a ordem de Rényi $\alpha$ e os orçamentos de grupo $\beta_i$ .
Robustez: O mecanismo limita a vantagem do atacante mesmo se a consulta for escolhida adversariamente (ex: tentativas de jailbreak).

Principais Contribuições

DPI ao Nível de Token: Introdução de um método que fornece garantias de DP prováveis ao nível de token durante a inferência de LLM, especificamente para tarefas de parafraseamento.
Melhor Equilíbrio Utilidade/Privacidade: Ao contrário de métodos anteriores que adicionam ruído à distribuição de saída ou fazem clipping de logits, o DP-FUSION mistura distribuições baseadas na diferença entre contextos "sensíveis" e "não sensíveis". Isso permite a retenção de mais informação semântica enquanto limita estritamente o vazamento de tokens específicos.
Mitigação de Injeção de Prompt: Os autores demonstram que o mecanismo também pode ser aplicado à segurança, onde "tokens sensíveis" são definidos como blocos recuperados de fontes não confiáveis (ex: em pipelines de RAG). Ao limitar a influência desses blocos, o DP-FUSION mitiga ataques de injeção de prompt.
Implementação Open Source: Os autores disponibilizam um pacote PyPI e um repositório GitHub permitindo a aplicação do DP-FUSION a quaisquer LLMs e datasets.

Resultados Experimentais

Experimentos foram conduzidos usando o modelo Qwen 2.5 7B-Instruct no dataset TAB-ECHR (casos da Corte Europeia de Direitos Humanos com PII anotados manualmente).

Utilidade (Perplexidade): O DP-FUSION alcançou uma perplexidade (PPL) de 1.426 em uma configuração de privacidade relaxada ( $\alpha\beta = 0.10$ $α β = 0.10$ ) e 1.459 em uma configuração estrita ( $\alpha\beta = 0.01$ $α β = 0.01$ ).
- Isso é significativamente melhor que o DP-Decoding (PPL > 3.9) e o DP-Prompt (PPL > 4.26 para largura 50, e >100 para largura 5).
- O DP-FUSION alcança uma perplexidade 6 $\times$ menor que o melhor baseline (DP-Prompt) em níveis de privacidade comparáveis.
Utilidade (LLM-as-a-Judge): Em comparações pareadas contra outros métodos, os parafraseamentos do DP-FUSION venceram >95% das vezes contra o DP-Decoding e o DP-Prompt. Também superou o baseline "No DPI - NER" (redação pura) 45% das vezes em configurações de privacidade estrita.
Privacidade (Taxa de Sucesso de Ataque): Os autores avaliaram ataques de recuperação de tokens (Min-K% e LOSS).
- O DP-FUSION manteve uma Taxa de Sucesso de Ataque (ASR) próxima ao chute aleatório (aprox. 26-29% para $|C|=5$ ) mesmo com alta utilidade.
- Em contraste, o DP-Prompt (largura 50) mostrou uma ASR de ~50%, indicando uma falha em fornecer privacidade empírica apesar da menor perplexidade.
- O DP-FUSION ofereceu uma privacidade ligeiramente melhor que o baseline No-DPI NER em configurações estritas devido à aleatoriedade introduzida durante a mistura de distribuições.

Significância e Alegações

O artigo afirma que o DP-FUSION representa um avanço significativo no deployment de LLMs com dados sensíveis ao oferecer garantias de privacidade prováveis sem a severa degradação de utilidade vista nos métodos de inferência DP existentes.

Mudança de Paradigma: Os autores argumentam que, em vez de tratar a privacidade como um passo de pós-processamento ou uma injeção de ruído global, a privacidade pode ser gerenciada ao modelar explicitamente a influência de grupos de tokens específicos e limitar essa influência via mistura de distribuições.
Praticidade: O método é computacionalmente viável (paralelizável) e funciona com LLMs existentes sem exigir retreinamento.
Utilidade Dupla: Além da privacidade, o mecanismo é alegado ser eficaz contra ameaças de segurança como injeção de prompt em sistemas RAG, fornecendo uma abordagem unificada para lidar com contexto não confiável.

Os autores permanecem modestos quanto à dependência da qualidade do tagger de tokens inicial (NER), reconhecendo que falsos negativos na rotulagem ficam fora das garantias teóricas, embora os resultados empíricos sugiram que rotuladores prontos para uso são suficientes para os casos de uso demonstrados.