💻 computer science

InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model

O artigo apresenta o InferDPT, um framework inovador que garante a privacidade na inferência de modelos de linguagem de caixa preta através do módulo de perturbação RANTEXT, o qual supera os métodos existentes no equilíbrio entre proteção de dados e qualidade na geração de texto.

Autores originais: Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

Publicado 2026-03-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Meng Tong, Kejiang Chen, Jie Zhang, Yuang Qi, Weiming Zhang, Nenghai Yu, Tianwei Zhang, Zhikun Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio muito inteligente (o modelo de linguagem, como o ChatGPT) que mora em um castelo distante e não conhece você. Você quer pedir a esse gênio que escreva uma história baseada em um segredo seu (seu documento privado), mas você tem medo de que, ao contar o segredo, o gênio (ou alguém que espione o castelo) roube essa informação e a use contra você.

O problema é: se você mandar o segredo "puro", ele é roubado. Se você mudar o segredo demais para escondê-lo, o gênio não entende mais o que você quer e a história fica sem sentido.

É aqui que entra o InferDPT, a solução proposta neste artigo. Pense nele como um truque de mágica que permite que você use o gênio sem revelar seus segredos.

Aqui está como funciona, passo a passo, usando uma analogia simples:

1. O Problema: O Dilema do Segredo

Você quer escrever um texto sobre "Bob, um imigrante em Boston". Se você digitar isso diretamente no ChatGPT, o sistema pode guardar que você é um imigrante em Boston. Isso é um vazamento de privacidade.

2. A Solução: O Truque de Mágica (InferDPT)

O InferDPT divide o trabalho em duas partes principais, como se fosse uma equipe de dois assistentes:

Parte A: O Camaleão (Módulo de Perturbação)

Antes de enviar seu pedido ao gênio, você passa seu texto por um "filtro mágico" chamado RANTEXT.

O que ele faz: Ele pega cada palavra do seu texto e a troca por outra palavra que soa e parece parecida, mas não é exatamente a mesma.
A analogia: Imagine que você quer dizer "Bob". O filtro troca "Bob" por "Lin". Se você diz "Boston", ele troca por "Barcelona".
O segredo: Ele não escolhe palavras aleatórias do dicionário. Ele escolhe palavras que estão "perto" no mundo das ideias (semântica), mas usa uma regra matemática complexa (Privacidade Diferencial) para garantir que, se alguém tentar adivinhar a palavra original, a chance de acertar seja quase zero. É como trocar a cor de uma camisa por outra muito parecida, mas que confunde quem tenta identificar a marca original.

Parte B: O Detetive (Módulo de Extração)

Agora, você envia o texto "estragado" (com "Lin" e "Barcelona") para o gênio. O gênio, sendo inteligente, escreve uma história incrível baseada nesses nomes trocados.

O problema: A história do gênio fala sobre "Lin", mas você queria a história sobre "Bob".
A solução: Você tem um pequeno assistente local (um modelo de linguagem menor que roda no seu computador, não no castelo).
O truque: Você mostra ao assistente duas coisas:
1. O texto original que você queria ("Bob...").
2. A história brilhante que o gênio escreveu sobre "Lin".
A mágica final: O assistente local olha para a história do gênio, pega as partes boas (a estrutura, a emoção, o estilo) e as "recoloca" no contexto do seu texto original. Ele diz: "Ok, o gênio escreveu sobre Lin, mas eu vou reescrever isso como se fosse sobre Bob, mantendo a qualidade".

3. Por que isso é melhor do que o que já existe?

Antes, as pessoas tentavam fazer isso de duas formas ruins:

Trocar tudo por qualquer coisa: A história ficava sem sentido (como trocar "cachorro" por "banana").
Trocar por poucas opções: O vilão conseguia adivinhar facilmente qual era a palavra original (como trocar "Bob" apenas por "Rob" ou "Bub").

O RANTEXT (a nova invenção do artigo) é inteligente porque:

Cria uma lista de substituições dinâmica e aleatória para cada palavra.
Às vezes a lista é pequena, às vezes é grande. Isso torna impossível para um hacker prever qual palavra foi usada.
Garante que a história final seja tão boa quanto se você tivesse contado o segredo direto, mas sem revelar o segredo.

4. Os Resultados

Os pesquisadores testaram isso com o GPT-4 (o gênio mais inteligente).

Privacidade: Mesmo que um hacker tente usar supercomputadores para adivinhar o texto original, ele falha 90% das vezes (ou mais), mesmo quando o nível de "ruído" é baixo.
Qualidade: O texto final gerado pelo InferDPT é quase idêntico à qualidade de um texto feito sem proteção. É como se você tivesse usado o gênio, mas com um escudo invisível.

Resumo em uma frase

O InferDPT é como pedir a um estranho para escrever um livro sobre sua vida, mas você primeiro troca todos os nomes e lugares por versões falsas; depois, você pega a história que ele escreveu e, usando sua própria inteligência, reescreve os nomes reais de volta, mantendo a qualidade da história e protegendo sua identidade.

1. O Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs), como o ChatGPT, facilitou a geração de texto, mas levantou sérias preocupações sobre privacidade. Quando os usuários enviam prompts (instruções e documentos privados) para LLMs de "caixa preta" (como serviços comerciais da OpenAI), há riscos de:

Vazamento de Dados: O provedor do LLM pode coletar ou inferir informações sensíveis contidas no documento original.
Limitações das Soluções Existentes:
- Métodos baseados em criptografia homomórfica (ex: CipherGPT) são teoricamente seguros, mas possuem custos computacionais e de comunicação proibitivos para uso prático.
- Métodos de Privacidade Diferencial Local (LDP) existentes (ex: SANTEXT+, CUSTEXT+) foram projetados para tarefas de classificação, não para geração de texto. Eles introduzem distorções semânticas que tornam o texto gerado incoerente ou inconsistente.
- Mecanismos estáticos de LDP (listas de adjacência fixas) são vulneráveis a ataques de inversão de embeddings, onde um adversário pode recuperar os tokens originais mesmo com parâmetros de privacidade rigorosos.

2. Metodologia: O Framework InferDPT

Os autores propõem o InferDPT, o primeiro framework prático para inferência com privacidade em LLMs de caixa preta, focado em tarefas de geração de texto aberta. O sistema opera em dois módulos principais, inspirados no conceito de Knowledge Distillation (Destilação de Conhecimento):

A. Módulo de Perturbação (Perturbation Module)

Objetivo: Proteger a privacidade do documento original (Doc) antes de enviá-lo ao LLM remoto.
Mecanismo: Substitui cada token do documento original por um novo token amostrado via um mecanismo de Privacidade Diferencial Local (LDP).
Inovação (RANTEXT): Em vez de usar listas de adjacência estáticas (como em SANTEXT+ e CUSTEXT+), o InferDPT introduz o RANTEXT (Random Adjacency List for Text).
- Para cada token, o RANTEXT calcula dinamicamente uma Lista de Adjacência Aleatória baseada na distância de embeddings.
- Utiliza a distribuição de Laplace para determinar o tamanho dessa lista e amostra um token de substituição que seja semanticamente próximo, mas não idêntico.
- Isso equilibra melhor a utilidade (semântica) e a privacidade, tornando mais difícil para um adversário reconstruir o token original.

B. Módulo de Extração (Extraction Module)

Objetivo: Recuperar a coerência e a qualidade do texto, corrigindo a distorção introduzida pela perturbação.
Funcionamento:
1. O usuário envia o prompt perturbado para o LLM remoto (caixa preta).
2. O LLM retorna uma geração perturbada (Genp).
3. O usuário utiliza um modelo local leve (ex: Vicuna-7b, Llama2-7b) que é confiável e não expõe dados.
4. Este modelo local recebe o documento original (Doc) e a geração perturbada (Genp).
5. Com base na observação de que a geração perturbada compartilha muitos tokens e estruturas com a geração original (correlacionados ao parâmetro $\epsilon$ ), o modelo local extrai o conteúdo coerente de Genp e o reconstrói, alinhando-o com o contexto de Doc.
Resultado: O texto final mantém a qualidade gerada pelo LLM remoto, mas com a privacidade preservada.

3. Principais Contribuições

Framework InferDPT: Uma solução prática para inferência privada em LLMs de caixa preta, superando as limitações de custo e utilidade de métodos anteriores.
Mecanismo RANTEXT: Um novo mecanismo de Privacidade Diferencial baseado no mecanismo exponencial. Ele utiliza listas de adjacência aleatórias dinâmicas, superando as vulnerabilidades de ataques de inversão de embeddings presentes em métodos estáticos (SANTEXT+ e CUSTEXT+).
Análise de Segurança Robusta: Os autores propõem um novo ataque adaptativo, o "GPT Inference Attack", utilizando o próprio GPT-4 para tentar reconstruir os tokens originais, demonstrando que o RANTEXT é mais resistente que as bases de comparação.
Validação Empírica: Experimentos extensivos em três conjuntos de dados (CNN/Daily Mail, Wikitext-103, ArXiv) demonstrando o equilíbrio entre privacidade e utilidade.

4. Resultados Experimentais

Os experimentos compararam o InferDPT (com RANTEXT, SANTEXT+ e CUSTEXT+) usando GPT-4 como modelo remoto e modelos locais (Vicuna, Llama) para extração.

Qualidade de Geração (Utilidade):
- O InferDPT com RANTEXT alcançou uma qualidade de texto comparável ao GPT-4 não privado em métricas de Diversidade e Coerência.
- Em termos de MAUVE (similaridade com texto humano), o RANTEXT foi superior ao SANTEXT+ e CUSTEXT+, embora houvesse uma pequena lacuna em relação ao GPT-4 puro devido à perturbação semântica e à exclusão de substantivos próprios (que não pertencem ao vocabulário do LLM alvo).
Proteção de Privacidade:
- Ataque de Inversão de Embeddings: Com $\epsilon = 6.0$ , o RANTEXT alcançou um nível de proteção média superior a 0.90 (90%), sendo 3.35x mais eficaz que o CUSTEXT+ e 0.58x mais eficaz que o SANTEXT+.
- Ataque de Inferência GPT: O RANTEXT manteve a melhor proteção contra o ataque adaptativo usando GPT-4, enquanto os métodos baselines falharam em proteger adequadamente os tokens.
- Vazamento de N-gramas: O RANTEXT apresentou as menores taxas de vazamento de n-gramas (1-gram, 2-gram, 3-gram) em comparação com os métodos existentes.
Custo Computacional: O tempo adicional por inferência foi baixo (menos de 4 segundos no módulo de extração), tornando o sistema viável para uso prático.

5. Significância e Impacto

O trabalho é significativo por resolver o dilema fundamental entre privacidade e utilidade na interação com LLMs proprietários:

Viabilidade Prática: Diferente de soluções de criptografia total, o InferDPT é leve o suficiente para ser implementado em cenários reais sem custos proibitivos.
Segurança Avançada: O RANTEXT demonstra que a privacidade diferencial pode ser aplicada a tarefas de geração de texto complexas sem destruir a coerência semântica, algo que métodos anteriores não conseguiam fazer.
Defesa contra Ataques Modernos: Ao superar ataques de inversão de embeddings e ataques de inferência baseados em LLMs, o framework oferece uma camada de segurança robusta para usuários que desejam utilizar serviços de IA sem expor dados sensíveis.

Em resumo, o InferDPT estabelece um novo padrão para a privacidade em LLMs de caixa preta, permitindo que usuários aproveitem a inteligência de modelos como o GPT-4 sem comprometer a confidencialidade de seus documentos privados.