💬 NLP

Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

O artigo introduz o $P^3$ , um framework de preservação de privacidade que combina a geração de rascunho de um modelo do lado do servidor com o refinamento por meio de recuperação aumentada de um modelo do lado do cliente para alcançar saídas de LLM personalizadas de alta qualidade sem expor perfis privados do usuário ao servidor.

Autores originais: Alireza Salemi, Hamed Zamani

Publicado 2026-01-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alireza Salemi, Hamed Zamani

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante, de classe mundial (o Modelo do Lado do Servidor) que consegue cozinhar quase qualquer prato perfeitamente. No entanto, este chef trabalha em uma cozinha distante e de alta segurança e não conhece suas necessidades dietéticas específicas, alergias ou sabores favoritos. Se você enviar um pedido simples como "Faça-me um sanduíche", ele fará um sanduíche genérico e seguro.

Por outro lado, você tem um pequeno subchef local (o Modelo do Lado do Cliente) que vive na sua cozinha. Este subchef conhece o histórico da sua família, suas alergias e exatamente o que você ama. Mas este subchef não é um mestre chef; ele não consegue cozinhar uma refeição gourmet complexa sozinho sem incendiar a cozinha.

O Problema:
Se você quiser uma refeição perfeita e personalizada, geralmente tem duas opções ruins:

Enviar todo o seu livro de receitas para o chef distante: Eles fazem uma ótima refeição, mas agora sabem tudo sobre você (seus segredos, seu histórico, seus dados privados).
Deixar o subchef local cozinhar sozinho: Eles mantêm seus segredos seguros, mas a refeição pode ser medíocre porque eles carecem das habilidades do grande chef.

A Solução: O Framework $P^3$
Este artigo introduz uma nova forma de cozinhar chamada $P^3$ . É como um processo de alta tecnologia de "degustação e ajuste" que permite que você tenha o melhor dos dois mundos sem entregar o seu livro de receitas.

Veja como funciona, passo a passo:

O Rascunho: O mestre chef distante começa a cozinhar. Ele não conhece seus segredos, então apenas supõe como um sanduíche seria bom. Eles rapidamente escrevem uma sequência de ingredientes (chamados de "tokens") em um bloco de notas.
O Teste de Sabor: O subchef local (que possui o seu livro de receitas) lê o rascunho do mestre chef. Eles comparam o rascunho com o que você realmente gostaria.
- Se o rascunho parecer bom: O subchef diz: "Sim, mantenha isso!"
- Se o rascunho estiver errado: O subchef diz: "Não, isso não é certo para você", e o substitui por um ingrediente melhor que ele sabe que você gosta.
O Filtro: Antes de enviar as notas de volta para o mestre chef, o subchef verifica se há quaisquer "ingredientes secretos" (como seu endereço residencial ou número de cartão de crédito) que possam acidentalmente escapar para as notas. Se virem algo, eles cobrem com um marcador genérico como [PII] para que o mestre chef distante nunca veja.
O Ciclo: O mestre chef pega as notas corrigidas, adiciona os próximos ingredientes, e envia de volta. O subchef degusta e ajusta novamente. Eles repetem essa dança até que a refeição esteja terminada.

Por que isso é importante?

Privacidade: O mestre chef distante nunca vê o seu livro de receitas real. Eles veem apenas os ingredientes finais aprovados. O artigo mostra que isso revela quase nenhuma informação sobre você além do que seria revelado ao fazer uma pergunta simples. É a diferença entre dizer a um estranho "Estou com fome" e entregar a ele todo o seu histórico médico.
Qualidade: Como o mestre chef está fazendo a maior parte do trabalho pesado (escrevendo 90% da refeição), o resultado final é muito melhor do que se o subchef local tentasse cozinhar tudo sozinho.
Eficiência: O subchef local só precisa fazer um trabalho minúsculo (cerca de 9% do total da cozinha), para que não drene a bateria do seu telefone ou o deixe lento.

Os Resultados
Os autores testaram isso em um desafio de "Resposta a Perguntas Personalizada" (como perguntar a um assistente inteligente sobre conselhos baseados em suas perguntas passadas).

Melhor que adivinhar: Foi muito melhor do que apenas perguntar ao mestre chef sem informações pessoais.
Melhor que apenas local: Foi muito melhor do que deixar o subchef local tentar fazer tudo sozinho.
Quase tão bom quanto o "Vazamento" (Leaky): Alcançou cerca de 90-95% da qualidade que você teria se realmente entregasse todo o seu perfil privado ao mestre chef, mas sem entregar esse perfil.

Em Resumo
$P^3$ é uma colaboração inteligente entre um cérebro potente na nuvem e um pequeno cérebro local privado. O cérebro na nuvem escreve a história, e o cérebro local a edita para garantir que ela soe como você, tudo isso enquanto mantém seu diário privado trancado com segurança no seu bolso.

Resumo Técnico: Melhorando a Privacidade do Usuário na Geração Personalizada

Declaração do Problema
A personalização em Grandes Modelos de Linguagem (LLMs) normalmente depende de Geração Aumentada por Recuperação (RAG), onde o contexto relevante de um perfil privado do usuário é recuperado e fornecido ao modelo para adaptar as respostas. No entanto, isso cria um compromisso fundamental:

RAG no Lado do Servidor: Oferece personalização de alta qualidade usando modelos potentes na nuvem, mas exige a divulgação dos perfis privados dos usuários ao provedor, o que acarreta riscos significativos de privacidade.
RAG no Lado do Cliente: Preserva a privacidade ao manter o perfil no dispositivo do usuário, mas é limitado pelas restrições computacionais do hardware de borda, forçando o uso de modelos menores e menos capazes que frequentemente apresentam desempenho inferior.

Alternativas preservadoras de privacidade existentes, como a ofuscação textual/vetorial, são vulneráveis a ataques de inversão e permitem que os provedores investiguem dados ofuscados. A criptografia homomórfica é atualmente impraticável devido ao overhead computacional proibitivo. O artigo aborda a necessidade de um método que aproveite modelos de alta capacidade no lado do servidor para personalização sem expor diretamente o contexto privado bruto do usuário.

Metodologia: O Framework $P^3$
Os autores propõem o $P^3$ (Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations), um framework interativo que decompõe a geração em um processo colaborativo entre um modelo grande no lado do servidor ( $M_{server}$ ) e um modelo pequeno no lado do cliente ( $M_{client}$ ).

Arquitetura:
- Lado do Servidor: Um modelo grande e de alta capacidade gera uma sequência de $k$ tokens de "rascunho" baseando-se apenas na consulta do usuário, sem acesso ao perfil do usuário.
- Lado do Cliente: Um modelo menor, implantado no dispositivo do usuário, tem acesso ao perfil privado do usuário. Ele recupera o contexto relevante ( $C_q$ ) do perfil com base na consulta.
- Loop de Verificação e Correção:
  1. O servidor propõe $k$ tokens.
  2. O cliente avalia esses tokens condicionados ao contexto pessoal recuperado.
  3. Para cada token de rascunho $T_i$ , o cliente calcula sua probabilidade ( $P_{T_i}$ ) e a compara com a probabilidade do token alternativo mais provável ( $T^*_i$ ) de acordo com o modelo do cliente.
  4. Aceitação: Se a razão $P_{T_i} / P_{T^*_i} \geq \tau$ (onde $\tau$ é um limiar de rejeição), o token é aceito.
  5. Correção: Se a razão for inferior a $\tau$ , o token é rejeitado e substituído por $T^*_i$ . Os tokens de rascunho restantes naquele lote são descartados, e o servidor gera um novo lote condicionado ao prefixo corrigido.
- Filtro de Privacidade: Antes de enviar o prefixo corrigido de volta ao servidor, o cliente filtra qualquer Informação de Identificação Pessoal (PII) encontrada no contexto recuperado, substituindo-a por um marcador (ex: [PII]). Isso garante que o servidor nunca veja o perfil bruto ou as correções contendo PII.
Distinção da Decodificação Especulativa: Ao contrário da decodificação especulativa padrão, onde um modelo pequeno redige e um modelo grande verifica para reduzir a latência, o $P^3$ inverte os papéis (o grande redige, o pequeno verifica) para priorizar a privacidade e a personalização. O modelo do cliente desvia intencionalmente da distribuição do servidor para direcionar a saída em direção às preferências do usuário.

Principais Contribuições

Design de Framework: Introdução do $P^3$ , o primeiro método de recuperação aumentada para personalização de LLM que evita a divulgação direta de perfis de usuários ao servidor.
Equilíbrio Privacidade-Utilidade: O método alcança uma alta qualidade de personalização ao aproveitar as capacidades do lado do servidor, enquanto restringe a vazão de informações apenas ao mínimo implícito nos tokens aceitos ou corrigidos.
Código Aberto: Os autores disponibilizaram a implementação em código aberto para fomentar pesquisas adicionais em geração aumentada por recuperação consciente da privacidade.

Resultados Experimentais
Experimentos foram conduzidos no benchmark LaMP-QA, composto por três conjuntos de dados: Arte e Entretenimento, Estilo de Vida e Desenvolvimento Pessoal, e Sociedade e Cultura. O sistema utilizou as famílias Qwen 2.5 (14B/3B) e Gemma 3 (12B/4B).

Desempenho:
- O $P^3$ superou consistentemente tanto as baselines não personalizadas do lado do servidor quanto as baselines personalizadas totalmente do lado do cliente em todos os conjuntos de dados.
- Alcançou melhorias estatisticamente significativas de 7,4% a 9% em média sobre as melhores baselines não vazáveis.
- O $P^3$ recuperou de 90,3% a 95,7% da utilidade de um cenário de "limite superior" (upper-bound) onde o perfil completo era exposto ao servidor (um cenário "vazável").
Análise de Privacidade:
- Ataque de Vinculação (Linkability Attack): Um atacante tentando identificar o perfil do usuário a partir de um conjunto de candidatos obteve apenas 24% de precisão com o $P^3$ , comparado a 22,5% para uma baseline de apenas consulta e 20% para uma baseline aleatória. Isso representa um aumento marginal de 1,5% no vazamento em relação à baseline não personalizada.
- Ataque de Inferência de Atributos: A precisão do atacante em inferir atributos do usuário (ex: ocupação, localização) foi de 58,5% com o $P^3$ , apenas 3,5% superior à baseline de apenas consulta (55%). Isso é significativamente inferior à precisão de 100% alcançada quando o perfil completo é compartilhado.
Eficiência:
- O modelo do lado do cliente gera apenas 9,2% do total de tokens na resposta final.
- O tempo de execução no lado do cliente representa apenas uma fração da latência total (ex: ~4,9s de um total de 23,6s), com a maior parte do processamento ocorrendo no servidor.
- O $P^3$ com um modelo de cliente de 3B superou significativamente uma baseline de RAG totalmente do lado do cliente usando um modelo de 3B, utilizando menos tempo de execução e VRAM do usuário.

Significância e Alegações
O artigo afirma que o $P^3$ fornece uma solução prática e eficaz para a geração personalizada que melhora a privacidade sem sacrificar o desempenho. Demonstra que é possível utilizar LLMs poderosos hospedados na nuvem para personalização mantendo o controle sobre os dados pessoais. Os autores posicionam este trabalho como um passo em direção à redução de risco fundamentada em aplicações sensíveis à privacidade, oferecendo um meio-termo entre o isolamento absoluto de modelos locais e a divulgação irrestrita do RAG tradicional no lado do servidor. Os resultados sugerem que o $P^3$ introduz apenas um vazamento adicional marginal em comparação ao envio de uma consulta sem qualquer contexto pessoal, tornando-o uma alternativa viável para cenários onde garantias estritas de privacidade são necessárias, mas alta utilidade de modelo também é desejada.

Mais como este