Resumo Técnico: SharedRequest

Declaração do Problema

A implantação generalizada de Grandes Modelos de Linguagem (LLMs) públicos, como o ChatGPT, criou uma tensão crítica entre utilidade e privacidade do usuário. Embora os LLMs baseados em nuvem ofereçam capacidades transformadoras, os prompts dos usuários frequentemente contêm informações sensíveis (ex: atributos pessoais, histórico médico, detalhes jurídicos) que devem permanecer confidenciais em relação a terceiros, incluindo o próprio provedor de serviço.

Os métodos existentes de inferência com preservação de privacidade enfrentam um "trilema" entre privacidade, utilidade e eficiência:

1. Abordagens criptográficas (SMPC): Métodos como Iron, MPCFormer e SecFormer oferecem garantias de privacidade fortes, mas introduzem um overhead de comunicação e computação proibitivo, limitando a escalabilidade.
2. Privacidade Diferencial Local (LDP): Abordagens como RanText e CusText perturbam os prompts no lado do cliente, mas frequentemente degradam significativamente a qualidade da resposta (utilidade) e enfrentam dificuldades em tarefas de geração de texto.
3. Modificações específicas do modelo: Muitas soluções exigem acesso aos parâmetros do modelo ou mudanças arquiteturais, o que é inviável para modelos proprietários de caixa-preta (black-box).
4. Perturbação individual: Os métodos atuais agnósticos ao modelo tipicamente perturbam cada prompt de forma independente, levando à distorção semântica e altos custos de consulta ao gerar múltiplas variantes ruidosas para garantir a privacidade.

Metodologia: SharedRequest

Os autores propõem o SharedRequest, um framework agnóstico ao modelo que reformula a proteção de privacidade ao nível de lote (batch), em vez do nível de prompt individual. O insight central é que os LLMs comerciais processam lotes massivos de consultas onde muitos usuários compartilham instruções genéricas semanticamente equivalentes (ex: "Quais são os restaurantes recomendados em [Localização]?").

Mecanismo Central

O SharedRequest opera através de um protocolo de três partes envolvendo Usuários, um Amostrador de Ruído (um coordenador terceiro) e o Provedor de Serviço (proprietário do LLM).

1. Decomposição de Prompt:

   • O prompt do usuário é dividido em uma instrução genérica ($T_q$) e atributos privados ($A_q$).
   • Os usuários identificam atributos privados e amostram um conjunto de atributos alternativos plausíveis ($A'$) a partir de um banco de dados pré-construído ou geração local.

2. Agrupamento em Nível de Lote e Injeção de Ruído:

   • O Amostrador de Ruído recebe atributos privados criptografados dos usuários. Ele agrupa os prompts com base em suas instruções genéricas.
   • Para cada grupo, o amostrador gera variantes ruidosas substituindo os atributos privados originais pelos atributos alternativos amostrados.
   • Crucialmente, o amostrador emprega um mecanismo de filtragem de combinação. Em vez de enviar todas as combinações possíveis de atributos (que seriam exponencialmente grandes), ele utiliza um discriminador pré-treinado para pontuar a "genuinidade" das combinações de atributos dentro do contexto. Apenas as combinações que excedem um limiar de qualidade são selecionadas. Isso garante que os prompts ruidosos sejam indistinguíveis dos genuínos.

3. Transmissão Segura:

   • Transmissão Direta (Forward): Usuários criptografam atributos privados usando a chave pública do Provedor de Serviço. As mensagens para o Amostrador de Ruído são criptografadas com a chave pública do Amostrador. Isso garante que o Amostrador veja apenas instruções genéricas e listas de candidatos, enquanto o Provedor de Serviço vê uma mistura embaralhada de prompts genuínos e ruidosos, mas não consegue vinculá-los a usuários específicos.
   • Transmissão Reversa (Backward): O Provedor de Serviço gera respostas para o lote. Para evitar que o Amostrador de Ruído aprenda o conteúdo, o Provedor de Serviço mascara as respostas usando uma máscara pseudoaleatória derivada de uma semente fornecida pelo usuário. Os usuários reconstroem a resposta verdadeira via subtração modular.

4. Amortização de Custo:

   • O Provedor de Serviço agrega prompts idênticos (tanto genuínos quanto ruidosos) dentro de um lote e gera uma única resposta por prompt único.
   • O custo de inferência das consultas "ruidosas" é amortizado entre todos os usuários que compartilham a mesma instrução genérica.

Definição de Privacidade

O artigo introduz a $(A_n, \epsilon)$-indistinguibilidade, uma relaxação da Privacidade Diferencial (DP) padrão.

• Vizinhos: Dois conjuntos de prompts são considerados vizinhos se um puder ser obtido do outro substituindo os atributos privados de um único prompt por um "alternativo qualificado" de um conjunto definido pelo usuário.
• Garantia: O mecanismo garante que a visão do Provedor de Serviço (um conjunto embaralhado de prompts) seja indistinguível em relação às mudanças nos atributos privados, desde que o Amostrador de Ruído e o Provedor de Serviço não coludam.

Principais Contribuições

1. Novo Paradigma de Nível de Lote: Um framework agnóstico ao modelo que agrupa solicitações semanticamente equivalentes para processamento conjunto, permitindo a privacidade através de variantes ruidosas embaralhadas e a redução de custos através da amortização em nível de lote.
2. Protocolo Multi-Parte Leve: Um design que preserva o anonimato do usuário e esconde atributos privados do provedor de serviço sem exigir modificações na arquitetura do LLM ou acesso aos seus parâmetros.
3. Formalização Teórica: Formalização da privacidade via $(A_n, \epsilon)$-indistinguibilidade e análise teórica provando os benefícios de amortização do custo de consulta, particularmente sob distribuições de requisição desiguais (cauda longa).
4. Coordenação por Terceiros: Um mecanismo para amostragem eficiente de consultas ruidosas que reduz o processamento no lado do usuário para prompts com múltiplos atributos privados, transferindo a seleção complexa de combinações para o Amostrador de Ruído.

Resultados Experimentais

O framework foi avaliado em três conjuntos de dados sensíveis à privacidade: Legal-QA, Medical-QA e MMLU-Biz.

• Utilidade:
  • A versão "Original" (sem simplificação de prompt) alcançou utilidade quase idêntica à linha de base não privada (dentro de 1% de perda).
  • Comparado com as linhas de base LDP agnósticas ao modelo de última geração (RanText, CusText, DP-Prompt, InferDPT), o SharedRequest alcançou mais de 20% de utilidade superior (medida por F1 score ou classificações de qualidade) em orçamentos de privacidade ($\epsilon$) variando de 1 a 5.
• Custo de Consulta:
  • O mecanismo de prompt compartilhado reduziu os custos de consulta em até 5,6× em comparação com a inferência não agrupada, particularmente quando a distribuição de instruções genéricas era concentrada (baixa entropia).
  • A redução de custo escala com o tamanho do lote e o desvio da distribuição de requisições.
• Robustez:
  • Contra ataques de inferência onde um servidor tenta distinguir prompts genuínos de ruidosos, o SharedRequest reduziu a taxa de sucesso do ataque em aproximadamente 32,7% em comparação com as linhas de base de amostragem aleatória.
  • O framework manteve taxas de sucesso de ataque (ASR) comparáveis a outras linhas de base de DP, oferecendo simultaneamente uma utilidade significativamente maior.
• Eficiência:
  • O overhead computacional para filtragem de atributos no Amostrador de Ruído foi baixo (menos de 6,2 segundos por grupo de instrução para um discriminador de 1,5 bilhão de parâmetros).
  • O overhead de comunicação permaneceu mínimo (< 0,1 MB), comparável aos métodos DP padrão e significativamente inferior às abordagens baseadas em SMPC.

Significância e Alegações

O artigo afirma que o SharedRequest aborda as limitações fundamentais da inferência de LLM com preservação de privacidade ao quebrar o compromisso entre privacidade, utilidade e eficiência. Ao mudar o paradigma de privacidade da perturbação individual para a mistura em nível de lote, o framework aproveita a redundância natural no uso de LLMs em larga escala para amortizar o custo da proteção de privacidade.

Os autores enfatizam que esta abordagem é agnóstica ao modelo, tornando-a imediatamente aplicável a modelos de caixa-preta proprietários sem exigir cooperação do provedor de serviço ou mudanças arquiteturais. Os resultados sugerem que, para cenários do mundo real com distribuições de consulta concentradas, o SharedRequest oferece um caminho prático para implantar LLMs com preservação de privacidade que mantêm alta utilidade enquanto reduzem significativamente os custos operacionais.

Limitações Reconhecidas:

• O protocolo assume que o Amostrador de Ruído e o Provedor de Serviço não coludem.
• Os usuários são responsáveis por identificar atributos privados e gerar alternativas (embora ferramentas como NER ou LLMs locais possam auxiliar).
• Os benefícios de custo são maximizados quando as distribuições de consulta são desiguais; consultas altamente únicas podem apresentar menos amortização.