Resumo Técnico: Privacidade por Simetria (CONJFORMER)

Definição do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) como serviços baseados em nuvem exige o envio de dados do usuário para provedores terceiros, criando riscos significativos de privacidade. Embora a Inferência Dividida (Split Inference - SI) mitigue isso ao manter a camada de embedding local e transmitir apenas representações ocultas intermediárias, ela permanece vulnerável à inversão de embedding por vizinho mais próximo (nearest-neighbor - NN). Em configurações padrão de SI, a tabela de embeddings é pública, permitindo que um adversário recupere os tokens de entrada ao comparar os estados ocultos observados pelo servidor contra a tabela pública usando similaridade de cosseno. Esse ataque permanece altamente eficaz mesmo após o ajuste fino (fine-tuning) do modelo. Métos existentes de preservação de privacidade, como a injeção de ruído de privacidade diferencial (DP) ou técnicas criptográficas (Criptografia Homomórfica, Computação Multipartidária Segura), sofrem com a degradação significativa da qualidade do modelo ou com custos computacionais proibitivos, tornando-os impraticáveis para a inferência de LLMs autorregressivos.

Metodologia: CONJFORMER

O artigo propõe o CONJFORMER, um framework que impõe $O(d)$-equivariância (equivariância ao grupo ortogonal de dimensão $d$) ao nível arquitetural. Isso permite que o cliente ofusque os embeddings usando uma matriz ortogonal secreta, garantindo que o servidor ainda possa realizar a inferência correta sem jamais observar os estados ocultos não rotacionados.

Mecanismos Principais

1. Ofuscação Ortogonal: O cliente multiplica os embeddings de entrada por uma matriz ortogonal secreta $U \in O(d)$ antes da transmissão.
2. Conjugação de Pesos: Para preservar a funcionalidade do modelo sob esta rotação, o cliente aplica conjugação linear de dois lados a todos os pesos lineares do transformer. Se uma camada linear é $W$, o servidor recebe $\hat{W} = O W U^\top$, onde $O$ é uma matriz ortogonal específica por bloco.
3. Modificações Arquiteturais: Para alcançar a $O(d)$-equivariância exata, os autores introduzem mudanças mínimas na arquitetura do transformer:
   • RMSNorm Escalar: Camadas de normalização padrão (LayerNorm ou RMSNorm com vetores aprendíveis) são dependentes de coordenadas e quebram a equivariância. O CONJFORMER substitui estas por RMSNorm usando um ganho escalar. Isso garante que a operação de normalização comute com transformações ortogonais.
   • Conjugação por Bloco: Todas as projeções lineares (pesos de Query, Key, Value e Output, além de FFN) são conjugadas. O servidor realiza toda a passagem direta (forward pass) na base rotacionada.

Garantia Teórica

O framework garante a equivalência funcional por bloco:
$$\hat{F}_b(X U^\top) = F_b(X) U^\top$$
onde $F_b$ é o bloco original do transformer e $\hat{F}_b$ é o bloco conjugado. Consequentemente, o servidor computa exatamente a mesma lógica do modelo original, mas opera inteiramente em representações rotacionadas. O servidor nunca observa os estados ocultos não rotacionados, tornando impossível a inversão direta de vizinho mais próximo contra a tabela de embeddings pública.

Principais Contribuições

1. Arquitetura: Desenvolvimento de uma variante de transformer que é exatamente $O(d)$-equivariante via modificações leves (RMSNorm escalar) e conjugação de pesos, compatível com transformações ortogonais arbitrárias do espaço de embedding.
2. Framework: Proposta do framework CONJFORMER, que aplica conjugação ortogonal por bloco para preservar a funcionalidade sob ofuscação secreta, removendo efetivamente a inversão direta de vizinho mais próximo de embedding.
3. Análise de Ataque: Identificação e análise de novos vetores de ataque necessários pela ofuscação. Uma vez que o emparelhamento direto é eliminado, o adversário deve recorrer a ataques de alinhamento de pesos para recuperar as transformações ortogonais ocultas. O artigo introduz e avalia:
   • Alinhamento ALS–Procrustes de Dois Lados: Um método iterativo para estimar $U$ e $O$ alinhando pesos ajustados (fine-tuned) conjugados com pesos pré-treinados públicos.
   • Alinhamento de Pesos Baseado em Gram: Um método que agrega informações através dos blocos explorando a invariância de matrizes de Gram sob rotações específicas por bloco, oferecendo um ataque mais forte que o Procrustes.
4. Validação Empírica: Experimentos extensos no GPT-2 (Small, Medium, Large) e Llama 3.2 1B ajustados no PubMed.

Resultados Experimentais

Os autores avaliaram o CONJFORMER em variantes do GPT-2 e no Llama 3.2 1B, ajustados em resumos do PubMed.

• Eficácia de Privacidade:
  • Modelos Originais: A inversão de embedding por vizinho mais próximo alcança alta precisão (mais de 35% de recuperação de top-10 tokens) mesmo após o ajuste fino.
  • CONJFORMER: A ofuscação ortogonal elimina a inversão direta por similaridade de cosseno de vizinho mais próximo. Os ataques restantes mais fortes (alinhamento de peso baseado em Gram) degradam para um desempenho próximo ao aleatório (no máximo 1,3% de recuperação de top-10 tokens) após o ajuste fino.
• Desempenho do Modelo:
  • Perplexidade: O framework incorre em um custo de desempenho mínimo. Modelos CONJFORMER ajustados mostram aumentos de perplexidade de apenas 0,4% (Llama 3.2 1B) a aproximadamente 2% (GPT-2 Small) em comparação com os modelos de linha de base.
  • Retroajuste (Retrofitting): Modelos pré-treinados podem ser "retroajustados" para a arquitetura equivariante substituindo as camadas de normalização e realizando um breve ajuste fino, recuperando a perplexidade original dentro de 2.000 iterações.

Significância e Alegações

O artigo afirma que o CONJFORMER fornece uma defesa prática para a inferência de LLM com preservação de privacidade sem depender de injeção de ruído (que degrada a qualidade) ou de pesada maquinaria criptográfica (que é muito lenta).

• Mudança no Problema Adversarial: A principal significância é que o método muda fundamentalmente a natureza do ataque. Ele move o adversário de um simples problema de "busca" (comparar vetores com uma tabela pública) para um complexo problema de "recuperação de base" (resolver transformações ortogonais ocultas via alinhamento de pesos).
• Simetria Arquitetural: O trabalho demonstra que impor simetria ao nível arquitetural pode fornecer garantias de privacidade robustas contra a inversão de embedding.
• Limitações: Os autores declaram explicitamente que o CONJFORMER não é um mecanismo criptográfico ou de privacidade diferencial. Ele depende do segredo da chave ortogonal do cliente e da privacidade da tabela de embedding ajustada. Não protege contra ataques que exploram invariantes ortogonais (ex: normas, distâncias pareadas) ou cenários de texto plano conhecido onde o adversário pode observar os inputs não rotacionados. A segurança baseia-se na dificuldade computacional do problema de alinhamento de pesos, e não na secreção de informação teórica.