On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

Resumo Técnico: Sobre a (In)Segurança da Defesa de Embaralhamento na Inferência Segura de Transformers

Declaração do Problema
A inferência segura para modelos Transformer usando Computação Multipartidária (MPC) ou Criptografia Homomórfica (HE) enfrenta um gargalo crítico de eficiência: o cálculo de camadas não lineares (por exemplo, Softmax, GELU, LayerNorm). A criptografia de modelo completo (FME) requer numerosas rodadas de comunicação e transmissão pesada de dados para essas camadas, representando 75% a 90% da latência total. Para mitigar isso, a inferência com Criptografia Apenas Linear (LOE) foi proposta, onde ativações intermediárias são reveladas ao cliente em texto plano para calcular camadas não lineares localmente. No entanto, revelar ativações permite que adversários extraiam pesos do modelo resolvendo sistemas lineares.

Para combater isso, trabalhos recentes introduziram uma defesa de embaralhamento, onde ativações intermediárias são permutadas aleatoriamente antes de serem reveladas ao cliente. A alegação de segurança predominante é que recuperar a permutação específica é computacionalmente inviável (probabilidade $1/d!$ para dimensão $d$) e que ativações embaralhadas destroem a correlação necessária para ataques de extração de pesos. Este artigo desafia essa alegação, demonstrando que a defesa de embaralhamento não é robusta contra a extração de pesos.

Metodologia
Os autores propõem um ataque que alinha vetores de ativação embaralhados de forma diferente a uma permutação comum sem conhecer a permutação específica aplicada. A metodologia procede em três etapas:

1. Alinhamento de Vetores via Proximidade: O adversário consulta o Transformer com múltiplas entradas que estão $\epsilon$-próximas entre si. Devido à continuidade de Lipschitz das redes neurais, os vetores de ativação intermediária resultantes também são próximos em valor ($\|x_a - x_b\| < L\epsilon$). Embora cada vetor seja embaralhado por uma permutação diferente e desconhecida, os valores dentro dos vetores permanecem idênticos. O adversário alinha esses vetores resolvendo um problema de atribuição (usando o algoritmo húngaro) para minimizar a distância entre elementos dos vetores embaralhados, efetivamente recuperando a correspondência entre elementos em consultas diferentes.
2. Construção de Entradas Próximas em GPT: Um desafio surge porque as entradas do Transformer são índices de tokens discretos, tornando difícil gerar entradas $\epsilon$-próximas diretamente. Os autores exploram uma propriedade dos protocolos de inferência segura: o uso de aritmética de ponto fixo com truncamento. O truncamento seguro introduz erros estocásticos de 1 bit (por exemplo, magnitude $2^{-18}$). Ao alimentar repetidamente o mesmo prompt, o adversário aproveita esses erros probabilísticos inerentes para gerar as perturbações mínimas necessárias nas ativações intermediárias, criando os vetores $\epsilon$-próximos requeridos.
3. Extração de Pesos: Uma vez que os vetores de ativação são alinhados a uma permutação comum (mas desconhecida) $\pi$, o adversário constrói matrizes $X^{(l)}\pi^{(l)}$ e $X^{(l+1)}\pi^{(l+1)}$. Eles resolvem para os pesos usando a relação linear $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$. Os pesos resultantes $W^{(l)'}$ diferem dos pesos originais $W^{(l)}$ apenas por permutações de linhas e colunas. Crucialmente, o artigo observa que a funcionalidade da rede neural é invariante a tal embaralhamento; assim, os pesos extraídos realizam a mesma propagação direta que o modelo original.

Principais Contribuições

• Quebrando a Defesa de Embaralhamento: Os autores demonstram que um adversário pode alinhar com sucesso vetores de ativação embaralhados de forma diferente, mas contendo valores próximos, contornando a suposição de que a permutação torna a extração impossível.
• Explorando Ruído de Protocolo: O trabalho identifica e aproveita os erros estocásticos inerentes aos protocolos de truncamento seguro para gerar ativações intermediárias próximas, superando a limitação de entradas de tokens discretos em Transformers.
• Extração Teórica e Prática: O artigo prova que ativações alinhadas permitem a extração de pesos do modelo que são funcionalmente equivalentes aos originais, apesar de permutações de linhas/colunas desconhecidas.
• Validação Empírica: O ataque é avaliado em Pythia-70m e GPT-2, demonstrando alta precisão de alinhamento e recuperação bem-sucedida de pesos.

Resultados Experimentais
Os autores avaliaram o ataque nos modelos Pythia-70m e GPT-2 usando várias precisões de ponto fixo (14, 16 e 18 bits).

• Precisão de Alinhamento: O método proposto alinha ativações embaralhadas com Erros Quadráticos Médios (MSE) variando de $10^{-9}$ a $10^{-6}$. Menos de 2% dos elementos estão incompatíveis, com maior precisão resultando em melhor alinhamento.
• Recuperação de Pesos: Os pesos extraídos exibem diferenças de norma L1 em relação aos pesos do oráculo variando de $10^{-4}$ a $10^{-2}$. Modelos menores (Pythia-70m) apresentaram taxas de erro menores que os maiores (GPT-2).
• Eficiência de Custo: O ataque requer uma contagem de consultas proporcional à dimensão do modelo (por exemplo, ~32.768 para Pythia-70m). Usando preços de API comerciais, o custo total é de aproximadamente $1.
• Equivalência Funcional: Os pesos roubados, quando usados como modelo substituto, atingem pontuações de perplexidade próximas ao modelo original (por exemplo, 31,81 vs. 44,46 para Pythia-70m). Após uma breve etapa de ajuste fino (no máximo 6 minutos), o modelo recuperado corresponde à perplexidade da vítima (32,43 vs. 31,81), transformando efetivamente ataques subsequentes de cenários de caixa preta para caixa branca.

Significado e Alegações
O artigo afirma revelar um vazamento de informação significativo na defesa de embaralhamento, que anteriormente era considerada segura contra extração de pesos. Os autores argumentam que a defesa falha porque não leva em conta a capacidade de alinhar vetores com base na proximidade numérica em vez de conhecimento posicional.

O significado deste trabalho reside em expor uma vulnerabilidade que permite aos adversários recuperar pesos do modelo com alta fidelidade a um baixo custo. Os pesos extraídos são suficientes para analisar modelos privados ou servir como inicialização eficaz para modelos substitutos, fortalecendo assim os ataques de caixa preta existentes. Os autores concluem que a segurança da defesa de embaralhamento na inferência segura e em configurações relacionadas de preservação de privacidade requer reavaliação.

Limitações
Os autores observam modestamente que, embora o ataque seja teoricamente garantido e validado em modelos de pequena escala, a fidelidade dos pesos extraídos pode degradar à medida que a escala do modelo aumenta. No entanto, eles afirmam que a validação bem-sucedida em modelos de pequena escala é suficiente para demonstrar a vulnerabilidade fundamental do mecanismo de defesa.