Resumo Técnico: FuseFSS

Declaração do Problema

Na inferência segura de dois servidores para Large Language Models (LLMs), os clientes podem consultar modelos hospedados sem revelar prompts ou embeddings ao compartilhar segredos das entradas entre servidores não coludentes. Embora sistemas recentes baseados em GPU utilizando Function Secret Sharing (FSS) tenham tornado as camadas lineares eficientes, gargalos significativos permanecem nas não-linearidades de ponto fixo (ex: ativações como GELU, componentes de Softmax) e nas operações de redimensionamento (rescaling).

Os sistemas de estado da arte atuais (ex: Sigma) dependem de protocolos bespoke (sob medida), por operador. Cada operador requer uma implementação customizada envolvendo comparações específicas, correções de wrap-around e material de pré-processamento. Essa abordagem é frágil: complica as provas de corretude, duplica a lógica de geração de chaves e torna difícil a adição de novos operadores sem introduzir bugs sutis relacionados ao wrap-around de modulo-$2^n$ ou sinalidade. Além disso, esses protocolos customizados frequentemente levam a um alto overhead de comunicação online e custos de pré-processamento pesados (tempo e tamanho de geração de chave).

Metodologia: FuseFSS

Os autores apresentam o FuseFSS, um compilador que substitui a engenharia de protocolo por operador por um pipeline de compilação uniforme e amigável à GPU. A ideia central é que, através de comuns não-linearidades de ponto fixo, a lógica dependente dos dados segue um padrão similar: selecionar uma região usando um pequeno conjunto de bits de predicado e então aplicar uma forma aritmética de baixo grau com um pequeno número de constantes.

1. Especificações de Operador

O FuseFSS introduz uma especificação de operador tipada que serve como uma representação intermediária (IR) para operadores de ponto fixo elemento a elemento. Uma especificação define:

• Partição de Intervalo: Uma partição completa dos representantes canônicos de $\mathbb{Z}_{2^n}$ em intervalos $I_i = [\alpha_i, \alpha_{i+1})$.
• Peças Aritméticas: Para cada intervalo, um vetor de polinômios de baixo grau $P_i(x)$ para computar a saída aritmética.
• Bits de Predicado: Fórmulas booleanas $B_i(x)$ construídas a partir de predicados primitivos (ex: $x < \beta$) para determinar qual intervalo está ativo.

2. Compilação Ciente de Máscara (Mask-Aware)

O compilador traduz essas especificações em um protocolo uniforme que opera em um valor mascarado público $\hat{x} = x + r_{in} \pmod{2^n}$, onde $r_{in}$ é uma máscara fresca e compartilhada secretamente amostrada durante o pré-processamento.

• Reescrita de Predicado: O compilador reescreve os predicados no input secreto $x$ em comparações no $\hat{x}$ público, utilizando bits de carry compartilhados secretamente derivados da máscara $r_{in}$ para lidar corretamente com o wrap-around de modulo.
• Estrutura Uniforme: Independentemente do operador específico, o compilador emite exatamente duas avaliações padrão de FSS no $\hat{x}$ público:
  1. Comparação Empacotada: Uma única avaliação retornando shares XOR de todos os bits de predicado necessários (indicadores de intervalo).
  2. Busca de Intervalo Vetorial: Uma única avaliação retornando shares aditivos dos coeficientes polinomiais e constantes para o intervalo selecionado.

3. Pós-processamento

O restante da computação é um circuito de pós-processamento de estrutura fixa e baseada em shares. Isso inclui:

• Regra de Horner: Avaliar o polinômio de baixo grau selecionado no secret shares de $x$ (derivado localmente de $\hat{x}$ e $r_{in}$) usando Beaver triples.
• Operações Auxiliares: Aplicar lógica booleana (XOR, AND) e conversões de domínios mistos (B2A/A2B) para combinar resultados aritméticos e booleanos.
• Portas Compatíveis com a Especificação: Para operações que não podem ser puramente polinomiais (ex: truncamento, shifts aritméticos à direita), o compilador adiciona um circuito de pós-processamento determinístico $\Phi$ que recebe a saída polinomial e constantes derivadas da máscara para produzir o resultado final.

4. Segurança e Vazamento

O FuseFSS adere à semântica de fio mascarado (masked-wire semantics), garantindo máscaras independentes e frescas por fio. Crucialmente, o compilador impõe formas públicas independentes de máscara. O número de comparações, larguras de bits e dimensões de busca de intervalo dependem apenas da especificação do operador pública e metadados de ponto fixo, não das máscaras amostradas. Isso evita o vazamento de informações secretas através de tamanhos de chave ou formas de instâncias. O modelo de segurança assume um adversário semi-honesto em um cenário de pré-processamento de dois servidores.

Principais Contribuições

1. Desempenho de Estado da Arte: O FuseFSS alcança o melhor desempenho reportado para inferência segura baseada em FSS em modelos do tipo BERT e GPT, melhorando a latência e reduzindo os custos de pré-processamento enquanto mantém a precisão do modelo.
2. Alvo de Compilador Prático: Demonstra que uma ampla gama de operadores escalares de ponto fixo pode ser unificada sob um único formato de especificação, executada via duas chamadas padrão de FSS mais pós-processamento uniforme, eliminando a necessidade de design de protocolo bespoke.
3. Compilação Ciente de Máscara com Segurança: O sistema deriva avaliações de predicado corretas a partir de inputs mascarados públicos enquanto impõe invariância de forma, permitindo uma prova de corretude unificada e de segurança semi-honesta através de diferentes operadores.

Resultados Experimentais

Os autores avaliaram o FuseFSS contra o Sigma, o atual baseline de estado da arte baseado em FSS, em modelos do tipo BERT e GPT (incluindo BERT-tiny/base/large, GPT-2 e GPT-Neo) com comprimento de sequência 128 e batch size 1.

• Aceleração End-to-End: O FuseFSS alcança um aumento de velocidade de 1.24×–1.50× na latência online. Por exemplo, o tempo de inferência do BERT-base-128 caiu de 1613.80 ms (Sigma) para 1149.50 ms (FuseFSS), uma redução de 28.8%.
• Redução de Comunicação: A comunicação online foi reduzida em 9%–16%.
• Eficiência de Pré-processamento:
  • Tempo de Geração de Chave: Reduzido em 14%–23%.
  • Tamanho da Chave: Reduzido em 20%–24%.
• Escalabilidade: O ganho de velocidade permanece consistente (1.36×–1.45×) conforme o comprimento da sequência aumenta de 32 para 512.
• Atribuição: Os ganhos são impulsionados principalmente pela aceleração de blocos não-lineares escalares e auxiliares (ex: GELU, componentes de Softmax), que representam a maior parte da latência no baseline. Por exemplo, o caminho compilado para Softmax (nExp + recíproco) teve um aumento de velocidade de 4.5×–4.7×.

Significância e Alegações

O artigo afirma que o FuseFSS aborda o principal gargalo na inferência segura de dois servidores: a complexidade de engenharia e o overhead de desempenho das não-linearidades de ponto fixo. Ao mudar de protocolos bespoke por operador para um pipeline de compilação uniforme, o FuseFSS simplifica o design do sistema, melhora as garantias de corretude e reduz significativamente tanto os custos online quanto os offline.

Os autores posicionam o FuseFSS como uma solução prática para implantar a inferência de LLM preservando a privacidade em configurações que exigem confidencialidade forte para prompts e embeddings (ex: saúde, finanças). Eles explicitamente observam que seu trabalho foca em não-linearidades escalares; operações de nível vetorial (como reduções ou esparsificação de atenção) permanecem fora da IR de especificação de operador e são tratadas por subprotocolos MPC padrão. A análise de segurança é limitada ao modelo semi-honesto com dois servidores não coludentes, reconhecendo que estender para modelos adversariais mais fortes é uma direção futura.