Public-Decay Homomorphic State Space Models for Private Sequence Inference

Resumo Técnico: Modelos de Espaço de Estado Homomórficos de Decaimento Público para Inferência de Sequência Privada

1. Formulação do Problema

O artigo aborda o alto custo computacional de realizar inferência de sequência sob Criptografia Homomórfica Totalmente Homomórfica (FHE). Embora a FHE permita inferência privada, onde um cliente criptografa as entradas e um servidor avalia modelos sobre textos cifrados, os modelos de sequência padrão enfrentam restrições severas. Operações rotineiras em redes neurais de texto plano — como ativações não polinomiais, softmax, normalização de camada e atenção em todo o contexto — tornam-se restrições de sistema de primeira ordem sob FHE devido à profundidade multiplicativa, custos de rotação e materialização de textos cifrados.

Especificamente, o artigo identifica um gargalo na recorrência seletiva criptografada. Em um bloco recorrente criptografado ingênuo (por exemplo, um GRU ou LSTM criptografado), a atualização do estado tipicamente envolve multiplicar um portão criptografado, dependente da entrada, por um estado carregado criptografado ($h_t = g_A(x_t) \cdot h_{t-1} + \dots$). Esta multiplicação texto-cifrado por texto-cifrado consome profundidade multiplicativa a cada passo de tempo, esgotando rapidamente o orçamento de ruído disponível e tornando necessárias operações caras de bootstrap ou atualização.

2. Metodologia: HSSM de Decaimento Público

Os autores propõem Modelos de Espaço de Estado Homomórficos de Decaimento Público (HSSMs), um bloco recorrente/de espaço de estado projetado para evitar a multiplicação texto-cifrado por texto-cifrado no caminho de carregamento recorrente.

• Mecanismo Central: O design fixa o coeficiente de decaimento recorrente ($a$) para ser público/texto plano. A equação de atualização do estado é:
  $$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$$
  Aqui, $h_t$ é o estado criptografado, $a$ é um escalar público, e $g(x_t)u(x_t)$ representa o caminho de escrita local.
• Redução de Profundidade: Ao tornar o termo de carregamento ($a \cdot h_{t-1}$) uma operação texto-cifrado por texto-plano, o artigo remove o crescimento de profundidade multiplicativa associado ao carregamento recorrente. A única multiplicação texto-cifrado por texto-cifrado ocorre no caminho de escrita local ($g \cdot u$), que é limitado e local ao passo atual.
• Arquitetura do Sistema:
  • Lado do Cliente: Lida com tokenização, pesquisa congelada no fastText, projeção aleatória normalizada para treinamento, recorte, criptografia, descriptografia e limiarização.
  • Lado do Servidor: Recebe características projetadas limitadas criptografadas. Realiza projeções afins públicas, avalia polinômios de portão/escrita criptografados de baixo grau, realiza a multiplicação de escrita local e agrega o estado usando o decaimento público.
  • Restrições: Os parâmetros do modelo (pesos, decaimento, projeções) são públicos. O servidor observa metadados (comprimento da sequência, formas de operação), mas não os dados criptografados ou as chaves secretas.

3. Contribuições Principais

O artigo apresenta quatro contribuições primárias:

1. Especificação Arquitetural: Define o bloco HSSM mínimo com um invariante de decaimento público, separando explicitamente o pré-processamento do lado do cliente da avaliação homomórfica do lado do servidor.
2. Comparação Simbólica: Contrasta o HSSM com inferência criptografada estilo transformer e recorrência seletiva criptografada ingênua. Demonstra que o HSSM mantém um estado criptografado de tamanho fixo e evita o acúmulo de profundidade multiplicativa da recorrência ingênua.
3. Validação Empírica: Relata artefatos reais de FHE através dos backends OpenFHE (CPU) e FIDESlib (CUDA). Isso inclui rastros de nível correspondentes mostrando comportamento de ruído consistente entre backends e medições em GPU L40S.
4. Qualidade da Tarefa vs. Custo do Sistema: Separa a precisão da tarefa da latência do sistema. Valida a abordagem usando um fluxo de trabalho fastText reparado (evitando características "de brinquedo") e compara o HSSM com mecanismos de atenção polinomial amigáveis à HE.

4. Resultados Experimentais

A avaliação foca nos conjuntos de dados de análise de sentimento Rotten Tomatoes e SST-2 usando uma interface de características limitadas (512 escalares projetados por exemplo).

• Precisão: O caminho HSSM criptografado corresponde exatamente às classificações em texto plano, alcançando 0,7505 de precisão no Rotten Tomatoes e 0,7420 no SST-2.
• Latência e Eficiência:
  • Contra atenção polinomial de sequência completa, o HSSM é aproximadamente 5× mais rápido (por exemplo, ~15ms vs. ~75ms para avaliação) enquanto iguala ou excede a qualidade da tarefa.
  • Contra atenção polinomial de token final em cache, o HSSM mostra 1,34–1,62× menor latência em contextos mais longos (T=16, 32) e mantém uma pegada de estado criptografado lógico menor.
• Uso de Recursos:
  • Memória: O HSSM retém um único texto cifrado de estado criptografado independentemente do comprimento da sequência ($T$), enquanto a atenção polinomial requer $O(T)$ ou $O(T^2)$ textos cifrados para caches e pontuações materializadas. Testes de estresse mostram o HSSM completando sequências até $T=36$ em uma GPU L40S, enquanto a atenção quadrática materializada falha em $T=36$ devido a erros de memória insuficiente.
  • Profundidade: O HSSM projetado tem sucesso sob profundidade 8 / anel 32768, enquanto o bloco de atenção Q/K/V criptografado comparável requer profundidade 10 / anel 65536 para ter sucesso nos mesmos comprimentos de sequência.
• Ruído e Níveis: Rastros correspondentes no OpenFHE e FIDESlib confirmam que o caminho HSSM expandido termina no nível final 3 com um grau de escala de ruído de 2, sem invocar bootstrap para o fluxo de trabalho de características limitadas.

5. Significado e Afirmações

O artigo afirma que o HSSM de decaimento público é um padrão prático de co-design FHE para inferência de sequência criptografada no lado do servidor a partir de características projetadas limitadas.

• Alavanca de Design: A contribuição central é a demonstração de que substituir um portão de carregamento criptografado dependente da entrada por um decaimento público/texto plano é uma alavanca mensurável para reduzir a pressão no caminho de carregamento criptografado.
• Escopo das Afirmações: Os autores são modestos quanto ao escopo. Eles não afirmam:
  • Tokenização ou pesquisas de incorporação homomórficas.
  • Pesos privados do modelo (os pesos são públicos).
  • Softmax exato, blocos completos de transformer ou serviço de modelo de linguagem em escala de produção.
  • Segurança contra servidores maliciosos ou ataques de canal lateral.
• Conclusão: Os resultados estabelecem que, para inferência de características limitadas, o HSSM de decaimento público oferece uma troca concreta: alcança utilidade de tarefa não trivial com computação criptografada de estado fixo, menor latência do que atenção de sequência completa e crescimento de estado lógico reduzido, tudo operando dentro de um orçamento de profundidade FHE gerenciável sem bootstrap.