Public-Decay Homomorphic State Space Models for Private Sequence Inference

Resumen Técnico: Modelos de Espacio de Estado Homomórficos de Decaimiento Público para Inferencia de Secuencias Privada

1. Formulación del Problema

El artículo aborda el alto costo computacional de realizar inferencia de secuencias bajo Cifrado Homomórfico Total (FHE). Si bien el FHE permite una inferencia privada donde un cliente cifra las entradas y un servidor evalúa modelos sobre los textos cifrados, los modelos de secuencia estándar enfrentan restricciones severas. Las operaciones rutinarias en redes neuronales de texto plano —tales como activaciones no polinómicas, softmax, normalización de capas y atención a todo el contexto— se convierten en restricciones de primer orden del sistema bajo FHE debido a la profundidad multiplicativa, los costos de rotación y la materialización de textos cifrados.

Específicamente, el artículo identifica un cuello de botella en la recurrencia selectiva cifrada. En un bloque recurrente cifrado ingenuo (por ejemplo, un GRU o LSTM cifrado), la actualización del estado típicamente implica multiplicar una puerta dependiente de la entrada y cifrada por un estado transportado cifrado ($h_t = g_A(x_t) \cdot h_{t-1} + \dots$). Esta multiplicación de texto cifrado por texto cifrado consume profundidad multiplicativa en cada paso de tiempo, agotando rápidamente el presupuesto de ruido disponible y haciendo necesarias operaciones costosas de arranque en caliente (bootstrapping) o refresco.

2. Metodología: HSSM de Decaimiento Público

Los autores proponen Modelos de Espacio de Estado Homomórficos de Decaimiento Público (HSSM), un bloque recurrente/de espacio de estado diseñado para evitar la multiplicación de texto cifrado por texto cifrado en la ruta de transporte recurrente.

• Mecanismo Central: El diseño fija el coeficiente de decaimiento recurrente ($a$) para que sea público/texto plano. La ecuación de actualización del estado es:
  $$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$$
  Aquí, $h_t$ es el estado cifrado, $a$ es un escalar público, y $g(x_t)u(x_t)$ representa la ruta de escritura local.
• Reducción de Profundidad: Al hacer que el término de transporte ($a \cdot h_{t-1}$) sea una operación de texto cifrado por texto plano, el artículo elimina el crecimiento de profundidad multiplicativa asociado con el transporte recurrente. La única multiplicación de texto cifrado por texto cifrado ocurre en la ruta de escritura local ($g \cdot u$), la cual está acotada y es local al paso actual.
• Arquitectura del Sistema:
  • Lado del Cliente: Maneja la tokenización, la búsqueda congelada de fastText, la proyección aleatoria normalizada para entrenamiento, el recorte, el cifrado, el descifrado y el umbralizado.
  • Lado del Servidor: Recibe características proyectadas y acotadas cifradas. Realiza proyecciones afines públicas, evalúa polinomios cifrados de puerta/escritura de bajo grado, realiza la multiplicación de escritura local y agrega el estado utilizando el decaimiento público.
  • Restricciones: Los parámetros del modelo (pesos, decaimiento, proyecciones) son públicos. El servidor observa metadatos (longitud de la secuencia, formas de operación) pero no los datos cifrados ni las claves secretas.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Especificación Arquitectónica: Define el bloque HSSM mínimo con una invariante de decaimiento público, separando explícitamente el preprocesamiento del lado del cliente de la evaluación homomórfica del lado del servidor.
2. Comparación Simbólica: Contrasta el HSSM con la inferencia cifrada estilo transformador y la recurrencia selectiva cifrada ingenua. Demuestra que el HSSM mantiene un estado cifrado de tamaño fijo y evita la acumulación de profundidad multiplicativa de la recurrencia ingenua.
3. Validación Empírica: Informa sobre artefactos reales de FHE a través de los backends OpenFHE (CPU) y FIDESlib (CUDA). Esto incluye trazas de nivel coincidentes que muestran un comportamiento de ruido consistente entre backends y mediciones en GPU L40S.
4. Calidad de Tarea vs. Costo del Sistema: Separa la precisión de la tarea de la latencia del sistema. Valida el enfoque utilizando un flujo de trabajo de fastText reparado (evitando características "de juguete") y compara el HSSM con mecanismos de atención polinómica amigables con HE.

4. Resultados Experimentales

La evaluación se centra en los conjuntos de datos de análisis de sentimientos Rotten Tomatoes y SST-2 utilizando una interfaz de características acotadas (512 escalares proyectados por ejemplo).

• Precisión: La ruta HSSM cifrada coincide exactamente con las clasificaciones de texto plano, logrando una precisión de 0.7505 en Rotten Tomatoes y 0.7420 en SST-2.
• Latencia y Eficiencia:
  • Frente a la atención polinómica de secuencia completa, el HSSM es aproximadamente 5 veces más rápido (por ejemplo, ~15 ms vs. ~75 ms para la evaluación) mientras iguala o supera la calidad de la tarea.
  • Frente a la atención polinómica de token final en caché, el HSSM muestra una latencia 1.34–1.62 veces menor en contextos más largos (T=16, 32) y mantiene una huella de estado cifrado lógico más pequeña.
• Uso de Recursos:
  • Memoria: El HSSM retiene un único texto cifrado de estado independientemente de la longitud de la secuencia ($T$), mientras que la atención polinómica requiere $O(T)$ o $O(T^2)$ textos cifrados para cachés y puntuaciones materializadas. Las pruebas de estrés muestran que el HSSM completa secuencias hasta $T=36$ en una GPU L40S, mientras que la atención cuadrática materializada falla en $T=36$ debido a errores de falta de memoria.
  • Profundidad: El HSSM proyectado tiene éxito bajo profundidad 8 / anillo 32768, mientras que el bloque de atención Q/K/V cifrado comparable requiere profundidad 10 / anillo 65536 para tener éxito en las mismas longitudes de secuencia.
• Ruido y Niveles: Las trazas coincidentes en OpenFHE y FIDESlib confirman que la ruta HSSM expandida finaliza en nivel final 3 con un grado de escala de ruido de 2, sin invocar arranque en caliente (bootstrapping) para el flujo de trabajo de características acotadas.

5. Significado y Afirmaciones

El artículo afirma que el HSSM de decaimiento público es un patrón de co-diseño FHE práctico para la inferencia de secuencias cifrada en el lado del servidor a partir de características proyectadas acotadas.

• Palanca de Diseño: La contribución central es la demostración de que reemplazar una puerta de transporte dependiente de la entrada cifrada con un decaimiento público/texto plano es una palanca medible para reducir la presión en la ruta de transporte cifrada.
• Alcance de las Afirmaciones: Los autores son modestos sobre el alcance. No afirman:
  • Tokenización homomórfica o búsquedas de incrustaciones.
  • Pesos privados del modelo (los pesos son públicos).
  • Softmax exacto, bloques completos de transformadores o servicio de modelos de lenguaje a escala de producción.
  • Seguridad contra servidores maliciosos o ataques de canal lateral.
• Conclusión: Los resultados establecen que para la inferencia de características acotadas, el HSSM de decaimiento público ofrece un intercambio concreto: logra utilidad de tarea no trivial con computación cifrada de estado fijo, menor latencia que la atención de secuencia completa y menor crecimiento de estado lógico, todo ello operando dentro de un presupuesto de profundidad FHE manejable sin arranque en caliente.