Resumen Técnico: FuseFSS

Planteamiento del Problema

En la inferencia segura de dos servidores para Modelos de Lenguaje de Gran Escala (LLMs), los clientes pueden realizar consultas a modelos alojados sin revelar sus prompts o embeddings mediante el uso de partes secretas de las entradas entre servidores que no coluden. Aunque los sistemas recientes basados en GPU que utilizan el Reparto de Funciones Secretas (FSS, por sus siglas en inglés) han hecho eficientes las capas lineales, persisten cuellos de botella significativos en las no linealidades de punto fijo (por ejemplo, activaciones como GELU, componentes de Softmax) y en las operaciones de reescalado.

Los sistemas actuales de vanguardia (por ejemplo, Sigma) dependen de protocolos personalizados por operador. Cada operador requiere una implementación específica que involucra comparaciones particulares, correcciones de desbordamiento (wrap-around) y material de preprocesamiento. Este enfoque es frágil: complica las pruebas de corrección, duplica la lógica de generación de claves y dificulta la adición de nuevos operadores sin introducir errores sutiles relacionados con el desbordamiento de módulo-$2^n$ o la naturaleza con signo (signedness). Además, estos protocolos personalizados suelen derivar en una alta sobrecarga de comunicación en línea y costos de preprocesamiento pesados (tiempo y tamaño de generación de claves).

Metodología: FuseFSS

Los autores presentan FuseFSS, un compilador que reemplaza la ingeniería de protocolos por operador con un flujo de compilación uniforme y compatible con GPU. La idea central es que, a través de las no linealidades de punto fijo comunes, la lógica dependiente de los datos sigue un patrón similar: la selección de una región utilizando un pequeño conjunto de bits de predicado y la aplicación posterior de una forma aritmética de bajo grado con un número reducido de constantes.

1. Especificaciones de Operadores

FuseFSS introduce una especificación de operador tipada que sirve como una representación intermedia (IR) para los operadores de punto fijo elemento a elemento. Una especificación define:

• Partición de Intervalos: Una partición completa de los representantes canónicos de $\mathbb{Z}_{2^n}$ en intervalos $I_i = [\alpha_i, \alpha_{i+1})$.
• Piezas Aritméticas: Para cada intervalo, un vector de polinomios de bajo grado $P_i(x)$ para computar la salida aritmética.
• Bits de Predicado: Fórmulas booleanas $B_i(x)$ construidas a partir de predicados primitivos (por ejemplo, $x < \beta$) para determinar qué intervalo está activo.

2. Compilación Consciente de Máscaras (Mask-Aware)

El compilador traduce estas especificaciones en un protocolo uniforme que opera sobre un valor enmascarado público $\hat{x} = x + r_{in} \pmod{2^n}$, donde $r_{in}$ es una máscara fresca y compartida secretamente muestreada durante el preprocesamiento.

• Reescritura de Predicados: El compilador reescribe los predicados sobre la entrada secreta $x$ en comparaciones sobre la entrada pública $\hat{x}$, utilizando bits de acarreo (carry bits) compartidos secretamente derivados de la máscara $r_{in}$ para manejar correctamente el desbordamiento de módulo.
• Estructura Uniforme: Independientemente del operador específico, el compilador emite exactamente dos evaluaciones estándar de FSS sobre la entrada pública $\hat{x}$:
  1. Comparación Empaquetada: Una única evaluación que devuelve las partes XOR de todos los bits de predicado requeridos (indicadores de intervalo).
  2. Búsqueda de Intervalo Vectorial: Una única evaluación que devuelve las partes aditivas de los coeficientes polinómicos y las constantes para el intervalo seleccionado.

3. Post-procesamiento

La computación restante es un circuito de post-procesamiento de estructura fija basado en partes (shares). Esto incluye:

• Regla de Horner: Evaluación del polinomio de bajo grado seleccionado sobre las partes secretas de $x$ (derivadas localmente de $\hat{x}$ y $r_{in}$) utilizando tríos de Beaver (Beaver triples).
• Operaciones Auxiliares: Aplicación de lógica booleana (XOR, AND) y conversiones de dominios mixtos (B2A/A2B) para combinar resultados aritméticos y booleanos.
• Comuertas Compatibles con la Especificación: Para operaciones que no pueden ser puramente polinómicas (por ejemplo, truncamiento, desplazamientos aritméticos a la derecha), el compilador añade un circuito de post-procesamiento determinista $\Phi$ que toma la salida polinómica y las constantes derivadas de la máscara para producir el resultado final.

4. Seguridad y Fuga de Información

FuseFSS se adhiere a la semántica de cables enmascarados (masked-wire semantics), asegurando una máscara fresca e independiente por cada cable. Crucialmente, el compilador impone formas públicas independientes de la máscara. El número de comparaciones, el ancho de bits y las dimensiones de búsqueda de intervalos dependen únicamente de la especificación del operador público y los metadatos de punto fijo, no de las máscaras muestreadas. Esto evita la fuga de información secreta a través de los tamaños de las claves o las formas de las instancias. El modelo de seguridad asume un adversario semi-honesto en un entorno de preprocesamiento de dos servidores.

Contribuciones Clave

1. Rendimiento de Vanguardia: FuseFSS logra el mejor rendimiento reportado para la inferencia segura basada en FSS en modelos de tipo BERT y GPT, mejorando la latencia y reduciendo los costos de preprocesamiento mientras mantiene la precisión del modelo.
2. Objetivo de Compilador Práctico: Demuestra que una amplia gama de operadores escalares de punto fijo puede unificarse bajo un único formato de especificación, ejecutándose mediante dos llamadas estándar a FSS más un post-procesamiento uniforme, eliminando la necesidad de un diseño de protocolo bespoke.
3. Compilación Consciente de Máscaras con Seguridad: El sistema deriva evaluaciones de predicado correctas a partir de entradas públicas enmascaradas mientras impone la invarianza de forma, permitiendo una prueba de corrección unificada y de seguridad semi-honesta a través de diferentes operadores.

Resultados Experimentales

Los autores evaluaron FuseFSS contra Sigma, la actual base de comparación de vanguardia basada en FSS, en modelos de tipo BERT y GPT (incluyendo BERT-tiny/base/large, GPT-2 y GPT-Neo) con longitud de secuencia 128 y tamaño de lote 1.

• Aceleración de Extremo a Extremo: FuseFSS logra una aceleración de 1.24×–1.50× en la latencia de tiempo en línea. Por ejemplo, el tiempo de inferencia de BERT-base-128 cayó de 1613.80 ms (Sigma) a 1149.50 ms (FuseFSS), una reducción del 28.8%.
• Reducción de Comunicación: La comunicación en línea se reduce entre un 9% y un 16%.
• Eficiencia de Preprocesamiento:
  • Tiempo de Generación de Claves: Reducido en un 14%–23%.
  • Tamaño de la Clave: Reducido en un 20%–24%.
• Escalabilidad: La aceleración se mantiene constante (1.36×–1.45×) a medida que la longitud de la secuencia aumenta de 32 a 512.
• Atribución: Las ganancias son impulsadas principalmente por la aceleración de los bloques no lineales escalares y auxiliares (por ejemplo, GELU, componentes de Softmax), que representan la mayor parte de la latencia en la base de comparación. Por ejemplo, la ruta compilada para Softmax (nExp + recíproco) experimentó una aceleración de 4.5×–4.7×.

Significado y Reivindicaciones

El artículo afirma que FuseFSS aborda el principal cuello de botella en la inferencia segura de dos servidores: la complejidad de ingeniería y la sobrecarga de rendimiento de las no linealidades de punto fijo. Al pasar de protocolos bespoke por operador a un flujo de compilación uniforme, FuseFSS simplifica el diseño del sistema, mejora las garantías de corrección y reduce significativamente tanto los costos en línea como los fuera de línea (offline).

Los autores posicionan a FuseFSS como una solución práctica para el despliegue de la inferencia de LLM preservando la privacidad en entornos que requieren una fuerte confidencialidad para los prompts y los embeddings (por ejemplo, salud, finanzas). Expresan explícitamente que su trabajo se centra en las no linealidades escalares; las operaciones a nivel de vector (como reducciones o la dispersión de la atención) permanecen fuera de la IR de la especificación del operador y se manejan mediante subprotocolos MPC estándar. El análisis de seguridad se limita al modelo semi-honesto con dos servidores que no coluden, reconociendo que extender esto a modelos adversarios más fuertes es una dirección futura.