Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

Resumen Técnico: Reemplazo Cuadrático Consciente de la Decisión para ReLU en Inferencia Compatible con HE

Planteamiento del Problema
El Cifrado Homomórfico Total (FHE) permite la inferencia de redes neuronales que preserva la privacidad al permitir cálculos sobre datos cifrados sin necesidad de descifrarlos. Sin embargo, el FHE soporta nativamente únicamente sumas y multiplicaciones, lo que hace que las funciones de activación no lineales como ReLU ($\max\{0, u\}$) sean computacionalmente costosas. Los enfoques existentes basados únicamente en FHE suelen reemplazar ReLU con polinomios de alto grado (por ejemplo, aproximaciones de Remez o Chebyshev) ajustados sobre intervalos de activación empíricos. Aunque estos métodos evitan las comparaciones, a menudo requieren polinomios de alto grado para controlar el error de aproximación, lo que conduce a un aumento en la profundidad multiplicativa, operaciones de reescalado y latencia. Además, estos métodos optimizan la fidelidad de la aproximación puntual local en lugar del objetivo global de clasificación: preservar el ordenamiento final de los logits top-1.

Metodología
Los autores proponen un marco consciente de la decisión que reemplaza ReLU con un polinomio cuadrático compartido de bajo grado ($q(u) = \alpha u^2 + \beta u + \eta$) sin reentrenar el modelo. La idea central es que, para una Red Neuronal Multicapa (MLP) con una sola capa oculta entrenada con ReLU o una cabeza MLP sobre características congeladas, la decisión final depende del ordenamiento de los logits. Por lo tanto, el polinomio de reemplazo no necesita aproximar ReLU punto a punto; solo necesita preservar el ordenamiento relativo de las puntuaciones finales en un conjunto de calibración declarado.

La metodología procede en dos fases:

1. Construcción Offline de Coeficientes: Dado un modelo entrenado y un conjunto de calibración, los autores formulan la búsqueda de los coeficientes $(\alpha, \beta, \eta)$ como un problema de factibilidad geométrica.
   • Caso Binario: El problema se reduce a encontrar un separador hiperplano con margen positivo entre dos envolventes convexas elevadas en un espacio 2D definido por las estadísticas $Q(x) = \sum a_j y_j(x)^2$ y $H(x) = \sum a_j y_j(x) + b$. Si las envolventes son disjuntas, es posible un reemplazo exacto sin pérdida de calibración. Los coeficientes óptimos se derivan del par de puntos más cercano entre las envolventes.
   • Caso Multiclase: La condición se convierte en la factibilidad estricta de desigualdades de margen de logits afines por pares.
   • Relajaciones: Cuando la separación exacta falla (debido a muestras mal clasificadas o márgenes pequeños), los autores emplean Envolturas Convexas Reducidas (RCH) y relajaciones de margen blando duales de Lagrange. Estas técnicas limitan la influencia de muestras individuales (mediante un parámetro $\mu$) o introducen variables de holgura, convirtiendo el problema en programas cuadráticos convexos (QPs) que producen coeficientes aproximadamente factibles con un alto acuerdo empírico.
2. Inferencia Online: El servidor evalúa el circuito aritmético polinomializado resultante sobre entradas cifradas. El reemplazo cuadrático requiere únicamente una multiplicación de texto cifrado con texto cifrado por activación, reduciendo significativamente la profundidad multiplicativa en comparación con alternativas de mayor grado.

Contribuciones Clave

• Formulación Consciente de la Decisión: El artículo cambia el objetivo de minimizar el error de activación local a maximizar el acuerdo en el ordenamiento de los logits del conjunto de calibración. Esto permite el uso de un polinomio de grado 2 incluso si es una aproximación puntual pobre de ReLU, siempre que preserve las decisiones de clasificación finales.
• Teoría Exacta de Muestra Finita: Para clasificadores binarios, los autores establecen condiciones necesarias y suficientes para un reemplazo sin pérdida de calibración basadas en la separabilidad con margen positivo de las envolventes convexas elevadas. Esto proporciona un algoritmo constructivo con complejidad $O(n \log n)$ para encontrar coeficientes y un certificado para la tolerancia de cuantización.
• Relajaciones Geométricas: Para casos donde la separación exacta es imposible, el artículo introduce RCH y relajaciones de margen blando que extienden continuamente la teoría exacta. Estos métodos proporcionan sustitutos prácticos con diagnósticos explícitos (márgenes, holguras, tasas de acuerdo) en lugar de afirmar una preservación exacta donde no puede certificarse.
• Implementación y Validación: Los autores implementaron la tubería en la biblioteca de código abierto QUAD4FHE. Validaron el enfoque en diversos conjuntos de datos (tabulares, visión, texto) utilizando tanto características crudas como representaciones congeladas (DINOv2, Qwen3).

Resultados

• Precisión: Bajo el esquema CKKS, el reemplazo cuadrático iguala la precisión top-1 en texto plano del modelo original con ReLU en múltiples puntos de referencia (por ejemplo, Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). En muchas tareas multiclase, supera o iguala a líneas base fuertes como OLA y Aproximación Precisa, a pesar de utilizar un polinomio de menor grado.
• Eficiencia: El reemplazo cuadrático se ejecuta 3.7–4.1 veces más rápido en el módulo de activación y 1.18–1.68 veces más rápido de extremo a extremo en comparación con Remez-7 (una línea base de alto grado). Esto se logra porque el circuito de grado 2 cabe dentro de una profundidad multiplicativa más superficial (profundidad 4 frente a profundidad 5 para Remez-7), lo que permite una cadena de coeficiente-módulo más eficiente y reduce la sobrecarga de reescalado.
• Robustez: El método sigue siendo efectivo incluso cuando el conjunto de calibración es pequeño (tan poco como el 1–5% del conjunto de datos) y maneja extractores de características congelados de manera efectiva.

Significado y Afirmaciones
El artículo afirma que, al replantear el reemplazo de ReLU como un problema de preservación de decisiones en lugar de un problema de aproximación de funciones, es posible lograr una inferencia FHE de alta precisión con una sobrecarga computacional mínima. El significado radica en demostrar que un polinomio de grado 2 es suficiente para una inferencia cifrada de alta fidelidad cuando se elige mediante un marco geométrico consciente de la decisión, evitando así las penalizaciones de latencia asociadas con polinomios de mayor grado. Los autores enfatizan que sus garantías están limitadas al conjunto de calibración declarado y no proporcionan garantías libres de distribución para entradas no vistas, pero los resultados empíricos muestran una fuerte generalización a los conjuntos de prueba. El trabajo proporciona un camino matemáticamente transparente para optimizar la compensación entre precisión y latencia en la inferencia neuronal basada únicamente en FHE.