💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Este trabajo propone una aproximación polinómica de segundo grado basada en núcleos de la función de activación ReLU para permitir el despliegue de Modelos de Lenguaje Grande dentro de marcos de Cifrado Homomórfico, facilitando así la inferencia segura y que preserva la privacidad sin descifrado.

Autores originales: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Publicado 2026-05-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enviar un mensaje secreto a un amigo, pero no confías en el cartero. Así que, metes tu mensaje en una caja cerrada con llave (cifrado) y la envías. El problema es que tu amigo necesita leer el mensaje para hacer algo con él, pero no puede abrir la caja sin una llave, y si la abre, el secreto queda al descubierto.

El Cifrado Homomórfico (HE) es como una caja de seguridad mágica. Permite que tu amigo realice cálculos dentro de la caja cerrada sin abrirla nunca. Puede sumar números o multiplicarlos, y el resultado dentro de la caja sigue siendo correcto cuando finalmente la abren. Esto es un gran avance para la privacidad, especialmente para la Inteligencia Artificial (IA), porque significa que una empresa puede analizar tus datos privados (como tus registros de salud o chats personales) sin nunca ver los datos crudos en sí mismos.

Sin embargo, hay un truco. La caja de seguridad mágica solo entiende suma y multiplicación. No entiende "pensar" ni "tomar decisiones".

El Problema: La Puerta "ReLU"

Los modelos de Aprendizaje Profundo (los cerebros detrás de la IA moderna como los chatbots) dependen de un interruptor especial llamado ReLU (Unidad Lineal Rectificada). Imagina ReLU como un portero de un club:

Si un número es positivo (un VIP), el portero lo deja pasar.
Si un número es negativo (no es un VIP), el portero lo detiene por completo (lo convierte en cero).

Este comportamiento de "portero" es esencial para que la IA aprenda patrones complejos. Pero como el portero tiene que tomar una decisión de "detener o pasar", es una función no lineal y quebrada. La caja de seguridad mágica (HE) no puede manejar esta toma de decisiones quebrada porque solo le gusta la matemática suave y simple (sumar y multiplicar).

La Solución: Un "Falso" Portero Suave

Los autores de este artículo quisieron reemplazar al portero quebrado con un sustituto suave y educado que la caja de seguridad pueda entender, pero que actúe exactamente como el portero original.

Usaron una receta de dos pasos:

Paso 1: El Creador de "Batidos" (Aproximación de Kernel)
Primero, se dieron cuenta de que intentar aproximar al portero quebrado directamente es desordenado. Así que, usaron un método de "Kernel" (una herramienta matemática que suaviza las cosas) para convertir el ReLU quebrado en una colina suave y curva. Imagina tomar una roca quebrada y molerla hasta convertirla en un guijarro suave y redondo. Este guijarro aún se parece a la roca desde la distancia, pero es mucho más fácil de manejar.
Paso 2: El Truco Matemático Simple (Regresión Polinómica)
Ahora que tenían una colina suave, necesitaban describirla usando solo suma y multiplicación. Probaron diferentes niveles de complejidad:
- Grado bajo (Simple): Una curva simple (como una parábola).
- Grado alto (Complejo): Una curva muy ondulada y complicada con muchos giros.
La Sorpresa: Esperaban que las curvas complejas y onduladas fueran más precisas. En cambio, descubrieron que la curva simple de segundo grado (una forma de U simple) fue realmente la ganadora.
- ¿Por qué? Las curvas complejas eran demasiado "temblorosas". En el mundo de las matemáticas cifradas, añadir demasiados giros hace que se acumule "ruido" (estática), ahogando eventualmente la señal. Es como intentar susurrar un secreto a través de un túnel largo y sinuoso; si el túnel es demasiado retorcido, el sonido se pierde. La curva simple mantuvo el mensaje claro y las matemáticas rápidas.

Lo Que Probaron

Los investigadores no solo lo hicieron en papel. Probaron su "portero suave" en escenarios reales:

En Datos: Les alimentaron datos de texto reales de modelos de IA preentrenados (como RoBERTa y DistilBERT) para ver si podían imitar el comportamiento del portero original.
En Modelos de IA: Sustituyeron el ReLU real por su nuevo "portero suave" en diferentes tipos de cerebros de IA (redes simples, reconocedores de imágenes y Transformers complejos).
En la Caja de Seguridad: Ejecutaron todo dentro de la caja de seguridad de Cifrado Homomórfico para ver qué tan rápido era y qué tan precisos seguían siendo los resultados.

Los Resultados

Precisión: Su portero suave y simple fue casi tan bueno como el real y mucho mejor que otros intentos "suaves" encontrados en investigaciones anteriores.
Velocidad: Debido a que su solución era matemáticamente simple, fue increíblemente rápida. Otros métodos que intentaron usar curvas complejas de alto grado fueron hasta 100 veces más lentos al trabajar dentro de la caja de seguridad cifrada.
Privacidad: Demostraron con éxito que puedes ejecutar tareas complejas de IA sobre datos cifrados sin perder mucha precisión, siempre que uses el tipo correcto de matemáticas simples.

La Conclusión

Este artículo presenta una forma inteligente de hacer que la IA sea amigable con la privacidad. Al suavizar la función del "portero" y reemplazarla con una curva simple y de baja complejidad, permitieron que la IA trabajara dentro de una caja cerrada sin romper la cerradura ni ralentizar el proceso. Es un recordatorio de que, a veces, la solución más simple es la más poderosa.

Resumen Técnico: Aproximación de ReLU Basada en Núcleos para Modelos de Aprendizaje Profundo que Preservan la Privacidad y son Compatibles con Cifrado Homomórfico

1. Declaración del Problema

La adopción generalizada de Modelos de Lenguaje Grande (LLM) y Aprendizaje Profundo (DL) ha intensificado las preocupaciones sobre la privacidad, particularmente en lo que respecta al procesamiento de datos sensibles del usuario (por ejemplo, información de salud) en formas no cifradas. El Cifrado Homomórfico (HE), específicamente esquemas como CKKS, ofrece una solución al permitir cálculos sobre datos cifrados sin necesidad de descifrarlos. Sin embargo, HE está fundamentalmente limitado a operaciones de suma y multiplicación. Esto crea una incompatibilidad crítica con las arquitecturas estándar de DL, que dependen en gran medida de funciones de activación no lineales como la Unidad Lineal Rectificada (ReLU).

La función ReLU, definida como $ReLU(x) = \max(0, x)$ , no es suave (no es diferenciable en cero). Aproximar directamente dicha función no suave con polinomios de bajo grado —necesarios para minimizar la profundidad multiplicativa en HE— resulta en errores de aproximación significativos. Los métodos existentes, como la función $x^2$ o polinomios de Chebyshev de grado superior, ya sea que no logran capturar el comportamiento de anulación para entradas negativas o introducen costos computacionales prohibitivos e inestabilidad (por ejemplo, el fenómeno de Runge) cuando se despliegan en entornos cifrados.

2. Metodología

El artículo propone un método de Aproximación de ReLU Basada en Núcleos de dos etapas diseñado para generar un polinomio de segundo grado compatible con HE, que imita el comportamiento de ReLU con alta fidelidad y baja profundidad multiplicativa.

Suavizado mediante Regresión con Núcleos: Para abordar la no suavidad de ReLU, los autores transforman primero la función en una aproximación suave utilizando un método basado en núcleos. Específicamente, emplean el núcleo tangente hiperbólica ( $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ) entrenado sobre datos de entrada. Este paso aprovecha el principio de que las funciones más suaves pueden aproximarse con mayor precisión mediante polinomios, según lo respalda el Teorema de Jackson.
Ajuste Polinómico: La salida de la función de Núcleo entrenada se aproxima luego utilizando un polinomio de segundo grado ( $p(x) = a_0 + a_1x + a_2x^2$ ) mediante regresión de Mínimos Cuadrados Ordinarios (OLS).
Fuente de Datos: El método se entrena y evalúa directamente sobre incrustaciones de tokens extraídas de LLMs preentrenados (RoBERTa y DistilBERT) utilizando el conjunto de datos Stanford Sentiment Treebank (SST-2). Esto asegura que la aproximación se base en datos reales de Procesamiento del Lenguaje Natural (NLP) en lugar de distribuciones sintéticas.
Selección del Grado: Los autores evaluaron sistemáticamente los grados polinómicos del 2 al 5. Descubrieron que, aunque los grados superiores ofrecen teóricamente un mejor ajuste, introducen inestabilidad y tasas de error exponencialmente más altas en dominios cifrados debido al aumento de la profundidad multiplicativa y el crecimiento del ruido en el esquema CKKS. En consecuencia, se seleccionó el polinomio de segundo grado como el compromiso óptimo entre precisión y eficiencia computacional.

El polinomio final resultante es:
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. Contribuciones Clave

Una Estrategia de Aproximación Novel: La introducción de una técnica de suavizado basada en núcleos seguida de un ajuste polinómico de bajo grado, específicamente adaptado a las restricciones de HE.
Validación en el Mundo Real: A diferencia de trabajos anteriores que a menudo dependen de datos sintéticos o evaluación indirecta mediante precisión de clasificación, este método se entrena y evalúa sobre incrustaciones de tokens reales de LLMs preentrenados.
Comparativa Exhaustiva: El método propuesto se compara rigurosamente contra aproximaciones establecidas, incluyendo $x^2$ , FasterCryptoNets y polinomios de Chebyshev (grados 3 y 5), a través de múltiples dimensiones: error de aproximación (MSE), precisión del modelo (FeedForward, CNN, ViT) y costo computacional.

4. Resultados

La evaluación se llevó a cabo en seis escenarios experimentales, cubriendo tanto entornos de texto plano como cifrados (CKKS):

Precisión de Aproximación: El método de Polinomio de Núcleo logró el Error Cuadrático Medio (MSE) más bajo tanto en entornos de texto plano como cifrados (0.056862) en comparación con polinomios de grado superior, que exhibieron inestabilidad significativa (por ejemplo, MSE > 390 para grado 5). En pruebas con datos estructurados utilizando incrustaciones de RoBERTa y DistilBERT, el método propuesto mantuvo un MSE de 0.002, superando a $x^2$ y FasterCryptoNets.
Rendimiento del Modelo:
- Modelos de DL: En arquitecturas FeedForward y CNN en el conjunto de datos MNIST, el Polinomio de Núcleo alcanzó una precisión del 99% y del 99.2%, respectivamente, comparable o ligeramente inferior a la de FasterCryptoNets (99.3%), que fue el mejor rendimiento.
- Transformers: En la arquitectura ViT con CIFAR-10 y CIFAR-100, el método demostró una fuerte generalización, alcanzando una precisión del 38.5% en CIFAR-100 (la más alta entre los métodos probados), mientras que aproximaciones de grado superior como Chebyshev-5 mostraron un rendimiento inferior.
Rendimiento en Entorno Cifrado:
- Brecha de Precisión: El método propuesto exhibió la brecha de precisión más pequeña entre la ejecución en texto plano y cifrada (29.3%), superando a Chebyshev-3 (35.3%) y Chebyshev-5 (33.6%).
- Eficiencia Computacional: El polinomio de segundo grado ofreció una ventaja significativa en velocidad. El tiempo total del experimento para el Polinomio de Núcleo fue de 1,864 segundos, mientras que Chebyshev-5 requirió 11,348 segundos (un factor de ralentización de ~109x). El método mantuvo una baja profundidad multiplicativa, previniendo el rápido crecimiento del ruido asociado con polinomios de grado superior en CKKS.

5. Significado y Afirmaciones

El artículo afirma que el método propuesto de Polinomio de Núcleo representa una solución robusta y eficiente para la inferencia que preserva la privacidad en LLMs y modelos de DL. Su importancia radica en:

Cerrar la Brecha: Cierra eficazmente la brecha de rendimiento entre la ejecución cifrada y no cifrada, permitiendo el despliegue de modelos complejos como Transformers en configuraciones de NLP sensibles a la privacidad sin la degradación severa de la precisión observada en aproximaciones de grado superior.
Compromiso Óptimo: El estudio demuestra que, para funciones suaves basadas en núcleos, los polinomios de bajo grado (específicamente grado 2) pueden lograr errores de aproximación excepcionalmente bajos mientras mantienen una alta precisión de clasificación y menores costos computacionales. Esto desafía la suposición de que los polinomios de grado superior son inherentemente superiores para la aproximación en contextos de HE.
Viabilidad Práctica: Al minimizar la profundidad multiplicativa, el método reduce el "costo de la privacidad" (latencia y acumulación de ruido), convirtiéndolo en un candidato viable para aplicaciones de inferencia segura de alto rendimiento.

Los autores concluyen que, aunque el trabajo futuro podría explorar modelos híbridos adaptativos y aceleración por hardware, el método actual aborda con éxito el desafío crítico de integrar funciones de activación no lineales en pipelines de aprendizaje profundo compatibles con Cifrado Homomórfico.