🤖 machine learning

Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks

Este trabajo presenta algoritmos optimizados y una arquitectura de pipeline para el procesamiento por lotes de redes neuronales con cifrado homomórfico, logrando mejoras significativas en la latencia y la eficiencia de memoria para la inferencia de alto rendimiento sobre datos sensibles.

Autores originales: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como la historia de cómo logramos enviar un paquete de cartas secretas a través de un país lleno de espías, pero sin que nadie (ni siquiera el cartero) pueda leer lo que hay dentro, y además, hacerlo más rápido y barato que nunca antes.

Aquí tienes la explicación sencilla, usando analogías cotidianas:

1. El Problema: El "Cartero Espía" y las Cartas Secretas

Imagina que tienes una inteligencia artificial (una máquina muy lista) que puede diagnosticar enfermedades o detectar fraudes bancarios. Pero los datos (las radiografías o los movimientos bancarios) son super secretos. No puedes enviarlos "en claro" porque alguien podría robarlos.

La solución mágica es la Criptografía Homomórfica (HE). Es como tener un buzón de cristal indestructible. Puedes meter las cartas dentro, el cartero (el servidor) puede hacer cálculos sobre ellas (como sumar o multiplicar) sin abrirlas, y te devuelve el resultado todavía dentro del buzón. Solo tú tienes la llave para abrirlo al final.

El problema: Hasta ahora, hacer esto era como enviar las cartas una por una. Si tenías 500 pacientes, el cartero tenía que procesar 500 veces el mismo camino. Era lento y agotador. Además, el buzón de cristal era tan grande y pesado que necesitabas un camión gigante (mucho memoria RAM) para moverlo.

2. La Solución: El "Autobús de Cartas" (Procesamiento por Lotes)

Los autores de este paper dijeron: "¡Esperen! ¿Por qué no metemos 500 cartas en un solo autobús gigante y las llevamos de una sola vez?".

A esto le llaman procesamiento por lotes (batch processing). En lugar de enviar una carta a la vez, enviamos un grupo completo.

La analogía: Imagina que en lugar de que 500 personas crucen un puente solitario una por una (lento), construimos un puente ancho donde todas cruzan juntas.

3. Los Trucos de Magia (Cómo lo hicieron eficiente)

Para que este "autobús" no se rompa y sea rápido, usaron tres trucos inteligentes:

Truco 1: El "Empaquetado Inteligente" (Ciphertext Packing)
Imagina que tienes una caja de huevos (el cifrado). Antes, solo ponías un huevo por caja. Ahora, aprendieron a poner huevos de diferentes personas en la misma caja, ordenados perfectamente para que la máquina pueda cocinarlos todos a la vez sin que se mezclen. Esto ahorra muchísimo espacio.
Truco 2: El "Túnel de Tráfico" (Pipeline Optimizado)
A veces, cuando las cartas pasan por el puente, se hacen huecos vacíos. Imagina que el autobús se detiene porque hay espacio vacío. Ellos diseñaron un sistema donde, en cuanto se hace un hueco, rellenan ese espacio inmediatamente con más cartas que vienen detrás. Así, el autobús nunca se detiene y siempre va a máxima velocidad.
Truco 3: El "Equipo de Múltiples Manos" (Multihilo)
En lugar de tener a un solo trabajador cargando las cajas, contrataron a 32 trabajadores (los núcleos de la CPU) que trabajan al mismo tiempo. Como cada caja es independiente, nadie choca con el otro y todo se mueve mucho más rápido.

4. Los Resultados: ¡Más rápido y más barato!

Antes, para procesar 512 imágenes secretas, el sistema más avanzado del mundo (el "camión gigante" de otros investigadores) tardaba casi 16 segundos por imagen y necesitaba un camión de 370 GB de memoria (¡como tener 370 libros de teléfono en la memoria!).

Lo que lograron ellos:

Velocidad: Ahora tardan solo 8.86 segundos por imagen. ¡Casi el doble de rápido!
Memoria: Solo necesitan 98 GB de memoria. ¡Es como si hubieran reducido el camión gigante a una furgoneta mediana!
Hardware: Lo hicieron en un servidor normal y corriente (como los que usan las empresas medianas), no en una supercomputadora de millones de dólares.

5. ¿Por qué es importante esto?

Antes, esta tecnología de "cálculos secretos" era un juguete de laboratorio que solo funcionaba para una persona a la vez. Con este trabajo, ahora es práctico para el mundo real.

Para un hospital: Podrían analizar 500 radiografías de pacientes a la vez para detectar cáncer sin que el hospital tenga que revelar los datos de los pacientes al proveedor de la nube.
Para un banco: Podrían revisar miles de transacciones sospechosas al instante sin que los clientes sepan que están siendo revisados.

En resumen

Este paper es como inventar un sistema de transporte secreto que permite mover grandes cantidades de información privada de un lugar a otro, procesándola en el camino, pero haciéndolo tan rápido y con tan pocos recursos que finalmente podemos usarlo en la vida real para proteger nuestra privacidad.

¡Es un gran paso para que la inteligencia artificial sea segura para todos!

Título: Hacia un Entrenamiento Encriptado Profundo: Inferencia de Baja Latencia, Eficiencia de Memoria y Alto Rendimiento para Redes Neuronales que Preservan la Privacidad

1. El Problema

El Aprendizaje Automático que Preserva la Privacidad (PPML) es crucial para aplicaciones que manejan datos sensibles (médicos, financieros). La Criptografía Homomórfica (HE) permite realizar cálculos sobre datos encriptados sin descifrarlos, pero su adopción práctica se ve limitada por altos costos computacionales y de memoria.

Limitación actual: La mayoría de los trabajos anteriores se centran en el procesamiento de una sola imagen encriptada a la vez. Aunque existen marcos de trabajo avanzados para esto, el procesamiento por lotes (batch) de entradas encriptadas está muy rezagado.
Desafío: El procesamiento por lotes es esencial para escenarios de alto rendimiento (como diagnósticos médicos masivos o detección de fraude) y es un prerrequisito para el entrenamiento de redes neuronales profundas encriptadas.
Barreras: El procesamiento por lotes encriptado sufre de una complejidad extrema en el empaquetado de imágenes, un diseño de modelos complicado y, sobre todo, un consumo de memoria y tiempo de ejecución prohibitivo. El estado del arte (Cheon et al.) requería 370 GB de RAM y 15.76 segundos por imagen (amortizado) para un lote de 512 imágenes en una Red ResNet-20.

2. Metodología

Los autores proponen una arquitectura optimizada que combina algoritmos mejorados a nivel de capa y un diseño de pipeline de inferencia.

Representación de Entrada (Empaquetado CBC): Adoptan y extienden el método de empaquetado "Canal por Canal" (Channel-By-Channel). En lugar de procesar imágenes individualmente, los canales de múltiples imágenes se alinean en vectores SIMD (Single Instruction, Multiple Data) dentro de un solo texto cifrado. Esto permite operaciones paralelas sobre todo el lote.
Optimización de Capas Convolucionales:
- Desarrollan una estrategia de rotación optimizada que reduce las claves de rotación necesarias de $k^2$ (para un kernel $k \times k$ ) a solo 4 claves por capa, independientemente del tamaño del kernel.
- Eliminan las rotaciones intermedias costosas entre canales, aprovechando que la acumulación de canales en el empaquetado CBC se reduce a simples sumas homomórficas.
Capas Totalmente Conectadas (FC):
- Reformulan la multiplicación matriz-vector para el entorno encriptado utilizando rotaciones y sumas por ranuras (slots).
- Introducen una técnica de descomposición de rotaciones para reutilizar claves, minimizando el número de claves de rotación almacenadas y reduciendo la huella de memoria.
Pipeline Optimizado con Acumuladores:
- Las redes profundas (como ResNet) utilizan downsampling (reducción de dimensiones), lo que deja "huecos" o ranuras vacías en los textos cifrados.
- Proponen un Acumulador que fusiona múltiples textos cifrados intermedios en uno solo, rellenando estas ranuras vacías. Esto permite aumentar el tamaño del lote efectivo a medida que avanza la red, manteniendo el texto cifrado densamente empaquetado.
- Reutilización de Claves: Cargan y descargan dinámicamente las claves de rotación y bootstrapping según el grupo de bloques que se está procesando, reduciendo drásticamente el uso de memoria.
Paralelismo Multi-hilo: Descomponen las operaciones de convolución y capas FC en submódulos independientes que se ejecutan en paralelo en múltiples núcleos de CPU, eliminando dependencias de datos entre hilos.

3. Contribuciones Clave

Algoritmos Optimizados: Mejoran la eficiencia del empaquetado de textos cifrados, reducen las rotaciones innecesarias y simplifican las operaciones a nivel de capa para soportar inferencia por lotes a gran escala.
Arquitectura de Pipeline: Un diseño que mantiene las capas de la red activas continuamente mediante el uso de acumuladores, maximizando la utilización de recursos y permitiendo un control flexible del tamaño del lote.
Evaluación Exhaustiva: Implementación y evaluación de modelos ResNet-20 y ResNet-34 en los conjuntos de datos CIFAR-10 y CIFAR-100, respectivamente, probando tamaños de lote desde 16 hasta 512 imágenes.
Eficiencia en Hardware Realista: Logran estos resultados en un servidor de gama media (32 núcleos, 256 GB de RAM), evitando la dependencia de hardware de gama alta (1 TB de RAM) requerido por trabajos anteriores.

4. Resultados

La evaluación se realizó utilizando la librería OpenFHE y el marco FHEON con el esquema CKKS.

Rendimiento (ResNet-20, CIFAR-10, Lote 512):
- Tiempo de inferencia amortizado: 8.86 segundos por imagen.
- Mejora: 1.78 veces más rápido que el estado del arte (Cheon et al., 15.76 s).
- Memoria: 98.96 GB de RAM.
- Mejora de memoria: 3.74 veces menos memoria que el estado del arte (370.28 GB).
Rendimiento (ResNet-34, CIFAR-100, Lote 256):
- Tiempo de inferencia amortizado: 28.14 segundos por imagen.
- Memoria: 246.78 GB de RAM.
Precisión: Los modelos encriptados mantuvieron una precisión casi idéntica a los modelos en texto plano (92.2% vs 92.8% para ResNet-20), demostrando que las optimizaciones no degradan la calidad del modelo.
Escalabilidad: El tiempo de inferencia amortizado disminuye significativamente a medida que aumenta el tamaño del lote, demostrando la eficacia del pipeline para amortizar los costos fijos de la criptografía.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la viabilidad práctica de la inferencia de redes neuronales profundas encriptadas en entornos reales:

Accesibilidad: Reduce drásticamente los requisitos de hardware (memoria y CPU), haciendo que el PPML sea accesible para organizaciones sin infraestructuras de supercomputación masiva.
Viabilidad del Entrenamiento: Al resolver los cuellos de botella del procesamiento por lotes en inferencia, sienta las bases técnicas necesarias para el futuro entrenamiento de redes neuronales profundas encriptadas, un campo actualmente limitado por la ineficiencia de los métodos por lotes.
Equilibrio Latencia-Rendimiento: Demuestra que es posible lograr un alto rendimiento (alto throughput) sin sacrificar la latencia por imagen, resolviendo la tensión tradicional entre procesar muchos datos a la vez y hacerlo rápidamente.

En resumen, el artículo cierra la brecha entre la investigación teórica de la inferencia encriptada por lotes y su implementación práctica, ofreciendo una solución escalable, eficiente en memoria y de alto rendimiento para aplicaciones de privacidad crítica.