Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)

Este trabajo presenta un nuevo método de codificación matricial que permite realizar inferencias de redes neuronales convolucionales sobre datos cifrados mediante cifrado homomórfico, logrando clasificar imágenes de MNIST en la nube pública con un solo cifrado de entrada y un tiempo de procesamiento de aproximadamente 287 segundos.

Lo esencial

¡Hola! Imagina que tienes una receta secreta de cocina (tu modelo de Inteligencia Artificial) y un cliente que quiere que cocines para él, pero el cliente no quiere que tú veas sus ingredientes (sus datos privados), y tú no quieres que el cliente sepa tu receta secreta.

Normalmente, para cocinar juntos, tendrías que confiar ciegamente en el cliente o viceversa. Pero en el mundo de la ciberseguridad, existe una magia llamada Criptografía Homomórfica. Es como tener una caja de cristal mágica: puedes meter ingredientes dentro, cocinarlos (hacer cálculos) sin abrir la caja, y sacar el plato listo, todo sin que nadie (ni el chef, ni el cliente) vea lo que hay dentro mientras se cocina.

El problema es que esta "magia" suele ser muy lenta y torpe. Hacer una operación matemática simple dentro de la caja mágica puede tardar horas.

Aquí es donde entra el trabajo de John Chiang con su método llamado "Volley Revolver" (que podríamos traducir como "Revólver de Salva").

1. El Problema: Cocinar una a una

Imagina que tienes que cocinar 32 platos diferentes (32 imágenes) para un cliente.

• El método antiguo: Metes un ingrediente en la caja mágica, lo cocinas, lo sacas, metes el siguiente... ¡Es como si tuvieras que abrir y cerrar la caja 32 veces! Es lento y aburrido.
• El método Volley Revolver: Chiang dice: "¡Espera! ¿Por qué no metemos los 32 ingredientes en la caja al mismo tiempo y los cocinamos juntos?".

2. La Analogía del Revólver (La Magia de la Multiplicación)

Para entender cómo funciona, imagina un revólver con varios cilindros.

• La Matriz A (Tus datos): Imagina que tienes una fila de balas (tus datos de entrada) en el tambor del revólver.
• La Matriz B (La Receta/Modelo): Ahora imagina que la receta está en otro tambor, pero está "doblada" de una forma especial.

El truco de Volley Revolver es girar el tambor de la receta (la Matriz B) de una manera muy inteligente, como si fuera un revólver disparando una salva de balas.

• En lugar de disparar una bala a la vez, el revólver gira y dispara todas las balas necesarias para calcular el resultado de las 32 imágenes al mismo tiempo.
• Es como si tuvieras un equipo de 32 chefs trabajando en una sola mesa gigante, pero todos están dentro de la misma caja de cristal mágica.

3. El Truco de la "Convención" (Las Imágenes)

En las redes neuronales, hay una operación llamada "convolución" (es como pasar un filtro sobre una foto para encontrar bordes o formas).

• Antes: Tenías que pasar el filtro sobre la foto, luego moverlo un poco, pasar el filtro de nuevo, moverlo... y repetir esto miles de veces. Era como intentar pintar un cuadro moviendo un pincel de un solo punto a la vez.
• Con Volley Revolver: Chiang inventó una forma de "estirar" el filtro (el kernel) para que cubra toda la imagen de golpe. Luego, usa un truco matemático (llamado SumForConv) que es como tener una máquina de sumar automática.
  • Imagina que en lugar de sumar número por número, tienes una calculadora que suma toda una fila de números en un solo "clic".
  • El sistema hace esto con todas las 32 imágenes a la vez, ahorrando muchísimo tiempo.

4. El Resultado: Velocidad y Privacidad

El autor probó su sistema en una nube pública (como un servidor gigante de Amazon o Google) con 40 procesadores.

• Lo que hizo: Tomó 32 imágenes de dígitos escritos a mano (como los que usamos para aprender a leer números), las metió en la caja mágica (cifrado), y las procesó.
• El tiempo: Tardó unos 287 segundos (menos de 5 minutos) para procesar esas 32 imágenes y decirte qué números eran.
• La ventaja: El dueño de los datos solo tuvo que subir un solo archivo (un poco más grande que una foto de alta calidad) a la nube. La nube no vio ni una sola imagen, ni supo qué números eran, pero pudo dar la respuesta correcta.

En Resumen

Volley Revolver es como un nuevo tipo de cuchillo de chef para la criptografía.

• Antes, tenías que cortar una manzana (dato) a trocitos muy pequeños y lentos.
• Ahora, con este método, puedes cortar 32 manzanas a la vez con un solo movimiento de cuchillo, todo mientras las manzanas están dentro de una caja de seguridad indestructible.

Esto significa que en el futuro, podrías subir tus fotos médicas, tus datos bancarios o tus documentos privados a la nube para que una Inteligencia Artificial los analice, sin que la nube sepa nada de tu vida privada, y todo esto ocurriendo en un tiempo razonable. ¡Es privacidad a toda velocidad!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)" en español:

1. El Problema

La inferencia de redes neuronales convolucionales (CNN) sobre datos sensibles (como imágenes médicas o financieras) requiere preservar la privacidad. Aunque la Cifrado Homomórfico (HE) permite realizar cálculos sobre datos cifrados sin descifrarlos, su aplicación práctica en CNNs enfrenta dos desafíos principales:

• Ineficiencia Computacional: Las operaciones de convolución y multiplicación de matrices sobre datos cifrados son extremadamente costosas en términos de tiempo y profundidad de circuito.
• Limitaciones de Codificación: Los métodos existentes a menudo requieren múltiples cifrados para representar un solo lote de imágenes o no aprovechan eficientemente la capacidad de empaquetado SIMD (Single Instruction, Multiple Data) de las bibliotecas HE modernas (como HEAAN/CKKS), lo que genera un desperdicio de "ranuras" (slots) y aumenta la latencia.

2. Metodología Propuesta: Volley Revolver

El artículo introduce Volley Revolver, un nuevo esquema de codificación basado en matrices diseñado específicamente para la multiplicación de matrices y la convolución en entornos cifrados.

A. Codificación de Matrices para Multiplicación Homomórfica

El núcleo de Volley Revolver es una estrategia de codificación única para multiplicar dos matrices $A$ ($m \times n$) y $B$ ($n \times p$):

• Matriz A: Se codifica directamente en un solo cifrado siguiendo un mapeo estándar.
• Matriz B (Transpuesta): Se transpone y se "baldosa" (tiling) verticalmente para crear una matriz de tamaño $m \times n$.
• Mecanismo "Revolver": El algoritmo utiliza una operación llamada RowShifter que rota las filas de la matriz codificada de $B$ de manera similar a un tambor de revólver. En cada iteración, se realiza una multiplicación homomórfica entre $A$ y la versión rotada de $B$, seguida de una suma de columnas (SumColVec).
• Ventaja: Este enfoque permite calcular el producto de matrices de formas arbitrarias de manera eficiente, minimizando la profundidad multiplicativa a cambio de un mayor número de rotaciones (que son operaciones de bajo costo en términos de profundidad de circuito).

B. Operación de Convolución y "Cifrados Virtuales"

Para manejar convoluciones en imágenes cifradas:

• Kernelspanner: Los kernels de convolución se expanden previamente en múltiples cifrados que representan patrones periódicos del kernel sobre el espacio de la imagen.
• Simulación de Cifrados Virtuales: El método trata un único cifrado grande que contiene un conjunto de datos como una estructura tridimensional. Dentro de este cifrado real, se simulan múltiples "cifrados virtuales" (uno por imagen en el lote).
• Operaciones Virtuales: Se definen operaciones virtuales (vAdd, vMul, vRot) que actúan sobre estas imágenes simuladas dentro del mismo cifrado. Esto permite realizar convoluciones en múltiples imágenes simultáneamente (paralelismo a nivel de lote) sin necesidad de múltiples cifrados externos.
• SumForConv: Se introduce un algoritmo específico para sumar los resultados parciales de la convolución (desplazamientos de filas y columnas) y filtrar los valores "basura" resultantes, manteniendo la eficiencia $O(k)$ en lugar de $O(k^2)$.

3. Contribuciones Clave

1. Nuevo Esquema de Codificación: Presentación de Volley Revolver, un método que permite la multiplicación de matrices de formas arbitrarias de manera eficiente en HE, superando las limitaciones de los esquemas de empaquetado anteriores.
2. Estrategia de Evaluación de Convolución: Desarrollo de un algoritmo homomórfico viable para sumar resultados intermedios de convoluciones, utilizando la expansión de kernels y la acumulación de resultados parciales.
3. Perspectiva de Estructura 3D: Introducción de operaciones simuladas que permiten visualizar y procesar un conjunto de datos cifrado como una estructura tridimensional (lote $\times$ altura $\times$ ancho), facilitando el procesamiento paralelo de múltiples imágenes dentro de un solo cifrado.

4. Resultados Experimentales

El equipo implementó el método en una CNN para la clasificación de dígitos manuscritos (MNIST) utilizando la biblioteca HEAAN (CKKS).

• Configuración: Se procesaron 32 imágenes de 28x28 píxeles simultáneamente en un solo cifrado.
• Rendimiento: En un servidor en la nube con 40 vCPUs, el tiempo total para calcular las 10 probabilidades (clases) para las 32 imágenes fue de aproximadamente 287 segundos.
• Comunicación:
  • El propietario de los datos solo necesita subir un único cifrado de ~19.8 MB (que contiene las 32 imágenes).
  • El proveedor del modelo envía los parámetros cifrados (aprox. 1 GB).
• Precisión: El modelo alcanzó una precisión de clasificación del 98.61%, muy cercano al modelo en texto plano (98.66%), demostrando que la aproximación polinómica de la función ReLU y la precisión numérica reducida no degradan significativamente el rendimiento.
• Comparación con la Línea Base:
  • Eficiencia de Empaquetado: Volley Revolver logra una utilización de ranuras (slots) del 76.56% (o 100% si se redimensionan las imágenes a 32x32), mientras que métodos anteriores requerían decenas de cifrados para el mismo lote.
  • Escalabilidad: El enfoque es altamente paralelizable. Aunque el tiempo de inferencia es mayor que en sistemas no cifrados, la arquitectura permite escalar horizontalmente con más recursos de CPU.

5. Significado e Impacto

• Privacidad en la Nube: El método permite a los propietarios de datos subir información sensible cifrada a la nube para inferencia sin revelar los datos crudos ni el modelo, manteniendo la confidencialidad bajo un modelo de amenaza semi-honesta.
• Optimización de Recursos: Al priorizar las rotaciones (que no consumen profundidad multiplicativa) sobre las multiplicaciones complejas, el método retrasa la necesidad de operaciones costosas de "bootstrapping" (refresco de cifrado), lo que es crucial para redes profundas.
• Arquitectura Nativa de Tensores: A diferencia de trabajos anteriores que aplanan los tensores a 1D o 2D, Volley Revolver preserva la estructura intrínseca de los datos (lote, canales, altura, ancho), lo que lo hace más compatible con arquitecturas de Deep Learning modernas y complejas.
• Viabilidad Práctica: Demuestra que la inferencia de CNNs en datos cifrados es factible para lotes de tamaño moderado con tiempos de respuesta aceptables en hardware de nube estándar, abriendo la puerta a aplicaciones reales en sectores regulados como la salud y las finanzas.

En resumen, Volley Revolver representa un avance significativo en la eficiencia de la inferencia de redes neuronales homomórficas, resolviendo cuellos de botella en la codificación de matrices y convoluciones, y ofreciendo un equilibrio práctico entre seguridad, precisión y rendimiento computacional.