TT-SEAL: TTD-Aware Selective Encryption for Adversarially-Robust and Low-Latency Edge AI

Resumen Técnico: TT-SEAL

1. Planteamiento del Problema

La inteligencia artificial colaborativa en la nube y el borde (Cloud-Edge AI) enfrenta un dilema crítico entre la eficiencia y la seguridad:

• Limitaciones del Borde: Los dispositivos de borde tienen presupuestos estrictos de almacenamiento, cómputo y energía. Para mitigar esto, se utiliza la Descomposición Tensor-Train (TTD), que comprime modelos de redes neuronales profundas (DNN) reduciendo drásticamente el número de parámetros al descomponer tensores de alto orden en una secuencia de núcleos (cores) de baja dimensión.
• Amenazas de Seguridad: La implementación distribuida expone los parámetros del modelo en la memoria DRAM externa y en los buses de comunicación, haciéndolos vulnerables a ataques físicos y de ingeniería inversa. Específicamente, los modelos comprimidos siguen siendo vulnerables a ataques adversarios basados en transferencia, donde un atacante entrena un modelo sustituto para generar ejemplos adversarios que engañan al modelo original.
• Fallo de los Métodos Existentes: Las técnicas de cifrado selectivo anteriores asumen representaciones de pesos densos. En redes densas, la redundancia permite cifrar solo una parte de los parámetros (ej. 50%) manteniendo la robustez. Sin embargo, en modelos TTD, la redundancia se elimina durante la compresión; por lo tanto, dejar incluso una pequeña fracción de los parámetros sin cifrar puede exponer la estructura crítica del modelo, haciendo que los métodos de cifrado selectivo tradicionales sean ineficaces o requieran cifrar casi todo el modelo (perdiendo la ventaja de eficiencia).

2. Metodología Propuesta: TT-SEAL

El authors presentan TT-SEAL, el primer marco de cifrado selectivo diseñado específicamente para redes neuronales comprimidas con TTD. El enfoque se basa en tres componentes principales:

• Métrica de Importancia por Núcleo ($I_{acc}$):

  • En lugar de cifrar aleatoriamente o basándose en la magnitud de los pesos, TT-SEAL evalúa la sensibilidad de cada núcleo TT ($G_{l,k}$) respecto a la pérdida del modelo y la salida.
  • La métrica combina las normas de los gradientes de la pérdida ($\partial L / \partial G$) y la salida del modelo ($\partial y / \partial G$).
  • Se utiliza un truco de tipo Hutchinson para estimar eficientemente la norma jacobiana de la salida, normalizando los valores por capa para garantizar invariancia de escala.

• Calibración de Umbral Basada en Datos ($I_{acc\_th}$):

  • Se define un objetivo de robustez: la precisión del modelo sustituto no debe superar la del modelo completamente cifrado (caja negra) en más de un margen $\delta$ (ej. 3%).
  • Mediante una búsqueda binaria sobre los núcleos ordenados por su métrica de importancia, se calibra un umbral único que determina cuántos núcleos deben cifrarse para alcanzar este objetivo de robustez.

• Optimización de Selección Mínima (Value-DP):

  • Dado que los núcleos tienen tamaños diferentes, el objetivo es minimizar el costo total de cifrado (número de parámetros) sujeto a cumplir el umbral de importancia.
  • Esto se formula como un problema de la mochila 0-1 (Knapsack problem), donde el "costo" es el tamaño del núcleo y el "valor" es su métrica de importancia.
  • Se utiliza un algoritmo de Programación Dinámica (Value-DP) para encontrar el conjunto mínimo de núcleos que, al cifrarse, garantizan la robustez deseada con el menor overhead de decodificación.

3. Contribuciones Clave

1. Primer marco TTD-Aware: TT-SEAL es la primera solución que adapta el cifrado selectivo a la estructura específica de los tensores descompuestos, reconociendo que la información en TTD está concentrada y no redundante.
2. Métrica de Sensibilidad y Optimización: Introduce una métrica de importancia basada en gradientes y un procedimiento de optimización (Value-DP) para seleccionar el conjunto mínimo de parámetros críticos.
3. Validación en Hardware Real: El sistema se implementó y validó en un procesador de IA de borde prototipado en FPGA (basado en RISC-V), demostrando viabilidad en entornos con restricciones reales de latencia y energía.

4. Resultados Experimentales

Los experimentos se realizaron en modelos ResNet-18, MobileNetV2 y VGG-16 comprimidos con TTD, utilizando el conjunto de datos CIFAR-10 y ataques adversarios de transferencia (FGSM, PGD, MI-FGSM, etc.).

• Robustez Adversarial:

  • TT-SEAL logra una robustez comparable a la del cifrado completo (caja negra).
  • Mientras que los modelos sin cifrado o con cifrado parcial inadecuado sufren tasas de transferencia de ataques superiores al 90%, TT-SEAL reduce estas tasas al nivel de la caja negra.
  • La protección es efectiva incluso bajo perturbaciones fuertes ($\epsilon = 16/255$) y diversos generadores de ejemplos adversarios.

• Eficiencia y Overhead:

  • Porcentaje de Parámetros Cifrados: TT-SEAL logra la máxima seguridad cifrando solo una fracción mínima de los parámetros:
    • ResNet-18: 4.89%
    • VGG-16: 6.46%
    • MobileNetV2: 15.92% (debido a su estructura más fragmentada).
  • Latencia de Decodificación: El impacto en la inferencia de extremo a extremo es drásticamente reducido. La proporción de tiempo dedicada a la decodificación AES cae de cifras de dos dígitos a dígitos bajos:
    • ResNet-18: De 58% a 2.76%.
    • MobileNetV2: De 41.8% a 6.15%.
    • VGG-16: De 39% a 2.42%.

5. Significado e Impacto

El trabajo demuestra que es posible lograr simultáneamente compresión de modelos y seguridad robusta en dispositivos de borde sin sacrificar la latencia.

• Viabilidad del Edge AI Seguro: TT-SEAL resuelve el cuello de botella de la latencia que impedía el cifrado completo en el borde, permitiendo la implementación práctica de modelos comprimidos y seguros.
• Eficiencia de Recursos: Al cifrar solo los núcleos críticos identificados por la métrica de sensibilidad, se minimiza el consumo de energía y el tiempo de cómputo, manteniendo la integridad del modelo frente a ataques de ingeniería inversa y adversarios.
• Generalización: La metodología no depende del tamaño de la red, sino de la estructura de los tensores, lo que la hace aplicable a diversas arquitecturas de redes neuronales comprimidas.

En conclusión, TT-SEAL establece un nuevo estándar para la seguridad en la IA de borde, demostrando que la protección selectiva inteligente puede ofrecer la misma seguridad que el cifrado total con una fracción del costo computacional.