TT-SEAL: TTD-Aware Selective Encryption for Adversarially-Robust and Low-Latency Edge AI

1. Il Problema

L'integrazione di intelligenza artificiale tra cloud e dispositivi edge (Cloud-Edge AI) richiede modelli neurali compressi per adattarsi ai vincoli di memoria, calcolo ed energia dei dispositivi periferici. Una tecnica promettente è la Decomposizione Tensor-Train (TTD), che riduce drasticamente il numero di parametri decomponendo i tensori di peso in una sequenza di "core" a bassa dimensionalità.

Tuttavia, questa compressione introduce nuove sfide di sicurezza:

• Vulnerabilità Fisica: I parametri, anche se compressi, risiedono nella DRAM esterna e vengono trasferiti su bus esteri, esponendoli ad attacchi fisici e reverse engineering.
• Inefficacia della Crittografia Completa: Crittografare tutti i parametri (crittografia "black-box") garantisce sicurezza ma introduce un overhead di latenza e consumo energetico proibitivo per l'inferenza in tempo reale sui dispositivi edge, poiché ogni inferenza richiederebbe una decrittazione pesante.
• Limiti della Crittografia Selettiva Esistente: Le tecniche di crittografia selettiva precedenti sono progettate per reti con pesi densi. Applicarle direttamente ai modelli TTD è inefficace perché la TTD rimuove la ridondanza: nei modelli TTD, anche una piccola frazione di parametri non crittografati può rivelare la struttura critica del modello, rendendo i modelli vulnerabili ad attacchi avversariali basati sul trasferimento (dove un attaccante addestra un modello sostituto per generare esempi avversariali che ingannano il modello originale).

2. Metodologia: TT-SEAL

Gli autori propongono TT-SEAL, il primo framework di crittografia selettiva specificamente progettato per le reti neurali compresse con TTD. L'obiettivo è crittografare solo il minimo insieme necessario di "core" TT per garantire la robustezza avversariale, minimizzando al contempo l'overhead di decrittazione.

Il framework si basa su tre componenti principali:

A. Metrica di Importanza per Core ($I_{acc}$)

Invece di crittografare casualmente o basandosi sulla norma L1 (come nei modelli densi), TT-SEAL valuta l'impatto di sicurezza di ogni singolo core TT.

• Viene definita una metrica di importanza che aggrega le sensitività del primo ordine rispetto alla perdita ($L$) e all'output del modello ($y$).
• La formula combina la norma di Frobenius del gradiente della perdita e del gradiente dell'output rispetto al core.
• Per stimare efficientemente la norma dello Jacobiano ($\|\partial y / \partial G\|_F$), viene utilizzata una tecnica di tipo Hutchinson (campionamento di vettori casuali), rendendo il calcolo fattibile senza un costo computazionale eccessivo.

B. Calibrazione della Soglia ($I_{acc\_th}$)

• Viene calibrata una soglia di robustezza basata sui dati. L'obiettivo è trovare il punto in cui la precisione del modello sostituto (addestrato dall'attaccante) non supera di più di una tolleranza $\delta$ (es. 3%) rispetto alla robustezza del modello completamente crittografato (baseline black-box).
• Questo processo avviene una sola volta per modello/dataset, ordinando i core per importanza crescente e identificando il prefisso minimo necessario per raggiungere la soglia di sicurezza desiderata.

C. Ottimizzazione per la Selezione Minima (Value-DP)

• Una volta stabilita la soglia di importanza, il problema diventa: selezionare il minimo insieme di core da crittografare che soddisfi la soglia di sicurezza totale, minimizzando il numero totale di parametri crittografati.
• Questo è formulato come un problema di Zaino 0-1 (Knapsack problem), dove il "costo" è la dimensione del core e il "valore" è la sua metrica di importanza.
• Viene utilizzato un algoritmo di Programmazione Dinamica basata sul Valore (Value-DP) per trovare la soluzione ottimale in modo efficiente, identificando il set minimo di core crittografati.

3. Contributi Chiave

1. Crittografia Selettiva Adattata alla TTD: TT-SEAL è il primo metodo che sfrutta la struttura specifica dei core TT per la sicurezza, superando i limiti delle tecniche pensate per pesi densi.
2. Metrica e Ottimizzazione a Livello di Core: Introduzione di una metrica di importanza sensibile alla sicurezza e di un algoritmo di ottimizzazione per selezionare il set minimo di parametri crittografati.
3. Validazione su Hardware Reale: Il sistema è stato implementato e testato su un processore AI edge basato su FPGA (prototipato con un core RISC-V Rocket), dimostrando la fattibilità pratica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10 con modelli ResNet-18, MobileNetV2 e VGG-16, utilizzando un modello di minaccia basato su attacchi di trasferimento (JBDA, FGSM, PGD, ecc.).

• Robustezza Avversariale: TT-SEAL raggiunge una robustezza contro gli attacchi di trasferimento paragonabile alla crittografia completa (Black-Box), anche con perturbazioni elevate ($\epsilon = 16/255$).
  • La crittografia selettiva al livello della soglia calibrata ($I_{acc\_th}$) riduce il tasso di trasferimento degli attacchi avversariali a livelli simili al Black-Box, con una differenza media di soli 0.2% rispetto alla crittografia totale.
• Efficienza dei Parametri:
  • È necessario crittografare solo una frazione minima dei parametri: 4.89% per ResNet-18, 6.46% per VGG-16 e 15.92% per MobileNetV2.
  • In confronto, le tecniche di crittografia selettiva per modelli densi richiederebbero spesso oltre il 50% dei parametri per ottenere risultati simili, ma fallirebbero sui modelli TTD.
• Riduzione della Latenza (Overhead di Decrittazione):
  • La parte di tempo di inferenza dedicata alla decrittazione AES è drasticamente ridotta.
  • Esempio su ResNet-18: la quota di decrittazione scende dal 58% (crittografia totale) al 2.76% (TT-SEAL).
  • Su MobileNetV2: dal 41.8% al 6.15%.
  • Su VGG-16: dal 39% al 2.42%.
  • Questo rende l'inferenza sicura e a bassa latenza fattibile su dispositivi edge.

5. Significato e Impatto

Il lavoro dimostra che compressione e sicurezza possono essere raggiunte congiuntamente senza compromessi significativi sulle prestazioni.

• Impatto sulla Sicurezza Edge: TT-SEAL risolve il dilemma tra la necessità di proteggere la proprietà intellettuale (IP) e i modelli AI su dispositivi con risorse limitate, rendendo i dispositivi IoT e autonomi più resilienti agli attacchi avversariali fisici e basati sul trasferimento.
• Efficienza Energetica e Temporale: Riducendo l'overhead di decrittazione a una cifra singola percentuale, TT-SEAL abilita l'uso pratico di modelli TTD compressi in scenari reali dove la latenza è critica (es. veicoli autonomi, robotica).
• Generalizzabilità: La metodologia si è dimostrata efficace su diverse architetture di rete e contro una vasta gamma di generatori di esempi avversariali, indicando che la struttura TTD può essere sfruttata strategicamente per la sicurezza, non solo per l'efficienza.

In sintesi, TT-SEAL rappresenta un passo avanti fondamentale per l'implementazione sicura ed efficiente dell'AI ai margini della rete (Edge AI), trasformando la compressione del modello da un potenziale rischio di sicurezza in un'opportunità per una protezione selettiva ed efficiente.