Riepilogo Tecnico: DeepNcode

Problematica

I modelli di deep learning distribuiti su dispositivi embedded, come gli elettrodomestici IoT, affrontano significative minacce di sicurezza derivanti da attacchi di iniezione di guasti (fault injection). Nello specifico, gli attacchi di bit-flip (ad esempio, utilizzando la vulnerabilità Rowhammer in DRAM) permettono agli attaccanti di invertire i bit nella memoria dove sono memorizzati i parametri delle reti neurali quantizzate. Tali attacchi possono indurre errori di classificazione, estrazione del modello o l'inserimento di trojan e backdoor.

La vulnerabilità centrale sfruttata da questi attacchi risiede nella standard rappresentazione intera in complemento a due utilizzata per i pesi quantizzati. In questa rappresentazione, il cambiamento di un valore di peso richiede spesso l'inversione di un singolo bit (ad esempio, cambiare il valore 7 in 6 in una quantizzazione a 4 bit richiede solo l'inversione del bit meno significativo). Gli attaccanti sfruttano questa proprietà per minimizzare il numero di guasti iniettati necessari per degradare l'accuratezza del modello o raggiungere specifici obiettivi malevoli. Le contromisure esistenti spesso soffrono di elevati overhead, richiedono il riaddestramento del modello o si basano sull'assunto che gli attaccanti non possano manomettere i checksum memorizzati in memoria volatile.

Metodologia: DeepNcode

Gli autori propongono DeepNcode, un metodo di protezione basato sulla codifica che sostituisce la standard rappresentazione in complemento a due dei pesi quantizzati con un sistema di codifica binaria. Questo approccio aumenta la distanza di Hamming tra i codici validi, costringendo così un attaccante a invertire significativamente più bit per alterare un valore di peso da uno stato valido a un altro.

Meccanismo Centrale

1. Selezione del Codice: Il metodo utilizza i codici di Hamming e gli Extended Hamming codes, noti per le loro proprietà di rilevamento degli errori.
   • Per la quantizzazione a 4 bit (16 valori possibili), gli autori selezionano codici con lunghezza $n \le 9$ e distanza minima $d \ge 3$. I codici specifici includono $C(7,3)$, $C(8,4)$ e $C(9,4)$.
   • Per la quantizzazione a 8 bit (256 valori possibili), vengono utilizzati codici con lunghezza $n \le 14$ e $d \ge 3$, tra cui $C(12,3)$, $C(13,4)$ e $C(14,4)$.
2. Strategia di Codifica: Per massimizzare la sicurezza, la codifica mappa i valori interi che hanno maggiori probabilità di essere bersagliati da bit-flip singoli (specificamente quelli che differiscono nel bit più significativo, o MSB) a codici con la maggiore distanza di Hamming possibile.
   • La codifica è lineare. Gli autori assegnano il codice con il massimo peso di Hamming al vettore base corrispondente all'MSB ($e(1)$).
   • Di conseguenza, cambiare un valore intero che differisce solo nell'MSB richiede l'inversione di un numero di bit pari al peso di Hamming del codeword assegnato (ad esempio, 7 o 8 bit), piuttosto che un singolo bit.
3. Implementazione:
   • Pre-deployment: I pesi vengono codificati una sola volta prima di essere memorizzati in memoria.
   • Runtime: Il modello decodifica i pesi on-demand (ad esempio, prima dei passaggi di inferenza). La routine di decodifica è memorizzata nella memoria di programma non volatile (flash), rendendola resistente agli stessi attacchi Rowhammer che colpiscono la memoria dati.

Contributi Chiave

1. Contromisura Innovativa: DeepNcode è il primo lavoro che utilizza la teoria della codifica binaria specificamente per aumentare lo sforzo dell'attaccante in termini di bit-flip iniettati per le reti neurali quantizzate, fornendo garanzie di sicurezza formalmente provate basate sui parametri del codice.
2. Nessun Riaddestramento Richiesto: A differenza di altri metodi di addestramento robusto (ad esempio, RA-BNN), DeepNode non richiede il riaddestramento del modello e non altera l'accuratezza originale della rete.
3. Generalità di Applicazione: Il metodo è applicabile a qualsiasi rete quantizzata a 4 o 8 bit, indipendentemente dall'architettura o dal numero di parametri.
4. Sicurezza Provabile: La protezione offre un aumento garantito del numero di bit-flip richiesti. Anche se venissero scoperti nuovi attacchi più efficienti, le proprietà fondamentali dei codici scelti assicurano che la complessità dell'attacco rimanga diverse volte superiore rispetto ai modelli non protetti.

Risultati Sperimentali

Gli autori hanno valutato DeepNcode contro attacchi di bit-flip allo stato dell'arte (BFA, T-BFA e TA-LBF) su modelli pubblici (ResNet-20, ResNet-18, VGG-11) e dataset (CIFAR-10, CIFAR-100).

• Margine di Sicurezza:
  • Per le reti quantizzate a 4 bit, il numero di bit-flip richiesti per un attacco riuscito è aumentato di un fattore da 6,6× a 7,6×.
  • Per le reti quantizzate a 8 bit, l'aumento è andato da 11,3× a 12,4×.
  • Nello specifico, attacchi che precedentemente richiedevano singoli bit-flip (comuni nel complemento a due) ora richiedono 7 o 8 bit-flip per i cambiamenti dell'MSB, e 4–5 bit-flip per altri cambiamenti.
• Overhead:
  • Memoria: L'overhead parte dal 50% della dimensione originale della rete (per la quantizzazione a 8 bit con $C(12,3)$) e arriva fino al 125% (per la quantizzazione a 4 bit con $C(9,4)$).
  • Tempo: L'overhead temporale è trascurabile. La decodifica richiede circa 0,0003s o 0,03s a seconda del modello. Gli autori sostengono che, poiché un attacco Rowhammer riuscito richiede significativamente più tempo (ad esempio, >11 secondi per i modelli a 4 bit), la decodifica può essere eseguita periodicamente (ad esempio, ogni 1000 inferenze) senza impattare sulle prestazioni.
• Tassi di Successo degli Attacchi: Il metodo previene efficacemente gli attacchi furtivi (T-BFA 1-to-1 stealthy) aumentando drasticamente il costo dell'iniezione di guasti, rendendo spesso l'attacco impraticabile entro tempi ragionevoli.

Significato e Rivendicazioni

Il paper afferma che DeepNode offre un compromesso altamente efficace tra sicurezza ed efficienza. Sfruttando le proprietà matematiche dei codici di Hamming, trasforma il "colpo facile" dei singoli bit-flip in un compito ad alta complessità che richiede molteplici guasti simultanei.

Gli autori sottolineano che questo approccio fornisce garanzie di sicurezza provabili derivate dalla teoria della codifica, piuttosto che difese euristiche. Posizionano DeepNode come una soluzione pratica per gli ambienti embedded e IoT dove i modelli sono vulnerabili all'iniezione di guasti fisici, notando che può essere combinato con meccanismi di rilevamento (eseguendo periodicamente le routine di decodifica) per raggiungere tassi di rilevamento del 100% prima che un attacco abbia successo. Il lavoro conclude che, sebbene vi sia un costo in termini di memoria, l'overhead temporale trascurabile e l'aumento sostanziale della complessità dell'attacco rendono la difesa una soluzione valida contro le moderne minacce di bit-flip.