A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

Riepilogo Tecnico: Metodologia di Implementazione a Tempo Costante per le Funzioni di Attivazione sui Microcontrollori

Enunciato del Problema
L'inferenza di reti neurali embedded su microcontrollori con risorse limitate è sempre più vulnerabile ad attacchi side-channel basati sul tempo. Studi recenti hanno dimostrato che le funzioni di attivazione all'interno di queste reti filtrano informazioni attraverso variazioni del tempo di esecuzione dipendenti dai valori di input e dai tipi di funzione. Questa fuoriuscita di informazioni permette agli attaccanti di distinguere tra diverse funzioni di attivazione (ad esempio, ReLU rispetto a sigmoid) e potenzialmente di ingegnerizzare all'inverso le architetture dei modelli o di inferire dati di input sensibili. Sebbene le contromisure esistenti, come la desincronizzazione (introduzione di ritardi casuali), tentino di oscurare questi schemi temporali, non eliminano il comportamento sottostante dipendente dall'input. Di conseguenza, gli attacchi basati su modelli profilati possono ancora distinguere statisticamente le funzioni di attivazione nonostante il rumore aggiunto.

Metodologia
Gli autori propongono una metodologia di implementazione a tempo costante progettata per eliminare le variazioni temporali dipendenti dall'input alla fonte, piuttosto che limitarsi a nasconderle. L'approccio è istanziato su una piattaforma ARM Cortex-M4 (STM32F411) e prende di mira cinque funzioni di attivazione ampiamente utilizzate: ReLU, sigmoid, tanh, Unità Lineare Errore Gaussiano (GELU) e Swish.

La metodologia si basa su quattro componenti fondamentali:

1. Selezione Senza Ramificazioni Basata su Mascheramento: Per prevenire la divergenza del flusso di controllo, l'implementazione evita ramificazioni dipendenti dai dati. Invece, utilizza mascheramento logico e operazioni bitwise (AND/OR) per selezionare tra valori candidati (ad esempio, usature sature rispetto a risultati di approssimazione) in base alla rappresentazione in bit dell'input. Ciò garantisce che la sequenza di istruzioni rimanga identica indipendentemente dal valore di input.
2. Approssimazione Basata su Padé a Costo Fisso: Per le funzioni non lineari (sigmoid, tanh, GELU, Swish), gli autori sostituiscono le valutazioni standard delle funzioni trascendenti con un'approssimazione razionale condivisa e a costo fisso basata sull'approssimante di Padé per $\tanh(x)$, indicata come $R_{tanh}(x)$. Questa approssimazione coinvolge una sequenza fissa di addizioni, moltiplicazioni e una singola divisione, evitando cicli o selezione di intervalli dipendenti dall'input.
   • Sigmoid e Swish sono costruiti utilizzando l'identità $S(x) = \frac{1}{2}(1 + \tanh(x/2))$.
   • GELU è approssimato utilizzando una formulazione basata su $\tanh$.
3. Saturazione Basata su Mascheramento: Per gestire input al di fuori della regione di approssimazione, la metodologia impiega una logica di saturazione (limitazione a 0, 1 o $x$) implementata tramite la stessa strategia di mascheramento senza ramificazioni. Ciò garantisce che anche quando l'approssimazione razionale viene bypassata per input saturi, il percorso di esecuzione e il conteggio dei cicli rimangano costanti.
4. Allineamento dei Cicli e Aritmetica Fittizia: Per ottenere tempi di esecuzione identici per tutte e cinque le funzioni, gli autori introducono operazioni aritmetiche fittizie. Nello specifico, la semplice funzione ReLU, che naturalmente si esegue molto più velocemente delle approssimazioni non lineari, viene arricchita con la stessa sequenza aritmetica basata su $R_{tanh}$ (senza influenzare il risultato finale) per allineare il suo conteggio di cicli con le funzioni più complesse. Un minimo di riempimento NOP viene utilizzato solo per un allineamento fine.

Contributi Chiave

• Metodologia a Tempo Costante: Il documento introduce un principio di costruzione riutilizzabile per le funzioni di attivazione che garantisce un tempo di esecuzione indipendente dall'input sui microcontrollori embedded.
• Istanza su Cinque Funzioni: La metodologia è stata applicata con successo a ReLU, sigmoid, tanh, GELU e Swish, utilizzando un'approssimazione razionale condivisa per i componenti non lineari.
• Vulnerabilità della Desincronizzazione: Gli autori dimostrano che le contromisure basate sulla desincronizzazione, sebbene oscurino visivamente le tracce temporali, rimangono vulnerabili ad attacchi temporali basati su modelli profilati. L'analisi statistica dei tempi di esecuzione permette a un attaccante di distinguere le funzioni di attivazione con alta confidenza dopo misurazioni sufficienti.
• Validazione Sperimentale: Il lavoro fornisce prove empiriche che le implementazioni protette proposte raggiungono conteggi di cicli identici per tutti gli input testati, sopprimendo efficacemente la fuoriuscita temporale.

Risultati Sperimentali
La metodologia è stata valutata su un ARM Cortex-M4 in esecuzione a 84 MHz.

• Regolarità Temporale:
  • In un contesto a tre funzioni (ReLU, sigmoid, tanh) sull'intervallo $[-8, 8]$, tutte le implementazioni protette sono state eseguite in esattamente 88 cicli di clock (1,048 µs), indipendentemente dal valore di input.
  • In un contesto esteso a cinque funzioni (inclusi GELU e Swish) sull'intervallo $[-500, 500]$, tutte le implementazioni sono state eseguite in esattamente 108 cicli di clock (1,286 µs).
  • Al contrario, le implementazioni non protette hanno mostrato variazioni temporali significative (ad esempio, ReLU non protetta ha richiesto ~12 cicli, mentre tanh non protetta ha richiesto ~403 cicli) e fluttuazioni dipendenti dall'input.
• Accuratezza Numerica:
  • Le approssimazioni hanno mantenuto un'alta accuratezza. Per l'intervallo $[-8, 8]$, l'Errore Quadratico Medio (MSE) per sigmoid è stato $2,93 \times 10^{-12}$ e per tanh è stato $6,14 \times 10^{-10}$.
  • Nell'intervallo esteso $[-500, 500]$, gli errori sono rimasti trascurabili per sigmoid e tanh (poiché si saturano rapidamente), mentre GELU e Swish hanno mostrato un errore basso localizzato vicino alle soglie di saturazione (Errore assoluto massimo per Swish è stato $1,11 \times 10^{-3}$).
• Compromessi Prestazionali:
  • L'implementazione protetta di ReLU ha subito un aumento della latenza (da ~12 a 88/108 cicli) a causa dell'inserimento di aritmetica fittizia per l'allineamento.
  • Al contrario, le funzioni non lineari protette sono state significativamente più veloci delle loro controparti non protette (ad esempio, sigmoid/tanh protetti sono stati ~33-38% più veloci delle versioni non protette) perché l'approssimazione razionale è più efficiente delle funzioni trascendenti delle librerie standard sull'hardware target.

Significato e Affermazioni
Il documento afferma che la metodologia proposta fornisce una base pratica per la costruzione di funzioni di attivazione resistenti ai side-channel nell'inferenza embedded. Spostandosi dal "nascondere" (randomizzazione) alla progettazione "a tempo costante", l'approccio elimina la causa alla radice della fuoriuscita temporale: i percorsi di esecuzione dipendenti dall'input. Gli autori affermano che questa metodologia permette la costruzione di funzioni di attivazione in cui la sequenza di istruzioni eseguita è indipendente dal valore di input, prevenendo così gli attacchi temporali basati su modelli.

Il lavoro si posiziona come un mattone fondamentale per l'apprendimento automatico embedded sicuro, in particolare per dispositivi edge sensibili alla privacy (ad esempio, sensori medici, dispositivi indossabili) dove le informazioni temporali potrebbero essere accessibili agli attaccanti. Gli autori notano con modestia che, sebbene questo affronti la fuoriuscita temporale nelle funzioni di attivazione, non costituisce una contromisure completa per l'intera pipeline di inferenza, e altri canali laterali (alimentazione, EM) o dettagli implementativi potrebbero ancora richiedere protezione. Lo studio si concentra specificamente sul dominio temporale e non afferma di affrontare tutti i potenziali vettori di side-channel.