Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field

Questo lavoro presenta "Kraken", il primo attacco side-channel fisico che estrae parametri dai Tensor Core delle GPU sia a campo vicino che a campo lontano, dimostrando la vulnerabilità dei modelli di deep learning e dei LLM al furto tramite analisi di correlazione di potenza e fughe elettromagnetiche fino a 100 cm di distanza.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "Kraken", tradotta in italiano per un pubblico generale.

Immagina che i moderni modelli di Intelligenza Artificiale (come quelli che fanno funzionare ChatGPT) siano come ricette segrete di un chef stellato. Queste ricette valgono milioni di dollari e le aziende le proteggono gelosamente. Tuttavia, i ricercatori di questo studio hanno scoperto un nuovo modo per "rubare" queste ricette senza nemmeno entrare in cucina: ascoltando i rumori che la cucina fa mentre cucina.

Ecco come funziona, spiegato passo dopo passo:

1. Il Problema: Il "Furto" dei Modelli

Oggi, addestrare un'intelligenza artificiale costa una fortuna. Le aziende temono che qualcuno possa copiare il loro modello (il "cervello" dell'AI) e usarlo per i propri scopi. Finora, per rubare questi modelli, gli hacker dovevano o ingannare il sistema chiedendo molte domande (come un ladro che prova a indovinare la combinazione della cassaforte) o rubare fisicamente il computer.

2. La Nuova Idea: Ascoltare il "Battito Cardiaco" dell'AI

Gli autori hanno scoperto che quando un computer (in questo caso una scheda video potente chiamata GPU) esegue calcoli complessi, emette delle onde elettromagnetiche. È come se il computer avesse un "battito cardiaco" o un "sussurro" che cambia a seconda di cosa sta calcolando.

Se ascolti attentamente questi sussurri, puoi capire quali "ingredienti" (i pesi del modello) sta usando il computer.

3. Due Livelli di Ascolto: Vicino e Lontano

A. L'Ascolto "Vicino" (Near Field)

Immagina di essere un detective che si siede proprio accanto alla macchina da scrivere per sentire il rumore dei tasti.

• La vecchia tecnica: I ricercatori precedenti ascoltavano solo i tasti "generici" della macchina (i CUDA Cores).
• La novità di Kraken: Hanno scoperto che le macchine moderne usano dei tasti speciali e super veloci chiamati Tensor Cores (usati per i modelli di intelligenza artificiale più potenti).
• L'innovazione: Invece di ascoltare un solo tasto, hanno creato un modello che ascolta un'intera squadra di 32 tasti che lavorano insieme (chiamati "warp"). È come ascoltare il coro di un'intera orchestra invece di un solo violino. Questo rende l'ascolto molto più chiaro e veloce, permettendo di rubare la ricetta in pochissimo tempo.

B. L'Ascolto "Lontano" (Far Field)

Questa è la parte più scioccante. Immagina di poter sentire il rumore della macchina da scrivere dall'altra parte della stanza, o addirittura attraverso un vetro.

• Gli autori hanno dimostrato che è possibile captare questi sussurri elettromagnetici anche a 1 metro di distanza dal computer, persino attraverso un ostacolo di vetro.
• Hanno applicato questa tecnica a un modello linguistico gigante (un LLM, come quelli che scrivono testi). Hanno dimostrato che, anche da lontano, le onde elettromagnetiche "tradiscono" i segreti del modello.

4. Il Trucco Magico: L'Attacco "Ordine Superiore"

C'è un altro trucco geniale usato in questo studio.
Immagina di dover indovinare un numero segreto. Se ascolti il computer una volta, il rumore è confuso. Ma se il computer usa lo stesso numero segreto per fare calcoli diversi in momenti leggermente diversi, puoi incrociare le informazioni.

• Gli autori hanno creato un metodo che combina più "rumori" provenienti dallo stesso calcolo. È come se avessi tre microfoni che registrano lo stesso evento da angolazioni diverse; unendo le registrazioni, il rumore di fondo sparisce e la voce del segreto diventa cristallina.
• Questo riduce drasticamente il tempo necessario per rubare il modello.

5. Perché è Importante?

• Sicurezza: Le aziende pensavano che i loro modelli fossero al sicuro se non venivano condivisi online. Questo studio dice: "Attenzione, il vostro computer sta 'parlando' con l'esterno attraverso le onde radio".
• Difesa: Per proteggersi, le aziende dovranno mettere i computer in scatole metalliche (come una gabbia di Faraday) per bloccare questi sussurri, o usare tecniche per confondere il rumore, rendendo impossibile capire cosa sta succedendo.

In Sintesi

Il paper "Kraken" ci dice che i computer moderni, mentre pensano, lasciano una scia di "rumore" elettromagnetico. Gli autori hanno creato un nuovo tipo di orecchio digitale capace di ascoltare questo rumore anche da lontano e attraverso i muri, permettendo di rubare le ricette segrete dell'intelligenza artificiale molto più velocemente e facilmente di quanto si pensasse prima. È come se qualcuno potesse leggere il tuo diario segreto semplicemente stando in piedi fuori dalla tua finestra e ascoltando il rumore della penna sulla carta.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field" in italiano.

Titolo

Kraken: Attacchi Side-Channel EM di Ordine Superiore su DNN in Campo Vicino e Lontano

1. Il Problema

I modelli di Machine Learning (ML), in particolare le Deep Neural Networks (DNN) e i Large Language Models (LLM), rappresentano un investimento di milioni di dollari e costituiscono Proprietà Intellettuale (IP) critica. La loro estrazione o "furto" è una minaccia significativa.
Sebbene esistano metodi di furto basati sulle API (query-based), questi sono limitati da contromisure come il rate limiting o l'obfuscation. Gli attacchi side-channel fisici (basati su consumo energetico o radiazioni elettromagnetiche) sono emersi come una minaccia reale, ma la ricerca precedente si è concentrata principalmente su:

• Microcontrollori (MCU) e FPGA.
• GPU, ma solo sui CUDA Cores generici.
• Attacchi in campo vicino (richiedendo accesso fisico diretto al die del chip).

Il gap identificato è la mancanza di studi su:

1. L'estrazione di parametri dai Tensor Cores delle GPU moderne (unità specializzate per la moltiplicazione di matrici, fondamentali per le prestazioni degli LLM).
2. Attacchi side-channel in campo lontano (senza contatto fisico diretto o rimozione del dissipatore).
3. Sfruttamento delle informazioni multiple correlate allo stesso peso (attacchi di ordine superiore) per accelerare l'estrazione.

2. Metodologia

Gli autori hanno sviluppato un approccio innovativo che combina analisi architettonica, modellazione delle perdite e tecniche di analisi statistica avanzata.

A. Modellazione dell'Architettura GPU (Tensor Cores)

A differenza dei lavori precedenti che analizzavano singoli thread sui CUDA Cores, questo studio si concentra sui Tensor Cores.

• Modello a livello di Warp: Le GPU eseguono thread in gruppi di 32 chiamati "warps". Gli autori propongono un modello di perdita che considera il consumo energetico aggregato di tutti i thread in un warp che lavorano sugli stessi pesi. Questo riduce il rumore e migliora la precisione rispetto ai modelli basati su singoli thread.
• Istruzioni Specifiche: L'analisi si basa su istruzioni come IMMA.16816.S8.S8 (per CNN) e HMMA.1688.F32.BF16 (per LLM come Llama 3.2), dove i pesi e gli input sono moltiplicati in parallelo all'interno dei registri del warp.

B. Attacchi di Ordine Superiore (Higher-Order Attacks)

Poiché in una DNN lo stesso peso viene utilizzato per calcolare molteplici prodotti scalari (dot products) con input diversi, un singolo tracciato contiene più informazioni correlate.

• Gli autori combinano le perdite da più istanze temporali (diversi punti di interesse nello stesso tracciato o tra tracciati diversi) che dipendono dallo stesso peso.
• Utilizzano funzioni di combinazione (es. somma delle potenze) e funzioni di pre-elaborazione (es. quadrato della somma) per aumentare la correlazione statistica, riducendo drasticamente il numero di tracce necessarie per l'estrazione.

C. Setup Sperimentale: Campo Vicino vs. Campo Lontano

• Campo Vicino: Utilizzo di una sonda EM (Langer RF-B 0.33) su un Jetson Orin Nano. È stata creata una "pianta" (floorplan) del die tramite imaging a infrarossi per identificare con precisione le Streaming Multiprocessors (SM) e posizionare la sonda vicino alle sub-partizioni che contengono i registri dei Tensor Core.
• Campo Lontano: Utilizzo di un'antenna Vivaldi e di un Software Defined Radio (SDR Ettus X310) per catturare le radiazioni elettromagnetiche a distanze di 25 cm e 100 cm, anche attraverso un ostacolo in vetro. L'attacco si concentra sulla frequenza del clock della GPU (es. 2565 MHz per la RTX 4090), modulata dalle informazioni dei pesi.

3. Contributi Chiave

1. Primo approccio specifico per GPU a livello di Warp: Un modello di perdita che aggrega il consumo energetico di tutti i thread di un warp, offrendo una rappresentazione più accurata del consumo energetico rispetto ai metodi precedenti (BarraCUDA).
2. Primo attacco side-channel di ordine superiore per DNN: Sfrutta la dipendenza multipla dello stesso peso da diversi input per accelerare l'estrazione, riducendo il numero di tracce necessarie.
3. Prima dimostrazione di estrazione di pesi LLM in campo lontano: Dimostra che è possibile estrarre informazioni sui pesi (specificamente i pesi LoRA) di un modello LLM (Llama 3.2 1B) su una GPU RTX 4090 a 100 cm di distanza, attraverso il vetro.
4. Analisi della quantizzazione: Mostra come i meccanismi di quantizzazione (es. da float32 a int8/bfloat16) possano già rivelare informazioni sui pesi prima ancora di lanciare un attacco side-channel, a causa della mappatura affine e della conoscenza dei blocchi di quantizzazione.

4. Risultati

Campo Vicino (Near-Field)

• Efficienza: L'uso del modello a livello di warp ha ridotto il numero di tracce necessarie per estrarre i pesi da milioni (come richiesto dai metodi precedenti) a circa 100.000 - 300.000.
• Ordine Superiore: Combinando 2 o 3 livelli di correlazione (higher-order), la convergenza dell'attacco è migliorata ulteriormente. Con 3 correlazioni combinate, il rango della chiave è sceso a 0 dopo soli 10.000 tracce.
• Precisione: È stato possibile estrarre tutti i pesi di un layer convoluzionale a 2 livelli (288 pesi) utilizzando un CNN INT8.

Campo Lontano (Far-Field)

• Rilevabilità: È stato possibile osservare perdite correlate ai pesi e agli input a 100 cm di distanza attraverso il vetro.
• Estrazione Pesi LLM: In un esperimento proof-of-concept su Llama 3.2 1B, gli autori hanno estratto l'8° peso delle matrici di proiezione (Wq, Wk, Wv) assumendo di conoscere i primi 7.
  • Complessità: Grazie alla conoscenza parziale dei pesi e alla distribuzione limitata dei valori bfloat16, la complessità dell'attacco CPA è stata ridotta a circa 44 bit, rendendolo fattibile.
  • Tracce: Sono state necessarie circa 2 milioni di tracce (4000 input diversi x 500 medie) per ottenere risultati significativi a 100 cm con vetro.
• Frequenza: L'attacco è riuscito a catturare le perdite anche quando la frequenza della GPU cambiava dinamicamente (es. da 2565 MHz a 2865 MHz sotto carico), dimostrando la robustezza del segnale del clock come vettore di attacco.

5. Significato e Implicazioni

• Minaccia Reale per gli LLM: Questo lavoro dimostra che i modelli LLM, spesso considerati troppo grandi per essere estratti completamente, sono vulnerabili se si utilizzano tecniche di adattamento come LoRA (che modificano solo un sottoinsieme di pesi).
• Accessibilità dell'Attacco: La possibilità di condurre attacchi in campo lontano e attraverso barriere fisiche (vetro) riduce drasticamente le barriere all'ingresso per un attaccante, rendendo obsoleti i modelli di sicurezza che presuppongono la necessità di accesso fisico diretto o semi-invasivo.
• Limitazioni e Difese:
  • L'estrazione completa di un modello LLM rimane computazionalmente costosa.
  • Gli attacchi in campo vicino richiedono ancora l'accesso fisico.
  • Contromisure: Per il campo vicino, tecniche come il masking o lo shuffling potrebbero essere efficaci. Per il campo lontano, l'unica difesa pratica sembra essere lo schermaggio EM (gabbia di Faraday), poiché le tecniche software di offuscamento non bloccano le radiazioni fisiche.
  • La quantizzazione, sebbene utile per l'efficienza, introduce vulnerabilità aggiuntive che gli attaccanti possono sfruttare.

In sintesi, il paper "Kraken" stabilisce un nuovo standard di riferimento per la sicurezza delle DNN su GPU, dimostrando che l'estrazione dei pesi è fattibile non solo sui core generici ma anche sulle unità specializzate Tensor Core, e che la minaccia si estende oltre i confini fisici immediati del dispositivo.