Sintesi Tecnica: Backdoor Attivate dall'Hardware

Definizione del Problema

I modelli di machine learning vengono regolarmente implementati su hardware di calcolo eterogenei, che spaziano dalle GPU consumer agli acceleratori ad alte prestazioni. Un presupposto fondamentale in questo ecosistema è che diverse piattaforme hardware producano risultati di inferenza identici per lo stesso modello e lo stesso input. Tuttavia, a causa della non-associatività dell'aritmetica in virgola mobile e delle variazioni nel design dell'hardware (ad esempio, dimensioni dei blocchi, scheduling dei warp), l'esecuzione dello stesso modello su dispositivi diversi produce piccole deviazioni numeriche. Sebbene queste deviazioni siano tipicamente considerate innocue e stocastiche, questo articolo ne mette in discussione tale visione. Dimostriamo che queste minime variazioni numeriche possono essere deliberatamente sfruttate per creare backdoor attivate dall'hardware. A differenza delle backdoor tradizionali che si affidano a un trigger esplicito nell'input (ad esempio, un particolare pattern di pixel), questi attacchi attivano un comportamento malevolo basandosi esclusivamente sull'acceleratore hardware utilizzato per l'inferenza.

Metodologia

Modello di Minaccia

Si assume che l'attaccante abbia il controllo sul modello prima della distribuzione (ad esempio, tramite un attacco alla supply chain o caricando un modello manipolato su una piattaforma pubblica). La vittima implementa il modello su diversi dispositivi hardware (ad esempio, sviluppo su una GPU standard rispetto a produzione su un acceleratore ad alte prestazioni). L'obiettivo dell'attaccante è manipolare il modello in modo che input specifici vengano classificati erroneamente solo sull'hardware target, mantenendo al contempo predizioni corrette su tutti gli altri dispositivi e per tutti gli altri input.

Strategia di Attacco

L'attacco si basa sull'osservazione che un modello addestrato non corrisponde a una singola funzione decisionale, ma piuttosto a una famiglia di funzioni distinte a seconda dell'hardware di esecuzione. L'attacco procede in due fasi principali:

1. Modellazione del Confine Decisionale:
   L'attaccante ottimizza i parametri del modello per spostare il confine decisionale localmente vicino a un input target $\hat{x}$. Ciò viene ottenuto minimizzando una perdita proxy $L$ che incoraggia i due logit più grandi ad essere quasi uguali (creando un pareggio) pur penalizzando le deviazioni dall'etichetta di classe originale e dai pesi originali del modello. Questa fase viene eseguita utilizzando il gradiente discendente standard su un singolo dispositivo hardware.
   $$\arg \min_{\theta} L(\theta, f_\theta(\hat{x}; h_1))$$
   dove $L$ include termini per la prossimità del confine decisionale ($L_{diff}$), la preservazione della classe ($L_{class}$) e la regolarizzazione ($L_{reg}$).

2. Raffinamento delle Deviazioni:
   Una volta che l'input è vicino al confine decisionale, l'attaccante amplifica le deviazioni numeriche dipendenti dall'hardware per invertire la predizione sul dispositivo target. Poiché queste deviazioni sono non differenziabili, l'attaccante impiega strategie euristiche:

   • Modifiche Implicite (Permutazione Topologica): Riordinamento delle operazioni in virgola mobile senza cambiare l'equivalenza matematica sotto aritmetica esatta. Ciò viene ottenuto permutando i pesi in strati lineari consecutivi (ad esempio, $W_1 W_2 \rightarrow (P_1 W_1)(P_1^{-1} W_2)$), il che altera l'ordine delle addizioni e quindi l'accumulo degli errori di arrotondamento.
   • **Modifiche Esplicite (Perturbazione dei Parametri): Inversione di un piccolo numero di bit ($k$) nei parametri del modello. Ciò introduce cambiamenti numerici effettivi che influenzano il calcolo anche sotto aritmetica esatta.

Il processo utilizza una procedura di ottimizzazione alternata, generando molteplici modelli candidati in ogni iterazione per cercare una configurazione che riesca a separare la predizione tra gli hardware mantenendo l'utilità complessiva del modello.

Contributi Chiave

1. Backdoor Attivate dall'Hardware: Introduciamo un nuovo vettore di attacco in cui il comportamento malevolo è attivato da uno specifico hardware piuttosto che da un trigger di input. Il comportamento numerico dell'hardware funge da trigger latente.
2. Analisi Causale: Eseguiamo un'analisi causale layer-wise utilizzando il patching delle attivazioni cross-hardware per identificare dove sorgono le differenze indotte dall'hardware. Scopriamo che le deviazioni possono originarsi nei primi strati (ad esempio, patch embeddings nei ViT) o emergere come effetto cumulativo attraverso i vari strati.
3. Valutazione Empirica: Dimostriamo l'efficacia di queste backdoor attraverso varie architetture di modelli (ResNet, EfficientNet, ViT), dispositivi hardware (Nvidia A100, H100, A40, RTX 6000) e formati numerici (float32, float16, bfloat16).

Risultati Sperimentali

• Tassi di Successo: L'attacco raggiunge tassi di successo superiori al 90% per la maggior parte delle coppie di hardware e architetture di modelli. Ad esempio, in float32, ResNet ed EfficientNet hanno raggiunto tassi di successo del 100% su diverse coppie di GPU, mentre ViT ha ottenuto tassi compresi tra il 94% e il 98%.
• Stealthiness (Occultamento): I modelli con backdoor mantengono una mediana del 99,8% delle prestazioni del modello originale su dati puliti, garantendo che la manipolazione rimanga non rilevata durante il normale funzionamento.
• Robustezza: Le backdoor sono robuste rispetto alle perturbazioni dell'input (fino a $10^3$ ULP), alle variazioni di batching e all'inferenza a precisione mista, sebbene degradino sotto rumore significativo dell'input.
• Target Multipli: Sebbene efficace per target singoli, il tasso di successo diminuisce all'aumentare del numero di input target simultanei, scendendo sotto il 50% per cinque target a causa di obiettivi di ottimizzazione conflittuali.
• Selettività: L'attacco può essere tarato per scenari "uno-contro-tutti", attivando la classificazione errata esattamente su un dispositivo mentre mantiene le predizioni corrette su tutti gli altri.

Contromisure

Abbiamo valutato diverse difese:

• Perturbazione dell'Input: L'aggiunta di rumore agli input può mitigare l'attacco, ma richiede una distorsione significativa per essere efficace.
• Batching: La randomizzazione delle dimensioni dei batch non è una difesa affidabile, poiché sopprime le backdoor solo in alcune configurazioni.
• Precisione Mista: L'abbassamento della precisione indebolisce l'attacco ma non lo elimina.
• Fine-Tuning: Il fine-tuning attivo su dati puliti è la difesa più efficace, riducendo i tassi di successo della backdoor a quasi zero in pochi step di gradiente.

Significato e Conclusione

Questo lavoro rivela che la sicurezza dei sistemi di machine learning non può essere isolata dall'hardware sottostante. Anche le apparentemente trascurabili deviazioni numeriche, precedentemente scartate come artefatti benigni dell'aritmetica in virgola mobile, costituiscono un vettore di attacco valido. Le nostre scoperte indicano che l'integrità dei modelli di machine learning deve essere considerata attraverso l'intero stack computazionale, dagli algoritmi addestrati fino ai dispositivi hardware specifici utilizzati per l'inferenza. Speriamo che questo lavoro incoraggi i professionaggi a considerare le vulnerabilità dipendenti dall'hardware e a motivare lo sviluppo di misure di sicurezza end-to-end per la distribuzione del machine learning.