Low Rank Adaptation for Adversarial Perturbation

1. Enunciato del Problema

Il paper affronta l'inefficienza degli attacchi avversariali in black-box, in particolare l'eccessivo numero di query richiesto per generare esempi avversariali riusciti.

• Contesto: Gli attacchi in black-box (dove l'attaccante non ha accesso ai gradienti o ai pesi del modello) rappresentano il modello di minaccia più pratico, ma soffrono di elevati costi in termini di query. Ciò comporta oneri finanziari quando si prendono di mira API commerciali e attiva sistemi di rilevamento delle intrusioni.
• Lacuna: Sebbene l'Adattamento a Basso Rango (LoRA) abbia rivoluzionato l'efficienza del fine-tuning dei Large Language Models (LLM) assumendo che gli aggiornamenti del modello risiedano in un sottospazio a bassa dimensionalità, rimane una questione aperta se anche le perturbazioni avversariali (gli aggiornamenti dell'input) condividano questa proprietà di basso rango. I lavori esistenti hanno esplorato le proprietà a basso rango nei dati naturali, ma non hanno fornito un'analisi teorica o empirica sistematica delle perturbazioni stesse.
• Sfida: In un contesto black-box, l'attaccante non può accedere direttamente ai gradienti del modello vittima per decomporli in matrici a basso rango (come fatto in LoRA per i pesi), rendendo difficile costruire uno spazio di ricerca a basso rango.

2. Metodologia

Gli autori propongono un nuovo framework che sfrutta la struttura intrinseca a basso rango delle perturbazioni avversariali per migliorare l'efficienza dell'attacco. La metodologia è composta da tre componenti principali:

A. Validazione Teorica ed Empirica

• Teoria: Gli autori dimostrano che per un classificatore di reti neurali $f$, la perturbazione minima $\delta$ necessaria per invertire una decisione di classificazione giace nello spazio delle righe della matrice Jacobiana $J(x)$. Poiché la dimensione di output (numero di classi $C$) è molto inferiore alla dimensione di input $d$ ($C \ll d$), la perturbazione $\delta$ è intrinsecamente a basso rango (rango $\le C$).
• Analisi Empirica: Utilizzando la Decomposizione ai Valori Singoli (SVD) su perturbazioni generate da vari attacchi (PGD, C&W) su diverse architetture (ResNet, ViT, EfficientNet) e dataset (ImageNet, CUB-200), dimostrano che circa il 70-80% della variazione di magnitudine relativa nei valori singolari è concentrata vicino allo zero. Ciò conferma che le perturbazioni occupano un piccolo sottoinsieme di direzioni dominanti.

B. Costruzione del Sottospazio a Basso Rango (Ambiente Black-Box)

Per superare la mancanza di accesso diretto ai gradienti negli scenari black-box, gli autori propongono un metodo di costruzione di sottospazio trasferibile:

1. Dati Ausiliari e Modello di Riferimento: L'attaccante utilizza un dataset ausiliario (che può avere etichette o distribuzioni diverse rispetto alla vittima) e un modello di riferimento pre-addestrato (con architettura diversa) per generare vettori di gradiente.
2. Filtraggio tramite Spiegabilità: Per mitigare il rumore nei gradienti di riferimento, applicano tecniche di Machine Learning Spiegabile (XAI) (es. GradCAM, SHAP, LIME) per creare "maschere salienti". Queste maschere evidenziano le caratteristiche critiche, permettendo al sistema di concentrarsi sui componenti di gradiente più rilevanti.
3. Addestramento di Autoencoder (AE): Viene addestrato un Autoencoder basato su U-Net per mappare i vettori di gradiente ad alta dimensionalità (filtrati dalle maschere) in uno spazio latente a bassa dimensionalità e ricostruirli. Lo spazio latente rappresenta il Sottospazio a Basso Rango.

C. Attacco Avversariale a Basso Rango

Il sottospazio costruito è integrato negli attacchi black-box esistenti (basati su punteggio e basati su decisione):

• Meccanismo: Invece di campionare vettori di perturbazione casuali nell'intero spazio di input ad alta dimensionalità, l'attacco campiona vettori casuali all'interno dello spazio latente a bassa dimensionalità appreso.
• Proiezione: Questi vettori latenti vengono decodificati nuovamente nello spazio originale ad alta dimensionalità utilizzando il decoder addestrato.
• Ottimizzazione: L'attacco procede stimando i gradienti e aggiornando la perturbazione strettamente all'interno di questo sottospazio a basso rango vincolato, riducendo significativamente lo spazio di ricerca e migliorando la velocità di convergenza.

3. Contributi Chiave

1. Dimostrazione Teorica: Prima dimostrazione teorica che le perturbazioni avversariali possiedono intrinsecamente una struttura a basso rango a causa del divario di dimensionalità tra lo spazio di input e le classi di output.
2. Evidenza Empirica: Analisi SVD completa su diversi modelli, dataset e tipi di attacco che conferma la natura a basso rango delle perturbazioni.
3. Framework Innovativo: Un framework di attacco black-box che costruisce un sottospazio a basso rango trasferibile utilizzando dati ausiliari, modelli di riferimento e tecniche XAI, senza necessità di accedere ai gradienti interni del modello vittima.
4. Miglioramenti delle Prestazioni: Dimostrati significativi miglioramenti sia nell'efficacia dell'attacco (minore distorsione) che nell'efficienza (meno query) rispetto ai baseline dello stato dell'arte.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset ImageNet, CUB-200 e Stanford Cars utilizzando modelli come ResNet-50, EfficientNet e ViT.

• Efficienza delle Query: Negli attacchi basati su decisione (es. HSJA) sul dataset CUB-200, il metodo a basso rango ha ridotto il numero di query necessarie per far scendere la robustezza del modello da 1.0 a 0.66 del 90% (da ~10.000 query a <1.000) rispetto ad attacchi ingenui.
• Riduzione della Distorsione: Il metodo ha raggiunto una distorsione $L_2$ significativamente inferiore. Ad esempio, su CUB-200 con HSJA, la distorsione mediana è scesa da 2.64 (ingenuo) a 0.82 (basso rango con GradCAM).
• Robustezza al Disallineamento: L'attacco è rimasto altamente efficace anche quando il dataset ausiliario (es. immagini facciali) e il modello di riferimento differivano significativamente dal modello vittima (es. classificazione di uccelli), dimostrando la trasferibilità del sottospazio a basso rango.
• Studi di Ablazione:
  • Autoencoder vs PCA: L'Autoencoder non lineare ha superato significativamente il PCA lineare, catturando pattern di gradiente complessi.
  • Integrazione XAI: L'uso di maschere di gradiente (XAI) per l'addestramento dell'AE ha prodotto risultati migliori rispetto all'uso dei soli gradienti grezzi.
  • Modelli Robusti: Il metodo ha attaccato con successo modelli addestrati in modo avversariale (TRADES, Distillazione, ecc.), riducendo significativamente la loro accuratezza robusta.

5. Significato

• Prospettiva di Attacco: Questo lavoro fornisce uno strumento potente per valutare la vera sicurezza dei sistemi in black-box. Riducendo drasticamente i costi delle query, rende fattibile testare API commerciali che in precedenza erano troppo costose o rischiose da sondare estensivamente.
• Prospettiva di Difesa: I risultati suggeriscono che l'addestramento avversariale può essere reso più efficiente. Vincolando la generazione di esempi avversariali a un sottospazio a basso rango durante l'addestramento, il sovraccarico computazionale e di memoria (spesso 3 volte l'addestramento standard) può essere ridotto significativamente.
• Insight Teorico: Colma il divario tra il fine-tuning efficiente in termini di parametri (LoRA) e l'apprendimento automatico avversariale, stabilendo che il fenomeno "a basso rango" è una proprietà fondamentale dell'ottimizzazione negli spazi di reti neurali ad alta dimensionalità, applicabile sia agli aggiornamenti dei pesi che alle perturbazioni dell'input.