Sintesi Tecnica: Tangent Subspace Boundary Attack (TSBA)

Definizione del Problema

Il documento affronta la sfida degli attacchi avversari black-box basati sulla decisione, un contesto in cui un attaccante ha accesso solo all'etichetta predetta finale di un modello target, senza accesso ai punteggi di confidenza o ai gradienti. Questo scenario è particolarmente difficile negli spazi di input ad alta dimensionalità (ad es., ImageNet) perché la mancanza di informazioni sul gradiente rende estremamente ardua l'esplorazione efficiente dello spazio di input per trovare perturbazioni minime.

I metodi esistenti soffrono di limitazioni fondamentali:

• Boundary Attack: Si affida al campionamento casuale e al rifiuto in alta dimensionalità, portando a una scarsa efficienza di query.
• HopSkipJumpAttack (HSJA): Migliora l'efficienza stimando i gradienti tramite campionamento casuale, ma introduce un'elevata varianza e un carico di query sostanziale.
• Limitazione Generale: Gli approcci precedenti spesso non riescono a sfruttare esplicitamente la struttura geometrica locale del confine di decisione, portando a un'esplorazione instabile, un'espansione radiale delle perturbazioni e query ridondanti.

Metodologia: Tangent Subspace Boundary Attack (TSBA)

Gli autori propongono TSBA, un attacco basato sulla decisione che incorpora esplicitamente vincoli geometrici per stabilizzare il processo di ricerca e ridurre la varianza delle query. La filosofia centrale è il disaccoppiamento tra l'approssimazione del confine e l'esplorazione della direzione.

La metodologia si compone di tre componenti chiave:

1. Proiezione del Confine tramite Ricerca Binaria

Invece di ridurre gradualmente l'entità della perturbazione attraverso cammini casuali (random walks), TSBA proietta esplicitamente l'attuale punto avversario sul confine di decisione.

• Dato un punto avversario $x_{adv}$ e l'input originale $x_o$, l'algoritmo definisce un segmento di linea tra essi.
• Esegue una ricerca binaria per trovare la dimensione del passo $\lambda$ più piccola tale che il punto $(1-\lambda)x_o + \lambda x_{adv}$ sia ancora classificato erroneamente.
• Ciò produce un punto proiettato $x_b$ che si trova precisamente sul confine di decisione, eliminando i passaggi ridondanti di riduzione della distanza presenti nei metodi precedenti.

2. Aggiornamenti Vincolati allo Spazio Tangente

Per garantire che gli aggiornamenti si muovano verso l'immagine originale senza aumentare la distanza (espansione radiale), TSBA impone un vincolo di ortogonalità.

• In un punto di confine $x_b$, la "direzione sorgente" è definita come $v_k = x_b - x_o$.
• Qualsiasi perturbazione candidata $\delta$ viene proiettata sullo spazio tangente ortogonale a $v_k$:
  $$\delta \leftarrow \delta - \frac{\langle \delta, v_k \rangle}{\|v_k\|^2} v_k$$
• Giustificazione Teorica: Il documento dimostra (Proposizione 1) che sotto questo vincolo di ortogonalità, la distanza dall'input originale $\|x_{b}^{k+1} - x_o\|$ non aumenta dopo la proiezione. Ciò garantisce una riduzione monotona locale della distorsione.

3. Campionamento in Sottospazio a Bassa Dimensionalità

Per affrontare l'inefficienza del campionamento in spazi ad alta dimensionalità ($d \gg 1$), TSBA restringe le perturbazioni a un sottospazio a bassa dimensionalità.

• Una base $U \in \mathbb{R}^{d \times k}$ (dove $k \ll d$) viene utilizzata.
• Le perturbazioni sono campionate come $\delta = Uz$, dove $z \sim \mathcal{N}(0, I_k)$.
• Questo campionamento strutturato aumenta significativamente la probabilità di trovare direzioni efficaci rispetto al campionamento casuale a dimensionalità completa.

Flusso dell'Algoritmo:

1. Proiettare l'esempio avversario iniziale sul confine tramite ricerca binaria.
2. Campionare una perturbazione in un sottospazio a bassa dimensionalità.
3. Proiettare la perturbazione nello spazio tangente (ortogonale alla direzione sorgente).
4. Aggiornare il punto e ri-proiettare sul confine tramite ricerca binaria.
5. Ripetere fino alla convergenza o all'esaurimento del budget di query.

Contributi Chiave

Gli autori riassumono i loro contributi come segue:

1. Meccanismo di Proiezione del Confine: Un efficiente approccio di ricerca binaria per approssimare il confine di decisione, rimuovendo i passaggi ridondanti intrinseci ai precedenti metodi di random walk.
2. Strategia di Aggiornamento dello Spazio Tangente: Un nuovo vincolo che impone l'ortogonalità alla direzione sorgente, garantendo teoricamente una riduzione localmente monotona della magnitudo della perturbazione.
3. Campionamento di Sottospazio Strutturato: L'integrazione del campionamento in sottospazi a bassa dimensionalità per migliorare l'efficienza di esplorazione e la stabilità negli spazi ad alta dimensionalità.
4. Validazione Empirica: Esperimenti estesi che dimostrano una superiore efficienza di query e una distorsione competitiva rispetto ai metodi allo stato dell'arte.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset ImageNet utilizzando un modello ResNet-50 pre-addestrato, confrontando TSBA con Boundary Attack e HopSkipJumpAttack (HSJA).

Efficienza di Query e Tasso di Successo

• Tasso di Successo: Sotto un budget di 500 query, TSBA ha raggiunto un tasso di successo del 46%, superando HSJA (38%) e Boundary Attack (28%). A 1500 query, TSBA ha raggiunto l'80%, rispetto al 73% (HSJA) e al 61% (Boundary Attack).
• Costo di Query: TSBA ha richiesto significativamente meno query mediane per avere successo. Per un budget di 500 query, TSBA ha necessitato di una mediana di 150 query, mentre HSJA ne ha necessitate 210 e Boundary Attack 340.

Trade-off Query-Distorsione

• TSBA ha costantemente ottenuto una distorsione $\ell_2$ inferiore in tutti i budget di query.
• Nel regime di basse query (<1000 query), TSBA ha mostrato un vantaggio significativo nell'avvicinarsi rapidamente al confine di decisione con una distorsione minima.

Valutazione della Robustezza

TSBA è stato testato contro modelli difesi (PGD con addestramento avversario e Randomized Smoothing RS).

• Sotto un vincolo RMSE ($\le 0.1$), TSBA ha ottenuto tassi di successo del 70-72% sui modelli robusti, superando significativamente Boundary Attack (35-48%) e HSJA (55-69%).
• TSBA ha anche richiesto meno query (circa 1600-1700) rispetto a HSJA (5001) e Boundary Attack (2200+) per ottenere attacchi riusciti sui modelli robusti.

Analisi Qualitativa

L'analisi visiva delle perturbazioni ha rivelato che TSBA genera perturbazioni a magnitudo inferiore e più localizzate, concentrate su regioni semanticamente informative (ad es., i bordi degli oggetti), mentre Boundary Attack produceva rumore ad alta frequenza su ampie regioni dell'immagine.

Studio di Ablazione

La rimozione di uno dei tre componenti principali (Proiezione del Confine, Vincolo Tangente o Campionamento di Sottospazio) ha portato a prestazioni degradate:

• Senza Proiezione: Aumento delle query e della distorsione.
• Senza Vincolo Tangente: Riduzione della stabilità e della convergenza.
• Senza Sottospazio: Degradazione significativa dell'efficienza di query a causa della difficoltà del campionamento casuale in alta dimensionalità.

Significato e Rivendicazioni

Il documento sostiene che l'inefficienza degli attacchi basati sulla decisione esistenti derivi da un sottoutilizzo della struttura geometrica locale del confine di decisione. Imponendo esplicitamente gli aggiornamenti a un sottospazio tangente e disaccoppiando l'approssimazione del confine dall'esplorazione della direzione, TSBA fornisce un meccanismo rigoroso per:

1. Stabilizzare il processo di ricerca evitando l'espansione radiale delle perturbazioni.
2. Ridurre la varianza nelle direzioni campionate.
3. Ottenere un'efficienza di query comparabile o superiore ai metodi di stima del gradiente senza effettivamente stimare i gradienti.

Gli autori concludono che TSBA evidenzia il ruolo fondamentale della geometria locale del confine di decisione nella vulnerabilità avversaria e offre una nuova direzione per progettare attacchi black-box efficienti. Notano che il loro approccio suggerisce che le perturbazioni avversarie possono essere ottimizzate efficacemente all'interno di una struttura tangente a bassa dimensionalità.

Il lavoro futuro proposto prevede l'indagine sull'apprendimento adattivo del sottospazio, il controllo dinamico del passo, le estensioni ai dati video e 3D, nonché l'esplorazione di garanzie teoriche sulla convergenza e sulla complessità delle query.