Sintesi Tecnica: Vulnerabilità Avversaria derivante dall'Interferenza tra Feature in Superposizione

Definizione del Problema

Nonostante gli estesi studi, gli esempi avversari rimangono scarsamente compresi a livello meccanicistico. Sebbene le spiegazioni esistenti attribuiscano la vulnerabilità alla geometria ad alta dimensione, a pattern non robusti nei dati di input o alle strutture dei confini decisionali, nessuna fornisce un meccanismo a livello di rappresentazione che spieghi perché specifiche perturbazioni abbiano successo o perché gli attacchi si trasferiscano tra i modelli. Manca un account predittivo che colleghi gli interventi di robustezza alla struttura della rappresentazione. Questo articolo affronta tale lacuna investigando se la vulnerabilità avversaria derivi dalla compressione efficiente delle informazioni nelle reti neurali, specificamente attraverso il fenomeno della superposizione.

Metodologia

Gli autori propongono un framework meccanicistico in cui le reti neurali rappresentano più concetti (feature) di quanti ne abbiano le dimensioni ($M \gg d$) codificandoli come direzioni non ortogonali nello spazio delle attivazioni. Questo impacchettamento crea interferenza, dove l'attivazione di una feature influenza le altre. Lo studio valida questa ipotesi attraverso tre setting primari:

1. Task Argmax Sintetico: Una rete con bottleneck minimale e una mappatura input-classe a forma chiusa. Qui, $k$ classi sono compresse in $m$ dimensioni latenti ($m < k$). Gli autori controllano le correlazioni di input (non correlate, accoppiate, globali) per manipolare la geometria delle feature. Questo setting permette il calcolo delle perturbazioni ground-truth e il confronto diretto tra attacchi empirici (PGD) e ottimi teorici derivati dalla geometria dell'interferenza.
2. Vision Transformers (ViT) Realistici: Modelli addestrati su CIFAR-10/100, STL-10 e TinyImageNet con bottleneck dimensionali ingegnerizzati inseriti prima della testa di classificazione. Questo testa se le firme geometriche predette dalla teoria emergono in reti profonde e non lineari.
3. Addestramento Regolarizzato senza Bottleneck Espliciti: Modelli ViT addestrati con diversi livelli di weight decay per indurre rappresentazioni a basso rango (bottleneck effettivi) senza vincoli architettonici espliciti, testando se la riduzione del rango da sola inneschi il meccanismo di vulnerabilità.

Strumenti Analitici Chiave:

• Ipotesi della Rappresentazione Lineare (LRH): Trattare i logit delle classi come proiezioni lineari dei vettori delle feature.
• Metriche di Interferenza: Quantificare la non-ortogonalità dei vettori delle feature delle classi ($w_i^\top w_j$) e misurare come le perturbazioni si allineano con la "geometria dell'interferenza" definita dalla differenza tra i vettori delle classi target e sorgente.
• Allineamento dell'Attacco: Confrontare la direzione delle perturbazioni scoperte tramite PGD contro le perturbazioni teoricamente ottime derivate dalla geometria dell'interferenza ($\delta \propto W_e^\top (w_k - w_j)$).

Contributi Chiave

1. Account Meccanicistico della Vulnerabilità: Il paper stabilisce un legame diretto tra la geometria della superposizione e la vulnerabilità avversaria. Dimostra che le correlazioni dei dati vincolano l'arrangiamento delle feature in superposizione, il quale determina i pattern di interferenza. Questi pattern, a loro volta, dettano quali perturbazioni abbiano successo e perché gli attacchi si trasferiscano tra i modelli.
2. La Superposizione come Condizione Sufficiente: Gli autori forniscono prove teoriche ed empiriche che la superposizione è una condizione sufficiente (sebbene non necessaria) per la vulnerabilità avversaria. Le rappresentazioni non ortogonali creano un'interferenza sfruttabile, completando le spiegazioni esistenti basate sulle proprietà dei dati o sui fattori architettonici.
3. Validazione in Setting Realistici: Lo studio valida che le firme geometriche predette dalla teoria appaiono in setting realistici (ViT su dataset standard), dimostrando che l'interferenza della testa di classificazione governa la struttura dell'attacco nello spazio di input anche in reti profonde e complesse.

Risultati Chiave

1. Sfruttamento dell'Interferenza

Nei setting sintetici, gli attacchi basati sul gradiente (PGD) sfruttano sistematicamente l'interferenza tra le feature in superposizione.

• Allineamento: Le perturbazioni scoperte da PGD si allineano fortemente con le perturbazioni teoricamente ottime derivate dalla geometria dell'interferenza (Similarità del Coseno $> 0.92$ attraverso le configurazioni).
• Meccanismo: Le perturbazioni non sono arbitrarie; il loro segno e la loro magnitudo sono determinati dall'allineamento delle feature di input con il vettore di attacco latente. Le feature che interferiscono costruttivamente con la classe target vengono amplificate, mentre quelle che interferiscono con la sorgente vengono soppresse.

2. Ruolo delle Correlazioni di Input

Le correlazioni di input vincolano l'arrangiamento geometrico dei vettori delle feature:

• Dati Non Correlati: Risultano in geometrie altamente variabili tra i diversi seed casuali.
• Dati Correlati: Forzano le feature in arrangiamenti specifici e stabili (es. le correlazioni globali fissano un ordinamento ciclico).
• Impatto: Correlazioni più forti riducono i gradi di libertà geometrici, forzando diverse inizializzazioni verso arrangiamenti simili.

3. Trasferibilità dell'Attacco

La trasferibilità dell'attacco è governata da pattern di interferenza condivisi.

• Correlazione: I tassi di trasferimento correlano fortemente con la similarità geometrica.
  • Dati non correlati: ~5% di tasso di trasferimento.
  • Correlazioni accoppiate: ~33% di tasso di trasferimento.
  • Correlazioni globali: ~98% di tasso di trasferimento.
• Spiegazione: Quando i modelli condividono una geometria di superposizione simile, l'interferenza che era costruttiva nel modello sorgente rimane costruttiva nel modello target, permettendo un'alta trasferibilità.

4. Validazione ViT nel Mondo Reale

• Predizione della Struttura: Nei ViT con bottleneck, il profilo di attacco nello spazio di input (come i pixel vengono perturbati) correla fortemente con il profilo di interferenza nello spazio latente (come i vettori delle classi interferiscono). La correlazione ($\bar{\rho}$) raggiunge 0.89 per bottleneck stretti ($m/k=0.2$) e scende man mano che il bottleneck si rilassa.
• Consistenza: I pattern di interferenza sono coerenti attraverso i seed casuali, riflettendo la semantica dei dati (es. classi semanticamente simili come 'gatto' e 'cane' sviluppano rappresentazioni non ortogonali) piuttosto che il rumore di ottimizzazione.
• Effetti della Regolarizzazione: Anche senza bottleneck espliciti, aumentare il weight decay riduce la dimensione effettiva della rete, aumentando l'entità dell'interferenza e la vulnerabilità agli attacchi, suggerendo che la regolarizzazione standard possa involontariamente creare vulnerabilità avversarie.

Significato e Rivendicazioni

Il paper sostiene che la vulnerabilità avversaria può essere un sottoprodotto della compressione rappresentativa della rete. Impacchettando più feature rispetto alle dimensioni, le reti introducono pattern di interferenza che gli avversari possono sfruttare.

• Potere Predittivo: Il framework offre previsioni testabili: gli attacchi dovrebbero allinearsi con le perturbazioni ottime derivate dalla geometria, e la trasferibilità dovrebbe verificarsi quando i modelli condividono simili pattern di interferenza.
• Spiegazione Complementare: Questo meccanismo non sostituisce le spiegazioni esistenti (es. feature non robuste o curvatura del confine decisionale) ma le completa fornendo un account a livello di rappresentazione del perché specifiche direzioni siano sensibili.
• Implicazioni per la Sicurezza: Le scoperte suggeriscono che la dimensionalità della rappresentazione e il grado di superposizione sono componenti critiche della sicurezza del modello. Gli interventi che alterano la geometria delle feature (es. tramite regolarizzazione o cambiamenti architettonici) potrebbero impattare significativamente la robustezza.

Gli autori mantengono un approccio modesto, osservando che la superposizione è sufficiente ma non necessaria per la vulnerabilità, e che i meccanismi precisi possono variare per attacco e modello. Il lavoro si concentra su feature con etichette note, con la necessità di futuri lavori per estendere queste scoperte agli strati intermedi tramite metodi di scoperta delle feature.