GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness

Riepilogo Tecnico: GRAPE (Guided Parameter-Space Evolution)

Problematica
L'Addestramento Avversario (AT) è l'approccio standard per potenziare la robustezza delle reti neurali, tuttavia opera tipicamente sotto l'assunto che lo spazio dei parametri ottimizzabili rimanga fisso durante l'intero processo di addestramento. Sebbene le maggiori capacità del modello siano spesso correlate a una migliore accuratezza robusta, ricerche precedenti indicano che la robustezza non aumenta monotonicamente con il numero di parametri. Inoltre, i metodi esistenti spesso assumono che il numero totale di parametri statici, definito prima dell'addestramento, determini esclusivamente la capacità robusta del modello. Questo articolo mette in discussione l'assunto implicito secondo cui l'intero spazio dei parametri debba essere esposto sin dall'inizio dell'addestramento. Esso postula che l'ordine con cui lo spazio dei parametri viene esposto ed espanso durante l'addestramento possa influenzare significativamente la soluzione robusta finale, anche se l'architettura della rete finale rimane invariata.

Metodologia: GRAPE
Gli autori propongono GROGLE (Guided Parameter-Space Evolution), un framework di addestramento progettato per ottenere una robustezza avversaria compatta trattando l'apprendimento robusto come un processo dinamico di esposizione, stabilizzazione ed espansione dello spazio dei parametri. GRAPE è composto da due componenti primarie:

1. Stabilizzazione dello Spazio dei Parametri: Prendendo in prestito tecniche di smoothing locale come AWP e ISEAT, questa componente stabilizza il processo di ottimizzazione locale all'interno dell'attuale spazio dei parametri. Utilizza un termine di smoothing adattivo all'istanza ($L_{stab}$) nell'obiettivo di addestramento per ridurre i paesaggi di perdita (loss landscapes) ripidi, garantendo traiettorie di ottimizzazione robusta stabili prima e dopo l'espansione della capacità.
2. Espansione Nascosta Progressiva Guidata: A differenza dell'AT a struttura fissa, GRAPE rilascia progressivamente nuove dimensioni ottimizzabili durante l'addestramento.
   • Meccanismo: Il framework parte con una capacità nascosta ridotta (inizialmente 0,25× la larghezza standard) ed espande specifici blocchi residui nel tempo. I nuovi canali nascosti sono inizializzati per produrre un output prossimo allo zero (tramite proiezioni di output inizializzate a zero) per preservare la funzione del modello immediatamente dopo la crescita, garantendo una transizione fluida.
   • Strategia di Guida: Per determinare dove espandere la capacità, GRAPE utilizza uno Score di Utilizzo Spettrale Avversario. Questo punteggio viene calcolato sugli output post-shortcut dei blocchi residui utilizzando il rango effettivo (derivato dall'entropia spettrale dei valori singolari) delle rappresentazioni avversarie. Lo score ($u_l$) rappresenta la dimensione effettiva avversaria supportata per unità di capacità nascosta. I blocchi con punteggi più elevati (che indicano una maggiore pressione di capacità) vengono selezionati per l'espansione.

L'obiettivo di addestramento evolve da uno spazio dei parametri più piccolo $\Theta_0$ a uno più grande $\Theta_T$ ($\Theta_0 \subset \Theta_1 \subset \dots \subset \Theta_T$), guidato dallo score di utilizzo spettrale per allocare la nuova capacità ai moduli ad alta pressione.

Contributi Chiave

• Riconcettualizzazione della Capacità Robusta: L'articolo sostiene che la capacità robusta di un modello non debba essere spiegata unicamente dal numero statico di parametri, ma debba tenere conto del percorso progressivo di esposizione ed espansione dello spazio dei parametri durante l'addestramento.
• Il Framework GRAPE: Un nuovo metodo di addestramento che combina la stabilizzazione locale dello spazio dei parametri con l'espansione nascosta progressiva guidata, permettendo al modello di assorbire nuovi gradi di libertà gradualmente anziché cercare un intero spazio ad alta dimensionalità sin dall'inizio.
• Validazione Empirica del Percorso di Esposizione: Attraverso una variante "Stabilized Sequential Grow" (che preserva l'architettura finale ResNet-18 ma fa crescere i blocchi in un ordine fisso), gli autori dimostrano che il guadagno in robustezza non è dovuto esclusivamente alle differenze architettoniche, ma è intrinsecamente legato al percorso di esposizione dello spazio dei parametri.
• Compattezza ed Efficienza: Il metodo raggiunge una maggiore accuratezza robusta con meno parametri sotto un budget computazionale corrispondente (FLOPs), suggerendo che l'evoluzione guidata può formare configurazioni di parametri più compatte e robuste.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset CIFAR-10 sotto il modello di minaccia standard $\ell_\infty$ ($\epsilon = 8/255$) utilizzando backbone ResNet-18.

• Performance: Rispetto all'AT con struttura fissa su ResNet-18 (baseline accuratezza PGD-20: 51,70%), GRAPE ha raggiunto il 56,94% di accuratezza robusta PGD-20. Ciò rappresenta un miglioramento relativo di circa il 10,1%.
• Efficienza: Questo miglioramento è stato ottenuto con un budget computazionale quasi identico (rapporto FLOPs: 1,009×) riducendo il numero di parametri di circa il 21,4% (Rapporto Parametri: 0,786×).
• Approfondimenti dalle Ablation:
  • Stabilized Seq-Grow: Una variante che fa crescere i blocchi sequenzialmente (da B1 a B8) senza guida basata su score ma preservando l'architettura finale ResNet-18, ha raggiunto il 56,52% di accuratezza. Questo conferma che il percorso di esposizione progressiva contribuisce al guadagno, indipendentemente dalla forma finale dell'architettura.
  • Guida tramite Score: GRAPE (con guida tramite score) ha superato la variante sequential grow, indicando che l'allocazione della capacità ai moduli ad alta pressione basata sull'utilizzo spettrale migliora ulteriormente l'efficienza e la robustezza.
  • Stabilizzazione: La combinazione di stabilizzazione e crescita guidata (GRAPE) si è dimostrata superiore alla sola crescita guidata (AT-Grow).

Significato e Rivendicazioni
L'articolo afferma che la capacità robusta dei modelli addestrati in modo avversario non è semplicemente una funzione dell'architettura statica finale o del numero totale di parametri. Invece, è significativamente influenzata da come lo spazio dei parametri viene organizzato, esposto ed espanso durante il processo di addestramento. Mimando il principio di alto livello della plasticità dello sviluppo — dove i percorsi rappresentazionali vengono progressivamente formati e stabilizzati — GRAPE dimostra che una configurazione dello spazio dei parametri più compatta e robusta può essere formata sotto budget computazionali corrispondenti. Il lavoro suggerisce che il "percorso di rilascio della capacità" è un fattore critico nell'ottimizzazione avversaria, offrendo una nuova prospettiva che va oltre il semplice ampliamento della capacità del modello o la modifica dell'obiettivo avversario.

Gli autori segnalano limitazioni, tra cui l'attenzione su CIFAR-10 e ResNet-18, la necessità di studi sistematici sugli iperparametri e la mancanza di un'analisi teorica profonda su come l'evoluzione dello spazio dei parametri alteri la geometria dell'ottimizzazione avversaria. Essi sottolineano che l'obiettivo non è la riduzione dei parametri fine a se stessa, ma la formazione di una configurazione robusta più efficiente attraverso l'evoluzione dinamica.