Riassunto Tecnico: Uno Studio Empirico sull'Influenza del Fine-Tuning Avversariale sulle Reti Neurali Compress

Enunciato del Problema

I modelli di Deep Learning (DL) sono sempre più integrati in applicazioni critiche per la sicurezza, rendendo necessaria una robustezza contro gli attacchi avversariali. Tuttavia, garantire tale robustezza richiede tipicamente un addestramento avversariale, che introduce un significativo sovraccarico computazionale dovuto alla generazione di esempi avversariali durante l'addestramento. Al contrario, le tecniche di compressione dei modelli (come il pruning e la quantizzazione) sono impiegate per migliorare l'efficienza computazionale e ridurre il consumo energetico, ma spesso degradano le prestazioni del modello e, crucialmente, la robustezza avversariale. Ciò crea un conflitto tra gli obiettivi di efficienza computazionale e robustezza avversariale. La domanda centrale affrontata da questo lavoro è se la robustezza avversariale possa essere ottenuta in modo efficiente per reti neurali già compresse, senza sostenere l'intero costo dell'addestramento avversariale da zero.

Metodologia

Gli autori propongono un approccio in due fasi: prima comprimere un modello standard, e poi applicare un fine-tuning avversariale invece di un addestramento avversariale completo. Lo studio si concentra su due metodi di compressione principali:

1. Pruning Strutturato: Nello specifico, pruning dei filtri basato sulla norma $\ell_1$ per le Reti Neurali Convoluzionali (CNN). I filtri con la norma $\ell_1$ più bassa vengono rimossi, insieme alle corrispondenti feature di output negli strati successivi.
2. Quantizzazione: Viene utilizzata la Quantizzazione Post-Addestramento (PTQ), impiegando una quantizzazione simmetrica per i pesi e una quantizzazione asimmetrica per le mappe di attivazione, per bilanciare precisione e semplicità computazionale.

Il quadro sperimentale coinvolge tre fasi principali:

• Addestramento di Base: Addestramento di modelli standard ($f_{st}$) e di modelli completamente addestrati in modo avversariale ($f_{rb}$) da zero.
• Compressione: Applicazione del pruning o della quantizzazione ai modelli addestrati.
• Fine-Tuning: Applicazione di un fine-tuning standard ($T_{st}$) o di un fine-tuning avversariale ($T_{ad}$) ai modelli compressi. Il fine-tuning avversariale consiste nel minimizzare la perdita avversariale (utilizzando la Discesa del Gradiente Proiettata, PGD) per un numero limitato di epoche (tipicamente tre), partendo dai pesi pre-addestrati e compressi.

Lo studio valuta questi metodi su più dataset (MNIST, FashionMNIST, SVHN, CIFAR-10, CIFAR-100, TinyImageNet) e architetture (WideResNet, Vision Transformer e CNN personalizzate). La robustezza viene valutata utilizzando AutoAttack (nello specifico APGD-CE e APGD-DLR) per fornire un limite inferiore affidabile sull'accuratezza robusta.

Contributi Chiave

1. Fine-Tuning Avversariale per Modelli Compressi: Il paper introduce e convalida il fine-tuning avversariale come meccanismo efficiente per ripristinare e migliorare la robustezza dei modelli compressi.
2. Studio Empirico Completo: Gli autori conducono esperimenti estesi confrontando il fine-tuning standard con il fine-tuning avversariale su modelli sottoposti sia a pruning (a vari rapporti di sparsità) sia a quantizzazione (a varie larghezze in bit).
3. Confronto Equo sulla Compressione: Lo studio sintonizza sistematicamente i livelli di compressione (ad esempio, abbinando un pruning con sparsità dell'80% a una quantizzazione INT8) per garantire confronti equi tra diverse tecniche di compressione basati sulle prestazioni di test.

Risultati

I risultati sperimentali dimostrano che il fine-tuning avversariale dei modelli compressi produce miglioramenti significativi nella robustezza, mantenendo al contempo l'efficienza computazionale:

• Ripristino della Robustezza: I modelli standard compressi ($f^c_{st}$) che inizialmente mostrano una robustezza vicina allo zero (ad esempio, ~0% su CIFAR-10) possono raggiungere una robustezza paragonabile a quella dei modelli completamente addestrati in modo avversariale ($f^c_{rb}$) dopo sole tre epoche di fine-tuning avversariale. Ad esempio, su MNIST con WideResNet, il fine-tuning avversariale di un modello standard pruning ha aumentato la robustezza da ~22% (con fine-tuning standard) a ~92%, eguagliando le prestazioni di un modello addestrato avversarialmente da zero.
• Guadagni di Efficienza: Il costo computazionale del fine-tuning avversariale è sostanzialmente inferiore rispetto all'addestramento avversariale completo. Su CIFAR-10, il tempo necessario per raggiungere la robustezza è sceso da circa 118 minuti (addestramento avversariale completo) a circa 14 minuti per i modelli compressi, e ulteriormente a ~10 minuti per il fine-tuning avversariale dei modelli compressi.
• Generalizzabilità: Gli effetti positivi del fine-tuning avversariale sono stati osservati su diversi dataset, architetture di modelli (CNN, ViT) e metodi di compressione (pruning, quantizzazione e fattorizzazione tensoriale).
• Modelli Standard vs. Robusti: Lo studio nota che, mentre il fine-tuning standard aiuta a recuperare l'accuratezza di test per i modelli pruning, spesso fallisce nel recuperare la robustezza. Al contrario, il fine-tuning avversariale recupera sia l'accuratezza di test sia la robustezza, portando spesso le prestazioni dei modelli standard compressi vicino a quelle dei modelli robusti compressi.

Significato e Affermazioni

Il paper afferma che il fine-tuning avversariale funge da "sostituto leggero" per l'addestramento avversariale completo, in particolare quando combinato con la compressione del modello. Gli autori sostengono che questo approccio permetta di cumulare i guadagni di efficienza: il modello viene prima reso efficiente attraverso la compressione e poi reso robusto attraverso un processo di fine-tuning computazionalmente economico.

Il significato risiede nella risoluzione del compromesso tra efficienza e sicurezza. I risultati suggeriscono che è possibile distribuire modelli che sono sia computazionalmente efficienti (grazie alla compressione) sia robusti contro gli attacchi avversariali (grazie al fine-tuning), senza incorrere nei costi proibitivi dell'addestramento di modelli robusti da zero. Gli autori concludono che questo metodo fornisce un percorso pratico per distribuire modelli di deep learning sicuri e vincolati dalle risorse in applicazioni del mondo reale.

Nota: Il paper riconosce limitazioni, come la dipendenza del numero ottimale di epoche di fine-tuning da compiti e dataset specifici, e nota che per dataset altamente complessi come CIFAR-100 e TinyImageNet, i guadagni di robustezza sono stati meno pronunciati rispetto a dataset più semplici.