NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

1. Il Problema

Le Reti Neurali Artificiali (ANN), in particolare le CNN per la classificazione di immagini, sono vulnerabili agli esempi avversari: input modificati con piccole perturbazioni impercettibili all'occhio umano che inducono il modello a commettere errori di classificazione.
Attualmente, la difesa standard è l'addestramento avversario (adversarial training), che include esempi perturbati nel set di dati di training. Tuttavia, questo approccio presenta limiti:

• Spesso nasconde il contributo intrinseco dell'architettura alla robustezza, rendendo difficile distinguere se la resilienza deriva dalla struttura della rete o solo dal processo di training.
• La maggior parte dei lavori di Neuroevolution (NE) e Neural Architecture Search (NAS) si concentra sulla performance predittiva su dati puliti, trascurando la robustezza intrinseca.
• Gli spazi di ricerca esistenti sono spesso vincolati (es. basati su "celle" fisse) o utilizzano metriche surrogate inefficienti, limitando la scoperta di topologie innovative.

2. Metodologia: NERO-Net

Gli autori propongono NERO-Net, un framework di neuroevoluzione basato sull'algoritmo Fast-DENSER, progettato per evolvere architetture CNN intrinsecamente robuste senza ricorrere all'addestramento avversario durante il ciclo evolutivo.

Componenti Chiave della Metodologia:

• Funzione di Fitness Ibrida ($F_\beta$):
  A differenza dei metodi tradizionali che ottimizzano solo l'accuratezza su dati puliti, NERO-Net utilizza una funzione di fitness che combina l'accuratezza su dati puliti ($C$) e l'accuratezza avversaria ($A$) tramite un punteggio armonico pesato:
  $$F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$$
  I candidati vengono addestrati con metodi standard (non robusti). La robustezza misurata è quindi una proprietà intrinseca dell'architettura, non un artefatto dell'addestramento avversario.
• Valutazione Efficiente:
  Durante la ricerca evolutiva, l'accuratezza avversaria è stimata utilizzando l'attacco FGSM (Fast Gradient Sign Method) in norma $L_\infty$. Sebbene FGSM sia un attacco a passo singolo, è scelto per bilanciare il costo computazionale e la necessità di mantenere una pressione selettiva (attacchi più forti come PGD porterebbero l'accuratezza avversaria a zero per quasi tutti i candidati, bloccando l'evoluzione).
• Rappresentazione Genotipica Flessibile:
  • Blocchi di Livelli: Invece di evolvere singoli livelli, il sistema evolve blocchi composti (es. convoluzione + attivazione + normalizzazione di batch), permettendo un'ottimizzazione più fine dell'ordinamento interno delle operazioni.
  • Connessioni Skip Dinamiche: Viene rimossa la restrizione che imponeva a ogni livello di connettersi al precedente immediato. Questo permette connessioni "skip" più flessibili (simili a quelle di DenseNet o ResNet ma con maggiore libertà topologica).
  • Parametri Reali: Introduzione di nuovi tipi di parametri per gestire efficientemente valori decimali e potenze di 2/10.
• Fase di Riscaldamento (Warm-up):
  Per evitare che la ricerca converga prematuramente su soluzioni degeneri (es. modelli che indovinano una sola classe), viene introdotta una fase iniziale in cui la fitness è basata solo sull'accuratezza su dati puliti. Solo quando la popolazione raggiunge una soglia di performance ($\tau$), viene attivata la funzione di fitness completa $F_\beta$.
• Rilevamento di Individui Non Adatti:
  Vengono implementati controlli per scartare individui con instabilità numerica (loss NaN) o classificazione banale (predizione di una sola classe per la maggior parte dei campioni).

3. Contributi Chiave

1. Framework NERO-Net: Un approccio di neuroevoluzione che co-ottimizza accuratezza e robustezza avversaria, isolando il contributo dell'architettura dalla robustezza indotta dal training.
2. Rappresentazione Genotipica Estesa: Un nuovo schema di codifica che supporta blocchi computazionali complessi e pattern di connettività topologica più ampi rispetto ai NAS basati su celle fisse.
3. Dimostrazione di Robustezza Intrinseca: Evidenza empirica che l'evoluzione può scoprire architetture resilienti agli attacchi avversari anche quando addestrate esclusivamente con metodi standard.
4. Robustezza Multi-Minaccia: Scoperta che modelli ottimizzati per la norma $L_\infty$ mostrano una robustezza significativa anche contro perturbazioni $L_2$, non viste durante la ricerca.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CIFAR-10.

• Durante la Ricerca Evolutiva:
  • L'individuo più adatto (fittest) ha raggiunto un'accuratezza avversaria del 33% contro FGSM ($L_\infty$) e un'accuratezza su dati puliti dell'87%, utilizzando solo addestramento standard.
  • Questo dimostra che l'architettura stessa possiede proprietà difensive.
• Addestramento Esteso (Standard):
  • Dopo un ulteriore addestramento standard (fino a 350 epoche), le metriche sono salite a 93% di accuratezza pulita e 47% contro FGSM.
• Addestramento Avversario (Post-Evoluzione):
  • Applicando l'addestramento avversario (PGD) all'architettura evoluta, l'accuratezza contro l'attacco AutoAttack (AA) è salita al 40%.
  • Sebbene inferiore ad alcuni modelli NAS ottimizzati specificamente per l'addestramento avversario (es. NSGA-Net che raggiunge ~47% in AA), il modello NERO-Net mostra una superiorità significativa quando addestrato con metodi standard.
• Robustezza Trasversale:
  • Il modello evoluto ha mostrato una forte resistenza anche alle perturbazioni $L_2$ (accuratezza ~77% contro FGM e ~72% contro PGD20 dopo addestramento avversario), nonostante fosse stato ottimizzato solo per $L_\infty$.

5. Significato e Implicazioni

Il lavoro di NERO-Net è significativo perché sfida la convinzione comune secondo cui la robustezza avversaria richieda necessariamente un addestramento avversario costoso e specifico.

• Design Intrinseco: Dimostra che la scelta dell'architettura è un fattore determinante per la sicurezza dei modelli, non solo il metodo di training.
• Efficienza della Ricerca: Pur avendo uno spazio di ricerca più complesso e costoso rispetto ai NAS basati su celle, NERO-Net riesce a navigare con successo questo spazio per trovare soluzioni robuste.
• Scalabilità e Futuro: Il paper evidenzia che i modelli evoluti possono essere più grandi (26M parametri vs 3M di NSGA-Net) e richiedere più risorse per convergere, suggerendo che l'ottimizzazione degli iperparametri di training specifici per l'architettura evoluta potrebbe migliorare ulteriormente i risultati.

In sintesi, NERO-Net offre un nuovo paradigma per la progettazione di reti neurali sicure, spostando il focus dalla sola difesa durante il training alla progettazione di architetture che sono naturalmente più difficili da ingannare.