NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

Probleemstelling

Neurale netwerken, en met name Convolutionele Neural Networks (CNN's), zijn kwetsbaar voor adversarial examples: invoer met kleine, vaak onzichtbare verstoringen die leiden tot verkeerde classificaties. Hoewel er veel onderzoek is gedaan naar adversarial training (het trainen van modellen met deze aanvalsinvoer), wordt de ontwerpfase van de architectuur zelf vaak genegeerd. Bestaande methoden voor Neuroevolutie (NE) en Neural Architecture Search (NAS) richten zich voornamelijk op predictive performance op schone data en negeren vaak de inherente kwetsbaarheid van de gegenereerde modellen.

Bestaande NE-approaches voor robuustheid hebben twee belangrijke beperkingen:

1. Ze gebruiken vaak beperkte zoekruimtes (bijv. cell-based met vaste backbones), wat de ontdekking van nieuwe topologieën verhindert.
2. Ze integreren adversarial training tijdens de evolutionaire zoektocht. Dit maakt het moeilijk om te bepalen of de robuustheid voortkomt uit de architectuur zelf of slechts een bijproduct is van de training.

Methodologie: NERO-Net

De auteurs stellen NERO-Net voor, een neuroevolutionair raamwerk gebaseerd op het Fast-DENSER-algoritme, specifiek ontworpen om CNN's te vinden met inherent (inherent) robuustheid.

Kernprincipes:

• Geen Adversarial Training tijdens de zoektocht: Het evolutionaire proces gebruikt standaard training (niet-robust). De fitness-functie evalueert de prestaties op zowel schone data als data met adversarial perturbaties. Dit isoleert de bijdrage van de architectuur aan de robuustheid.
• Fitness Functie ($F_\beta$): In plaats van alleen nauwkeurigheid te maximaliseren, gebruikt NERO-Net een gewogen harmonische score die schone nauwkeurigheid ($C$) en adversarial nauwkeurigheid ($A$) combineert:
  $$F_\beta = \frac{(1 + \beta^2) \cdot C \cdot A}{C + \beta^2 \cdot A}$$
  Hierbij controleert $\beta$ de weging tussen schone en aanvalsnauwkeurigheid.
• Warm-up Periode: Om te voorkomen dat de evolutie vastloopt in een lokale optimum door te vroeg te focussen op robuustheid, wordt de zoektocht eerst gestart met alleen schone nauwkeurigheid als doel. Zodra een drempelwaarde ($\tau$) wordt bereikt, schakelt het systeem over naar de gecombineerde fitness-functie.
• Validatie van Individueel: Er zijn mechanismen ingebouwd om "ill-fitted" individuen (bijv. numerieke instabiliteit of modellen die slechts één klasse voorspellen) te detecteren en te straffen, omdat deze kunstmatig hoge robuustheidsscores kunnen behalen zonder echte leerprestaties.

Representatie en Variatie:

• Blokbased Architectuur: In plaats van individuele lagen te coderen, gebruikt NERO-Net "blocks" (bijv. conv-blocks) die convolutie, activering en batch-normalisatie combineren. Dit verkleint de zoekruimte en maakt het mogelijk om geavanceerde patronen te vinden.
• Flexibele Connectiviteit: Het systeem ondersteunt "skip connections" die niet beperkt zijn tot de directe voorganger, waardoor complexere topologieën mogelijk zijn dan in traditionele cell-based NAS.
• Zoekruimte: De zoekruimte is gebaseerd op een DenseNet-achtige backbone met variabele macro-nodes en transition-blocks, en omvat ook de evolutie van hyperparameters voor het trainingsproces (optimizer, learning rate, etc.).

Belangrijkste Bijdragen

1. NERO-Net Framework: Een nieuw neuroevolutionair raamwerk dat robuustheid integreert in de fitness-evaluatie zonder adversarial training tijdens de evolutie.
2. Flexibele Genotypische Representatie: Een nieuwe codering die aanpasbare computatieblokken en een breder spectrum aan topologische connectiviteitspatronen mogelijk maakt, wat de zoekruimte vergroot ten opzichte van bestaande cell-based methoden.
3. Aanwijzing van Inherent Robuustheid: Het bewijs dat evolutionaire zoektochten succesvol architecturen kunnen vinden die intrinsiek robuust zijn, zelfs zonder gespecialiseerde defensiemethoden tijdens het trainen.

Resultaten

De methode werd getest op het CIFAR-10 dataset, met een focus op $L_\infty$-robuustheid.

Tijdens de Evolutionaire Zoektocht:

• Het beste gevonden individu bereikte 87% schone nauwkeurigheid en 33% adversarial nauwkeurigheid (tegen een FGSM-aanval) na standaard training.
• Dit toont aan dat de architectuur zelf al aanzienlijke weerstand biedt tegen aanvalsinvoer.

Na Verdere Training:

• Verlengde Standaard Training: Na extra standaard training (zonder adversarial examples) steeg de prestatie naar 93% schone nauwkeurigheid en 47% adversarial nauwkeurigheid (FGSM).
• Adversarial Training: Wanneer het beste model vervolgens werd onderworpen aan adversarial training, bereikte het 40% nauwkeurigheid tegen de sterke AutoAttack (AA) ensemble.
• Multi-threat Robuustheid: Hoewel de evolutie specifiek gericht was op $L_\infty$-robuustheid, toonde het model ook onverwachte weerstand tegen $L_2$-gebonden verstoringen, wat suggereert dat de gevonden architectuur breed inzetbaar is.

Vergelijking:
Hoewel het model na adversarial training iets lagere scores behaalde dan een vergelijkbaar NAS-model (NSGA-Net) onder $L_\infty$-aanvallen, presteerde het NERO-Net-model aanzienlijk beter onder $L_2$-aanvallen en behield het een hogere algehele nauwkeurigheid na standaard training.

Betekenis en Conclusie

Het paper demonstreert dat neuroevolutie een krachtige tool kan zijn voor het ontwerpen van veilige AI-systemen. De belangrijkste inzichten zijn:

• Architectuur is cruciaal: Robuustheid is niet alleen een kwestie van training, maar ook van de onderliggende architectuur.
• Isolatie van factoren: Door adversarial training tijdens de evolutie te vermijden, kan men de echte bijdrage van de architectuur aan de veiligheid meten.
• Toekomstperspectief: Hoewel de huidige resultaten veelbelovend zijn, suggereert de auteurs dat verdere optimalisatie van de adversarial training-instellingen voor de gevonden architecturen (die vaak groter zijn dan standaard modellen) de prestaties nog verder kunnen verbeteren. Het paper benadrukt ook de noodzaak van efficiëntere evaluatiemethoden om de hoge rekentijd van neuroevolutie te verminderen.

Kortom, NERO-Net biedt een nieuwe weg naar het automatisch ontwerpen van neurale netwerken die niet alleen nauwkeurig zijn, maar ook van nature bestand tegen manipulatie.