GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness

Technische Samenvatting: GRAPE (Guided Parameter-Space Evolution)

Probleemstelling
Adversarial Training (AT) is de standaardmethode voor het verbeteren van de robuustheid van neurale netwerken, maar gaat doorgaans uit van de aanname dat de optimaliseerbare parameterruimte gedurende het hele trainingsproces constant blijft. Hoewel grotere modelcapaciteiten vaak correleren met een verbeterde robuuste nauwkeurigheid, wijst eerder onderzoek erop dat robuustheid niet monotoon toeneemt met het aantal parameters. Bovorm de bestaande methoden gaan vaak uit van de aanname dat het statische totaal aantal parameters dat vóór de training is gedefinieerd, alleen de robuuste capaciteit van het model bepaalt. Dit artikel daagt de impliciete aanname uit dat de gehele parameterruimte vanaf het begin van de training moet worden blootgesteld. Het stelt dat de volgorde waarin de parameterruimte tijdens de training wordt blootgesteld en uitgebreid, de uiteindelijke robuuste oplossing aanzienlijk kan beïnvloeden, zelfs als de uiteindelijke netwerkarchitectuur ongewijzigd blijft.

Methodologie: GRAPE
De auteurs stellen GRAPE (Guided Parameter-Space Evolution) voor, een trainingsframework ontworpen om compacte adversariële robuustheid te bereiken door robuust leren te behandelen als een dynamisch proces van parameter-ruimte blootstelling, stabilisatie en expansie. GRAPE bestaat uit twee primaire componenten:

1. Parameter-Ruimte Stabilisatie: Geïnspireerd door lokale smoothing-technieken zoals AWP en ISEAT, stabiliseert deze component het lokale optimalisatieproces binnen de huidige parameterruimte. Het maakt gebruik van een instantie-adaptieve smoothing-term ($L_{stab}$) in de trainingsdoelstelling om scherpe loss-landschappen te verminderen, wat zorgt voor stabiele robuuste optimalisatietrajecten vóór en na capaciteitsexpansie.
2. Geleide Progressieve Verborgen Expansie: In tegen tegenstelling tot fixed-structure AT, brengt GRAPE progressief nieuwe optimaliseerbare dimensies vrij tijdens de training.
   • Mechanisme: Het framework begint met een verminderde verborgen capaciteit (aanvankelijk 0,25× de standaard breedte) en breidt specifieke residuale blokken in de loop van de tijd uit. Nieuwe verborgen kanalen worden geïnitialiseerd om een bijna nul-output te produceren (via zero-initialized output projecties) om de functie van het model direct na groei te behouden, wat een soepele overgang garandeert.
   • Guidance Strategie: Om te bepalen waar de capaciteit moet worden uitgebreid, maakt GRAPE gebruik van een Adversarial Spectral Utilization Score. Deze score wordt berekend op de post-shortcut outputs van residuale blokken met behulp van de effectieve rang (afgeleid van de spectrale entropie van singularwaarden) van adversariële representaties. De score ($u_l$) vertegenwoordigt de ondersteunde adversariële effectieve dimensie per eenheid verborgen capaciteit. Blokken met hogere scores (wat duidt op hogere capaciteitsdruk) worden geselecteerd voor expansie.

De trainingsdoelstelling evolueert van een kleinere parameterruimte $\Theta_0$ naar een grotere $\Theta_T$ ($\Theta_0 \subset \Theta_1 \subset \dots \subset \Theta_T$), geleid door de spectrale utilisatie-score om nieuwe capaciteit toe te wijzen aan modules met een hoge druk.

Belangrijkste Bijdragen

• Herconceptualisering van Robuuste Capaciteit: Het artikel betoogt dat de robuuste capaciteit van een model niet uitsluitend verklaard kan worden door het statische aantal parameters, maar dat er rekening gehouden moet worden met het progressieve blootstellings- en expansiepad van de parameterruimte tijdens de training.
• Het GRAPE Framework: Een nieuwe trainingsmethode die lokale parameter-ruimte stabilisatie combineert met geleide progressieve verborgen expansie, waardoor het model geleidelijk nieuwe vrijheidsgraden kan absorberen in plaats van vanaf het begin een volledige hoogdimensionale ruimte te doorzoeken.
• Empirische Validatie van het Blootstellingspad: Door middel van een "Stabilized Sequential Grow" variant (die de uiteindelijke ResNet-18 architectuur behoudt maar blokken in een vaste volgorde laat groeien), demonstreren de auteurs dat de winst in robuustheid niet louter toe te schrijven is aan architecturale verschillen, maar intrinsiek verbonden is aan het blootstellingspad van de parameterruimte.
• Compactheid en Efficiëntie: De methode bereikt een hogere robuuste nauwkeurigheid met minder parameters onder een gelijkwaardig computationeel budget (FLOPs), wat suggereert dat geleide evolutie compactere en robuustere parameterconfiguraties kan vormen.

Experimentele Resultaten
Experimenten werden uitgevoerd op de CIFAR-10 dataset onder het standaard $\ell_\infty$ dreigingsmodel ($\epsilon = 8/255$) met ResNet-18 backbones.

• Prestaties: Vergeleken met fixed-structure ResNet-18 AT (baseline PGD-20 nauwkeurigheid: 51,70%), bereikte GRAPE 56,94% PGD-20 robuuste nauwkeurigheid. Dit vertegenwoordigt een relatieve verbetering van ongeveer 10,1%.
• Efficiëntie: Deze verbetering werd bereikt met een bijna gelijkwaardig computationeel budget (FLOPs ratio: 1,009×) terwijl het aantal parameters met ongeveer 21,4% werd verminderd (Params Ratio: 0,786×).
• Ablatie Inzichten:
  • Stabilized Seq-Grow: Een variant die blokken sequentieel laat groeien (B1 tot B8) zonder score-guidance, maar wel de uiteindelijke ResNet-18 architectuur behoudt, behaalde 56,52% nauwkeurigheid. Dit bevestigt dat het progressieve blootstellingspad zelf bijdraagt aan de winst, onafhankelijk van de uiteindelijke architecturale vorm.
  • Score Guidance: GRAPE (met score-guidance) presteerde beter dan de sequential grow variant, wat aangeeft dat het toewijzen van capaciteit aan modules met een hoge druk op basis van spectrale utilisatie de efficiëntie en robuustheid verder verbetert.
  • Stabilisatie: De combinatie van stabilisatie en geleide groei (GRAPE) bleek superieur aan enkel geleide groei (AT-Grow).

Betekenis en Claims
Het artikel claimt dat de robuuste capaciteit van adversariële getrainde modellen niet louter een functie is van de uiteindelijke statische architectuur of het totale aantal parameters. In plaats daarvan wordt deze aanzienlijk beïnvloed door hoe de parameterruimte tijdens het trainingsproces wordt georganiseerd, blootgesteld en uitgebreid. Door de hoogwaardige principes van ontwikkelingsplasticiteit na te bootsen — waarbij representatieve paden progressief worden gevormd en gestabiliseerd — demonstreert GRAPE dat een compactere en robuustere parameterconfiguratie gevormd kan worden onder gelijke computationele budgetten. Het werk suggereert dat het "capaciteitsvrijgavepad" een cruciale factor is in adversariële optimalisatie, en biedt een nieuw perspectief dat verder gaat dan simpelweg het vergroten van de modelcapaciteit of het wijzigen van de adversariële doelstelling.

De auteurs merken beperkingen op, waaronder de focus op CIFAR-10 en ResNet-18, de noodzaak voor systematische hyperparameterstudies, en het gebrek aan diepgaande theoretische analyse over hoe de evolutie van de parameterruimte de geometrie van de adversariële optimalisatie verandert. Zij benadrukken dat het doel niet parameterreductie om de reductie zelf is, maar de vorming van een efficiëntere robuuste configuratie door middel van dynamische evolutie.