Stabilizing Multi-Attack Adversarial Training via Bandit Optimization

Technische Samenvatting: Stabiliseren van Multi-Attack Adversarial Training via Bandit Optimalisatie

1. Probleemstelling

Deep Neural Networks (DNN's) blijven kwetsbaar voor diverse adversariële perturbaties, variërend van onwaarneembare $\ell_p$-norm aanvallen tot semantische verstoringen (bijv. JPEG-compressie, weereffecten). Hoewel Adversarial Training (AT) een primaire verdediging is, kampen bestaande methoden met een fundamenteel efficiëntie-stabiliteitsdilemma bij het gelijktijdig aanpakken van meerdere typen aanvallen:

• Hoge Computationele Overhead: Methoden die gradiënten berekenen voor alle aanvalstypen bij elke iteratie (bijv. multi-task optimalisatie zoals AVG of PCGrad) brengen prohibitieve kosten met zich mee die lineair schalen met het aantal aanvallen.
• Excessieve Parameter Drift: Stochastische bemonsteringsmethoden (bijv. het selecteren van één willekeurige aanval per iteratie) zijn computationeel efficiënt, maar leiden vaak tot instabiele training. Ze kunnen excessieve parameter drift veroorzaken, waarbij het model optimaliseert voor een specifieke gesamplede aanval en de robuustheid tegen andere aanvallen "vergeet", of er niet in slaagt om conflicterende optimalisatiedoelstellingen te balanceren.

Het artikel identificeert dat verschillende aanvalstypen vaak Mutually Exclusive Perturbations (MEP's) vertonen, waarbij het verbeteren van de robuustheid tegen één type aanval de prestaties tegen een ander type aanval verslechtert. Bovendien faalt sequentiële fine-tuning omdat de cumulatieve parameter drift het model uit regio's duwt die robuust zijn voor eerder getrainde aanvallen.

2. Methodologie: Calibrated Adversarial Sampling (CAS)

De auteurs stellen Calibrated Adversarial Sampling (CAS) voor, een framework dat multi-attack AT herformuleert als een Multi-Armed Bandit (MAB) optimalisatieprobleem. In deze formulering is elk aanvalstype een "arm", en het doel is om de optimale aanval per iteratie te selecteren om de algehele robuustheid te maximaliseren terwijl exploratie en exploitatie in evenwicht worden gehouden.

Kerncomponenten:

• Dynamisch Reward Design: In tegenstelling tot standaard bandits met statische rewards, definieert CAS een samengestelde reward $R_v$ voor het selecteren van aanval $v$ bij elke iteratie, bestaande uit:

  1. Marginale Robuustheidswinst ($R^{self}_v$): Schat de onmiddellijke verbetering in robuustheid tegen aanval $v$ door de helling van de log-getransformeerde loss-trajectie over een sliding window te analyseren. Dit normaliseert de loss-magnitudes over verschillende aanvalsschalen heen.
  2. Cross-Type Trade-off ($R^{tradeoff}_v$): Kwantificeert de impact van training op aanval $v$ ten opzichte van andere aanvalstypes. Het schrijft veranderingen in de losses van andere aanvallen toe aan de huidige selectie, waarbij positieve transfer wordt beloond en degradatie wordt bestraft. Dit modelleert expliciet de interferentie tussen aanvalsdoelstellingen.

• Balanceren van Exploratie en Exploitatie: CAS hanteert een Upper Confidence Bound (UCB) strategie om de volgende aanval te selecteren. De selectiescore combineert de exponent van de reward (exploitatie) met een term die omgekeerd evenredig is aan het aantal keren dat de aanval is gesampled (exploratie). Dit zorgt ervoor dat onder-gesamplede aanvallen periodiek worden geselecteerd om hun reward-schattingen bij te werken, wat catastrofale vergetelheid voorkomt en een gebalanceerde robuustheid handhaaft.

• Hybride Loss Functie: De trainingsdoelstelling gebruikt een TRADES-stijl loss, die de adversariële loss van de geselecteerde aanval combineert met de clean data loss om de clean accuracy te behouden.

• Theoretische Fundering: Het artikel biedt een theoretische analyse die een veilige parameter-drift drempel afleidt. Het bewijst dat degradatie optreedt wanneer de parameterverplaatsing een grens overschrijdt die bepaald wordt door gradiënt-alignment en de Hessiaanse kromming. CAS is ontworpen om updates binnen deze veilige regio te houden door de sampling-distributie dynamisch aan te passen. De auteurs stellen ook de convergentie van CAS vast onder stochastische aanvalsselectie, waarbij zij een $O(1/t)$ convergentierate aantonen onder standaardveronderstellingen (sterke convexiteit en begrensde variantie).

3. Belangrijkste Bijdragen

• Methodologische Innovatie: CAS wordt gepresenteerd als het eerste multi-attack AT framework dat bandit-optimalisatie gebruikt en expliciet de interacties tussen aanvallen kwantificeert om de training te stabiliseren.
• Theoretische Analyse: Het werk leidt een veilige drempel af voor parameter drift om de degradatie van robuustheid tijdens sequentiële fine-tuning te voorkomen en bewijst de convergentie van de voorgestelde gerandomiseerde trainingsmethode.
• Empirische Validatie: Uitgebreide experimenten op CIFAR-10, CIFAR-100 en SVHN tonen aan dat CAS een superieure algehele robuustheid bereikt tegen 21 verschillende aanvalstypes (inclus inclusief $\ell_p$ en semantische aanvallen) terwijl een hoge clean accuracy behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden CAS tegenover baselines inclusief random sampling (SAT), adaptieve sampling (E-AT), fixed-order sequentiële fine-tuning, en multi-task optimalisatie (AVG, PCGrad).

• Prestaties: CAS behaalde consistent de hoogste of bijna-hoogste clean accuracy en gemiddelde robuuste accuracy over alle datasets. Met name op de SVHN-dataset (die autonome rijscenario's simuleert), overtrof CAS alle baselines in gemiddelde robuustheid.
• Efficiëntie: Hoewel multi-task methoden (AVG, PCGrad) competitieve accuratesse boden, waren ze aanzienlijk trager (ongeveer 20x trager dan CAS) vanwege de noodzaak om per iteratie alle gradiënten te berekenen. CAS behield een tijdskost die vergelijkbaar is met single-attack sampling methoden (SAT, E-AT), terwijl het een superieure stabiliteit bood.
• Ablatie Studies:
  • Epochs: 10 epochs bleken optimaal, waarbij een balans werd gevonden tussen de initiële instabiliteit van de vroege training en de afnemende meeropbrengst in latere stadia.
  • Hyperparameter $\alpha$: Voor het controleren van de balans tussen exploratie en exploitatie bood een $\alpha$-waarde tussen 10 en 20 de beste trade-off.
  • Perturbatie Omvang: Het uitbreiden van het bereik van aanvalstypes tijdens fine-tuning verbeterde over het algemeen de gemiddelde robuustheid, met slechts minimale negatieve effecten op specifieke aanvalstypes.

5. Betekenis en Claims

Het artikel claimt dat CAS een schaalbare en principiële aanpak biedt voor robuuste generalisatie in multi-attack settings. Door het probleem te herformuleren als een bandit-optimalisatietaak, mitigeert CAS effectief de "efficiëntie-stabiliteit"-trade-off die bestaande methoden teistert.

De auteurs benadrukken dat hun aanpak niet louter de gradiënten middelt, maar actief de dynamische trade-offs beheert tussen conflicterende robuustheidsdoelstellingen. Dit maakt de efficiënte fine-tuning van pre-trained modellen mogelijk om diverse, real-world adversariële condities aan te pakken (zoals die in autonoom rijden of multimediaverwerking), zonder de prohibitieve computationele kosten van volledige multi-task optimalisatie. Het werk vestigt een nieuw paradigma voor het bereiken van gegeneraliseerde robuustheid waarbij modellen tegelijkertijd veerkrachtig moeten blijven tegen zowel norm-geconstreerde als semantische perturbaties.