Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

Technische Samenvatting: Manifold-Gedwongen Adversariale Training voor Langstaartige Robuustheid via Geometrische Uitlijning

1. Probleemstelling

Diepe neurale netwerken, hoewel succesvol in visuele herkenning, blijven kwetsbaar voor adversariële perturbaties. Hoewel adversariale training (AT) een toonaangevende verdediging is, neemt de effectiviteit aanzienlijk af onder langstaartige klassenverdelingen (waarbij hoofdklassen overvloedig zijn en staartklassen schaars). In dergelijke scenario's lijdt standaard AT aan twee gekoppelde falingsmechanismen:

1. Geometrische Misuitlijning: Optimalisatie gedomineerd door hoofdklassen comprimeert de kenruimte, verkleint de inter-klassenmarges voor staartklassen en creëert fragiele, onstabiele beslissingsgrenzen.
2. Off-Manifold Adversariële Drift: Vanwege de schaarste aan staartstalen, exploiteert ongedwongen adversariële optimalisatie gebieden met lage dichtheid en zonder semantische onderbouwing in de kenruimte. Dit zorgt ervoor dat adversariële voorbeelden afwijken van de werkelijke datadragers, wat leidt tot spuriële beslissingsgrenzen en een ineenstorting van robuuste marges voor staartklassen.

Bestaande benaderingen adresseren dit voornamelijk via loss-herweging, marges herbijstelling of kennisdistillatie. Echter, ze falen vaak om expliciet de geometrie van geleerde representaties te reguleren of de semantische validiteit van adversariële voorbeelden te waarborgen.

2. Methodologie: Manifold-Gedwongen Adversariale Training (MCAT)

De auteurs stellen MCAT voor, een unificerend kader dat zowel geometrische onevenwichtigheid als semantische validiteit aanpakt via twee complementaire mechanismen:

A. Class-Conditionele Semantische Manifold-Beperkingen
Om adversariële drift naar gebieden met lage dichtheid te voorkomen, dwingt MCAT perturbaties om dicht bij class-conditionele semantische manifolds ($\mathcal{M}_y$) in de kenruimte te blijven.

• Implementatie: In plaats van manifolds expliciet te herstellen, maakt de methode gebruik van lichtgewicht class-conditionele generatoren $\{G_y\}$ (MLP's) die zijn getraind om latente codes af te beelden naar de kenruimte van elke klasse. Deze generatoren zijn vooraf getraind op schone kenmerken en tijdens adversariale training ingevroren.
• Straf: Een off-manifold afwijkingsmetriek $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ wordt berekend voor een embedding $u$. Deze straf wordt afgetrokken van de loss tijdens de innerlijke maximalisatiestap, waardoor het adversariële zoeken wordt geleid naar gebieden met hoge dichtheid en semantische validiteit.
• Optimalisatie: De innerlijke maximalisatie wordt opgelost met Manifold-Gedragen PGD (MS-PGD), die perturbaties terug projecteert binnen het $\ell_\infty$-budget, terwijl de zoekrichting wordt beïnvloed door de manifold-gradiënt.

B. ETF-Geïnspireerde Geometrische Regularisatie
Om de compressie van staart-klassenmarges tegen te gaan, dwingt MCAT een gebalanceerde geometrie af in de classifier-weights.

• Implementatie: De classifier weight-matrix $W$ wordt geregulariseerd naar een Simplex Equiangular Tight Frame (ETF) structuur. Dit wordt bereikt door afwijkingen van de Gram-matrix $W^\top W$ van de vorm $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$ te straffen.
• Effect: Dit stimuleert een uniforme hoekelijke scheiding tussen alle klassenvectoren, maximaliseert de minimale inter-klassenhoek ($\theta_{\min}$) en voorkomt dat hoofdklassen de geometrie van de kenruimte domineren.

C. Unificerend Doel
Het trainingsdoel combineert de standaard robuuste loss, de manifold-straf en de geometrische regularisatie:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
waarbij $\lambda$ de semantische consistentie regelt en $\beta$ de geometrische balans regelt.

3. Theoretische Analyse

Het artikel biedt twee belangrijke theoretische resultaten:

1. Geometrische Scheiding Impliceert Robuuste Margin: De auteurs bewijzen dat een grotere minimale inter-klassenhoek ($\theta_{\min}$) direct een ondergrens impliceert voor de certificeerbare robuuste margin. Aangezien de ETF-structuur $\theta_{\min}$ maximaliseert, biedt het een bewijsbaar garantie voor robuustheid, met name voor staartklassen waarvan de marges anders zouden worden gecomprimeerd.
2. Manifold-Beperking Controleert Robuust Risico: De auteurs tonen aan dat het MCAT-doel een bovengrens vormt voor het ware robuuste risico op gebieden met hoge dichtheid en semantische validiteit. De manifold-straf onderdrukt off-manifold drift, waardoor robuustheid wordt geleerd binnen semantisch geldige gebieden in plaats van in artefacten met lage dichtheid.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op standaard langstaartige benchmarks (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) met verschillende onevenwichtigheidsverhoudingen (IR).

• Algemene Robuustheid: MCAT presteert consistent beter dan standaard AT-baselines (TRADES, MART, AWP) en state-of-the-art langstaartige robuuste methoden (RoBal, REAT, TAET, Self-Distillation) over alle datasets en aanvalstypen (PGD-20, AutoAttack).
• Staart- en Gebalanceerde Prestaties: Cruciaal bereikt MCAT aanzienlijke verbeteringen in staart-klasse robuustheid en gebalanceerde robuustheid (gemiddelde per-klasse nauwkeurigheid) zonder in te leveren op schone nauwkeurigheid. Bijvoorbeeld, op CIFAR-100-LT (IR=100) verbeterde MCAT de Tail-AA robuustheid van ~16% (Self-Distill) naar 20,0%.
• Ablatiestudies:
  • Het alleen toevoegen van de manifold-beperking verhoogt de staartrobuustheid aanzienlijk door off-manifold drift te verminderen.
  • Het alleen toevoegen van geometrische uitlijning verbetert gebalanceerde metrieken door geometrische bias te corrigeren.
  • De combinatie levert de beste resultaten op, wat de noodzaak bevestigt om beide problemen aan te pakken.
• Mechanismeverificatie: Empirische diagnostiek bevestigt dat MCAT grotere inter-klassenhoeken behoudt en off-manifold drift aanzienlijk reduceert in vergelijking met baselines, in overeenstemming met de theoretische voorspellingen.

5. Betekenis en Claims

Het artikel claimt dat het bereiken van adversariële robuustheid onder langstaartige verdelingen een tweeledige aanpak vereist: het corrigeren van de geometrie van de beslissingsruimte en het waarborgen van de semantische validiteit van adversariële voorbeelden.

• Nieuwheid: In tegenstelling tot eerder werk dat zich richt op loss-ontwerp of optimalisatieheuristieken, reguleert MCAT expliciet de representatiegeometrie en beperkt het adversariële voorbeelden tot semantische manifolds.
• Inzicht: De auteurs identificeren "geometrische misuitlijning" en "off-manifold adversariële drift" als de fundamentele oorzaken van robuustheidsfalen in langstaartige scenario's.
• Impact: Door ETF-geïnspireerde regularisatie te integreren met manifold-beperkingen, stabiliseert MCAT beslissingsgrenzen en verbetert het substantieel de betrouwbaarheid en eerlijkheid van robuuste modellen voor staartklassen, waarmee een kritieke kloof wordt gedicht in real-world implementatiescenario's waar data-onevenwichtigheid wijdverbreid is.