🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

Het artikel stelt Loss-Equated SAM (LE-SAM) voor, een nieuwe optimalisatiemethode die de vaste straal in de parameter-ruimte van Sharpness-Aware Minimization vervangt door een vast budget in de verlies-ruimte om beter aan te sluiten bij de op kromming gebaseerde aard van vlakke minima, waardoor state-of-the-art generalisatieprestaties worden bereikt op diverse benchmarks.

Oorspronkelijke auteurs: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Vlakke" Vallei Vinden

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekt, mistig berglandschap (dit vertegenwoordigt het verlieslandschap van een neurale net). Je doel is een plek te vinden waar het model perfect werkt en zelfs perfect blijft als het weer iets verandert (dit noemen we generalisatie).

Onderzoekers hebben lang geloofd dat de beste plek niet zomaar een laag punt is, maar een vlakke vallei.

Scherpe Top: Als je op een scherpe bergtop staat, laat een klein stapje in welke richting dan ook je al naar beneden tuimelen. Dit is onstabiel.
Vlakke Vallei: Als je in een brede, vlakke vallei staat, kun je een paar stappen zetten in elke richting en blijf je toch onderaan. Dit is stabiel en robuust.

Het artikel betoogt dat de huidige beste methode om deze vlakke valleien te vinden (genaamd SAM) de verkeerde tool gebruikt om het terrein te meten.

Het Probleem: De "Vaste-Stap" Liniaal

De huidige methode, SAM, probeert een vlakke vallei te vinden door in elke richting een "teststap" te nemen om te zien hoeveel de grond stijgt.

Hoe SAM werkt: Het zegt: "Ik zal een stap van precies 1 meter zetten in de richting van de steilste daling, en kijken hoe hoog de grond wordt."
Het Gebrek: Het artikel wijst op een mismatch.
- Als de grond zeer steil is (een grote gradiënt), schiet een stap van 1 meter je ver de berg op. De meting wordt gedomineerd door hoe steil de helling is, niet door hoe breed de vallei is.
- Als de grond vlak is (een kleine gradiënt), verplaatst diezelfde stap van 1 meter je nauwelijks.
- De Analogie: Stel je voor dat je probeert de breedte van een kamer te meten door 10 passen te zetten. Als je over een steile helling loopt, bedekken je 10 passen een enorme verticale afstand. Als je op vlakke grond loopt, bedekken ze heel weinig. Je meet niet de breedte van de kamer; je meet alleen hoe hard je moet lopen.

Daarom reageert SAM voornamelijk op de steilheid van de helling (de gradiënt) in plaats van op de vorm van de vallei (de kromming). Het werkt pas goed wanneer de training bijna klaar is en de hellingen zeer zacht zijn, wat te laat is om de fundamentele vorm van de oplossing te corrigeren.

De Oplossing: LE-SAM (Het "Vaste-Hoogte" Budget)

De auteurs stellen een nieuwe methode voor genaamd LE-SAM (Loss-Equated SAM). Ze draaien de logica om.

In plaats van te zeggen: "Ik zal een stap van vaste grootte zetten", zeggen ze: "Ik sta toe dat de grond met een vast bedrag aan hoogte (een budget) stijgt, en ik zal uitzoeken hoe groot de stap moet zijn om die hoogte te bereiken."

Het Nieuwe Mechanisme:
1. Stel een Budget: "Ik ben bereid om precies 1 meter omhoog te klimmen."
2. Bereken de Stap:
  - Als de helling steil is, hoef ik alleen maar een kleine stap te zetten om die 1 meter hoogte te bereiken.
  - Als de helling vlak is, moet ik een enorme stap zetten om die 1 meter hoogte te bereiken.
3. Het Resultaat: Omdat de "geklompen hoogte" vaststaat, wordt de meting niet langer gedomineerd door hoe steil de helling is. Het dwingt het algoritme om te kijken naar de kromming (hoe snel de helling verandert).

De Metafoor:
Stel je voor dat je een blinde wandelaar bent die probeert een vlakke vallei te vinden.

Oude Methode (SAM): Je zet een vaste stap van 10 voet. Als de heuvel steil is, val je van een klif. Als hij vlak is, beweeg je nauwelijks. Je kunt niet vertellen of de vallei breed of smal is.
Nieuwe Methode (LE-SAM): Je zegt: "Ik klim precies 5 voet omhoog." Als de heuvel steil is, zet je een kleine stap. Als de heuvel vlak is, zet je een enorme sprong. Door jezelf te dwingen die specifieke hoogte te klimmen, weet je direct of het terrein steil of vlak is. Dit vertelt je precies waar de vlakke vallei ligt.

Waarom Dit Belangrijk Is (De Resultaten)

Door het "verliesbudget" (de hoogte die je bereid bent te klimmen) vast te stellen in plaats van de "straal" (de stapgrootte), beweert het artikel:

Betere Generalisatie: Het model vindt bredere, vlakke valleien, wat betekent dat het beter presteert op nieuwe, ongezette data.
Werkt Eerder: In tegenstelling tot de oude methode, die pas aan het einde van de training helpt, werkt deze nieuwe methode effectief vanaf het allerbegin omdat het niet wordt afgeleid door de steilheid van de initiële hellingen.
Stabiliteit: Het voorkomt dat de training onstabiel wordt wanneer de hellingen wild veranderen.

Het Bewijs

De auteurs hebben dit getest op standaard taken voor beeldherkenning (zoals het identificeren van katten, honden en auto's op foto's).

Ze hebben hun nieuwe methode vergeleken met de oude "vaste-stap" methode en verschillende andere variaties.
De Uitkomst: Hun methode won consequent, met de hoogste nauwkeurigheidscores (State-of-the-Art) over verschillende soorten neurale netwerken en datasets.
Visueel Bewijs: Ze hebben zelfs kaarten getekend van het "terrein" dat de modellen vonden. De kaarten toonden aan dat hun methode veel vlakke, bredere valleien vond in vergelijking met de scherpe toppen die door andere methoden werden gevonden.

Samenvatting

Het artikel betoogt dat we, om de meest stabiele AI-modellen te vinden, niet zomaar stappen van vaste grootte moeten nemen om de grond te testen. In plaats daarvan moeten we een vaste "klimhoogte" instellen en de stapgrootte automatisch laten aanpassen. Deze simpele wissel verwijdert de verwarring veroorzaakt door steile hellingen en helpt de AI de echte, vlakke, stabiele oplossingen te vinden die het nodig heeft om slim en betrouwbaar te zijn.

Technische Samenvatting: Corrigeer de Verliesfunctie, Niet de Straal: Heroverweging van de Adversariële Perturbatie van Sharpness-Aware Minimization

1. Probleemstelling

Diepe Neurale Netwerken (DNN's) lijden vaak onder overparametrisatie en niet-convexe verlieslandschappen, wat leidt tot talloze lokale optima met uiteenlopende generalisatievermogens. De heersende hypothese stelt dat "vlakke minima" (gebieden met lage kromming) beter generaliseren dan "scherpe minima". Sharpness-Aware Minimization (SAM) werd voorgesteld om dit aan te pakken door het worst-case verlies te minimaliseren binnen een vaste straal $\rho$ in de parameter-ruimte.

De auteurs identificeren echter een fundamenteel mismatch op mechanismeniveau in SAM en zijn varianten:

Het Ideaal: Vlakheid is inherent een tweede-orde eigenschap, gekenmerkt door de lokale kromming (Hessiaan) van het verlieslandschap.
De Realiteit: SAM construeert zijn adversariële doelwit met behulp van een eerste-orde lineaire benadering. Binnen een vaste straal $\rho$ is de perturbatie uitgelijnd met de gradiëntrichting. Bijgevolg wordt het resulterende leersignaal gedomineerd door de gradiëntnorm ( $\rho \|\nabla L(w)\|$ ) in plaats van de kromming.
Het Gevolg: Omdat de gradiëntnorm het signaal domineert, wordt de effectiviteit van SAM grotendeels uitgesteld tot de late fasen van training, wanneer gradiënten van nature klein genoeg worden zodat krommingstermen vergelijkbaar worden. Dit creëert een discrepantie tussen het trainingsmechanisme en het doel om gedurende het volledige optimalisatieproces vlakke minima te vinden.

2. Methodologie: Loss-Equated SAM (LE-SAM)

Om deze mismatch op te lossen, stellen de auteurs Loss-Equated SAM (LE-SAM) voor, een herformulering op mechanismeniveau die het traditionele SAM-paradigma omkeert. In plaats van de perturbatiestraal in de parameter-ruimte vast te leggen, legt LE-SAM een verliesruimte-budget $\sigma$ vast.

Kernmechanisme

Geïnspireerd door de klassieke Polyak-stapgrootte, scalariëert LE-SAM de eerste-orde verliesvariatie.

Vast Budget: In plaats van $\rho$ vast te leggen, legt het algoritme een doelverliesverhoging $\sigma$ in de verliesruimte vast.
Terugrekenen Straal: De perturbatiestraal $\rho_t$ wordt dynamisch berekend om ervoor te zorgen dat de eerste-orde verliesvariatie overeenkomt met het budget $\sigma$ :
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
waarbij $\varrho$ een kleine constante is voor numerieke stabiliteit.
Surrogaatverlies: Bij substitutie van deze adaptieve straal terug in de Taylor-ontwikkeling van het verlies, wordt de eerste-orde term een constante scalair $\sigma$ :
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{constante scalair}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
Aangezien $\nabla_w \sigma = 0$ , wordt de gradiëntnorm-boete effectief verwijderd uit het optimalisatiesignaal. Het leersignaal verschuift volledig naar de tweede-orde krommingsterm ( $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ).

Stabilisatiestrategieën

Om instabiliteit te voorkomen wanneer gradiëntnormen klein zijn (wat kan leiden tot buitensporig grote $\rho_t$ ), hanteert LE-SAM twee veiligheidsmaatregelen:

Straalclipping: Een maximale straal $\rho_{max}$ wordt afgedwongen.
Verliesbudget Annealing: Het budget $\sigma$ wordt geleidelijk afgekoeld naar 0 tijdens de laatste fasen van training (bijvoorbeeld via cosinus decay) om een vlotte convergentie te garanderen.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

Identificatie van Doelwitmismatch: De auteurs demonstreren dat de adversariële perturbatie in standaard SAM wordt gegenereerd via een eerste-orde gelineariseerde surrogaat onder een straal-beperking, waardoor het leersignaal wordt gedomineerd door de gradiëntgrootte in plaats van de tweede-orde kromming die vereist is voor vlakke minima.
Voorstel van LE-SAM: Een herformulering op mechanismeniveau die het verliesbudget vastlegt in plaats van de straal. Dit scalariëert de eerste-orde variatie, verwijdert de dominantie van de gradiëntnorm en verschuift het optimalisatiesignaal naar door kromming gedomineerde termen gedurende het volledige trainingsproces.
Empirische Superieure Prestaties: Uitgebreide experimenten tonen aan dat LE-SAM consistent beter presteert dan standaard SAM en zijn varianten (inclusief ASAM, ESAM, F-SAM en Eigen-SAM) over diverse benchmarks, en state-of-the-art (SOTA) prestaties bereikt.

4. Experimentele Resultaten

De auteurs evalueerden LE-SAM op meerdere taken en datasets:

Training vanaf Scratch:
- CIFAR-10/100: Met behulp van ResNet-18, WideResNet-28-10 en PyramidNet-110 behaalde LE-SAM de hoogste nauwkeurigheid onder alle SAM-varianten. Op CIFAR-100 overtrof het standaard SAM met 1,34 tot 1,49 punten.
- ImageNet: Bij training van ResNet-50 en ResNet-101 vanaf scratch overtrof LE-SAM SAM met respectievelijk 0,71 en 0,77 punten.
Transfer Learning: Bij het fine-tunen van een vooraf getraind ViT-B-16 op CIFAR-10/100 overtrof LE-SAM SAM consistent.
Domein Generalisatie (SDG): Op de PACS- en VLCS-datasets verbeterde LE-SAM de gemiddelde nauwkeurigheid met respectievelijk 2,18 en 0,84 punten ten opzichte van SAM.
Robuustheid: Onder $L_2$ - en $L_\infty$ -PGD-adversariële aanvallen toonde LE-SAM sterkere robuustheid, met een prestatieverbetering van tot 2,47 punten ten opzichte van SAM.
Langstaartleren: Op CIFAR-100-LT leverde de combinatie van LE-SAM met de SOTA-methode GLMC verdere verbeteringen op ten opzichte van GLMC+SAM.

Mechanisme-analyse

Vlakheidsmetrieken: Analyse van de Hessiaan-trace en de top-eigenwaarde bevestigde dat LE-SAM convergeert naar vlakker minima (lagere Hessiaan-trace en maximale eigenwaarde) in vergelijking met SAM en SGD.
Trainingsdynamiek: In tegenstelling tot SAM, dat pas significante winsten toont in het late trainingsstadium, vertoonde LE-SAM aanzienlijke prestatieverschillen gedurende het volledige trainingsproces, wat bevestigt dat het krommingssignaal vanaf het begin actief is.
Berekeningskosten: LE-SAM behoudt dezelfde asymptotische complexiteit als SAM (twee forward-backward passes per iteratie) met verwaarloosbare overhead voor het berekenen van de dynamische straal.

5. Betekenis en Claims

Het artikel betoogt dat de primaire beperking van bestaande Sharpness-Aware Minimization-methoden ligt in hun afhankelijkheid van een eerste-orde benadering met een vaste straal, wat onbedoeld prioriteit geeft aan de gradiëntgrootte in plaats van de kromming. Door "de verliesfunctie te corrigeren, niet de straal", denkt LE-SAM het mechanisme van adversariële perturbatie fundamenteel opnieuw na.

De auteurs claimen dat deze aanpak een geünificeerd perspectief op sharpness-aware learning biedt dat intrinsiek bewust is van kromming. Door de perturbatiegrootte te ontkoppelen van de gradiëntnorm, biedt LE-SAM een meer directe en robuuste weg naar vlakke gebieden, wat resulteert in superieure generalisatieprestaties over diverse architecturen, datasets en trainingsscenario's (inclusief transfer learning en domein generalisatie) zonder aanzienlijke berekeningskosten.