🤖 AI

Sharpness-Aware Minimization with Z-Score Gradient Filtering

Deze paper introduceert Z-Score Filtered Sharpness-Aware Minimization, een methode die door middel van Z-score filtering alleen de meest significante gradiëntcomponenten behoudt tijdens de ascentstap om zo de generalisatie van diepe neurale netwerken te verbeteren en de invloed van ruis te verminderen.

Oorspronkelijke auteurs: Vincent-Daniel Yun

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Vincent-Daniel Yun

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een Slimme Wegwijzer voor Kunstenaars

Stel je voor dat je een kunstenaar bent die een schilderij maakt (een kunstmatig brein of Deep Neural Network). Je wilt dat je schilderij niet alleen mooi is voor de mensen die je nu laten kijken (de trainingsdata), maar ook voor iedereen die het later ziet (algemene prestatie).

Vaak raken kunstenaars echter verstrikt in een valkuil: ze maken hun schilderij zo perfect voor de huidige kijker, dat het er raar uitziet als er een klein beetje licht verandert of iemand een andere hoek kiest. In de wereld van AI noemen we dit overfitting. Het model "leert" het ruis en de toevalligheden van de training, in plaats van de echte patronen.

Het Oude Probleem: De "Alles-En-Niets"-Benadering

Om dit op te lossen, hebben wetenschappers een methode bedacht genaamd SAM (Sharpness-Aware Minimization).

De Analogie: Stel je voor dat je op een bergwandeling bent en je wilt de laagste vallei vinden (de beste oplossing). SAM kijkt om zich heen: "Als ik een klein stapje in deze richting zet, wordt het dan een ravijn of blijft het een zachte helling?" Als het een ravijn is (een 'scherpe' top), wil je daar niet zitten. Je wilt een brede, zachte vallei vinden.

Het probleem met de oude SAM-methode was echter dat hij alle informatie gebruikte om die stap te zetten.

De Metafoor: Stel je voor dat je een kompas hebt. De oude SAM keek naar de windrichting, maar telde ook de ruis van een vlieg die langs je oor zoemt en de trilling van je eigen hartslag mee. Omdat het kompas alles even zwaar weegt, wordt de richting die je opkijkt verstoord door die kleine ruis. Je loopt misschien de verkeerde kant op, omdat je te veel luistert naar onbelangrijke geluiden.

De Oplossing: ZSharp (De "Z-Score Filter")

De auteurs van dit paper, Vincent-Daniel Yun, hebben een nieuwe methode bedacht: ZSharp.

Hoe werkt het?
In plaats van naar alle geluiden (de hele gradiënt) te luisteren, gebruikt ZSharp een slimme filter, een Z-score filter.

Luisteren naar de "echte" wind: De methode kijkt per laag van het brein naar de signalen.
De Filter: Het berekent: "Is dit signaal echt sterk en belangrijk, of is het gewoon ruis?"
- Als een signaal heel zacht is of heel willekeurig (zoals de vlieg of je hartslag), wordt het weggefilterd.
- Alleen de sterkste, meest opvallende signalen (de top 5% van de windrichting) worden gebruikt om de stap te zetten.
Het Resultaat: De kunstenaar (het AI-model) krijgt nu een heel duidelijk kompas. Hij loopt niet meer in de war door ruis, maar focust zich puur op de echte, sterke patronen in de berg.

Waarom is dit beter?

Minder ruis: Door de kleine, verwarrende details weg te laten, maakt het model minder fouten tijdens het leren.
Betere algemene prestaties: Omdat het model zich richt op de echte structuur van de berg (de data) en niet op de toevalligheden, werkt het beter als je het in een nieuwe situatie zet (bijvoorbeeld op een andere foto of met een ander geluid).
Eenvoud: Het is alsof je een nieuwe bril opzet die je niet hoeft te vervangen, maar die je gewoon op je oude bril kunt klikken. Het werkt met bestaande systemen (zoals ResNet of Vision Transformers) zonder dat je de hele machine hoeft te herbouwen.

Wat zeggen de resultaten?

De auteurs hebben dit getest op bekende datasets (zoals CIFAR-10 en Tiny-ImageNet), wat vergelijkbaar is met het testen van een auto op verschillende wegen: stadsverkeer, snelwegen en modderpaden.

De uitkomst: De auto met de nieuwe bril (ZSharp) reed overal sneller en veiliger dan de auto met de oude bril (SAM) of de auto zonder bril (standaard methoden).
De conclusie: Door alleen te luisteren naar de "grote, belangrijke geluiden" en de ruis te negeren, leert het kunstmatige brein sneller en wordt het slimmer.

Kort samengevat:
ZSharp is een slimme manier om AI-modellen te trainen door ze te dwingen te focussen op de belangrijkste signalen en de ruis te negeren. Het is alsof je een ruisfilter installeert op je microfoon tijdens een sollicitatiegesprek: je hoort alleen wat echt telt, waardoor je een veel betere indruk maakt.

Titel: Z-Score Filtered Sharpness-Aware Minimization (ZSharp)

Auteurs: Vincent-Daniel Yun (USC & MODULABS)
Publicatie: NeurIPS OPT 2025 / ICASSP 2026

1. Het Probleem

Diepe neurale netwerken (DNN's) presteren uitstekend in diverse domeinen, maar kampen vaak met generalisatieproblemen. Een veelgeaccepteerde oorzaak hiervan is convergentie naar scherpe minima (sharp minima) in de verlieslandschap. In deze gebieden leiden kleine verstoringen van de parameters tot grote toenames in de fout, wat resulteert in slechte prestaties op onzichtbare data.

Sharpness-Aware Minimization (SAM) is een populaire techniek die probeert dit op te lossen door parameters te verstoren in de richting van de gradiënt om het ergste geval-verlies te minimaliseren binnen een $\ell_2$ -bol. Echter, SAM heeft een fundamenteel nadeel:

Het gebruikt de volledige gradiëntvector voor de opwaartse stap (ascent step).
In hoge dimensies bevatten gradiënten veel kleine, ruisachtige componenten die weinig informatie over de kromming (curvature) bevatten.
Omdat de gradiënt wordt genormaliseerd voordat de verstoring wordt toegepast, hebben deze kleine, ruisachtige componenten evenveel invloed op de opwaartse richting als de grote, informatieve componenten.
Dit vervormt de verstoring, maakt deze minder nauwkeurig in het vinden van scherpe krommingsrichtingen en versterkt de stochastische variabiliteit, wat kan leiden tot het missen van optimale oplossingen.

2. Methodologie: ZSharp

De auteurs stellen Z-Score Filtered Sharpness-Aware Minimization (ZSharp) voor. Deze methode verbetert SAM door statistisch significante gradiëntcomponenten te selecteren en ruis te filteren voordat de opwaartse stap wordt uitgevoerd.

Kernstappen van de methode:

Per-laag Z-score Normalisatie: Voor elke laag $\ell$ in het netwerk wordt de gradiënt $g^{(\ell)}$ genormaliseerd op basis van de Z-score:
$\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu(g^{(\ell)})}{\sigma(g^{(\ell)})}$
Waarbij $\mu$ het gemiddelde en $\sigma$ de standaardafwijking is van de gradiënten binnen die specifieke laag. Dit zorgt ervoor dat elke laag onafhankelijk wordt gestandaardiseerd, waardoor componenten die sterk afwijken van het gemiddelde worden benadrukt.
Percentiel-gebaseerde Maskering: Er wordt een binair masker $m$ gemaakt dat alleen de componenten behoudt met de hoogste absolute Z-scores.
- De parameter $Q_p$ (percentiel drempel) bepaalt welk percentage van de componenten wordt verwijderd.
- Bijvoorbeeld, als $Q_p = 0.95$ , wordt alleen de top 5% van de componenten (die het sterkst afwijken) behouden.
- De gefilterde gradiënt is $\nabla L(w)_\Omega = \nabla L(w) \odot m$ .
Aangepaste Opwaartse Stap (Ascent Step): In plaats van de volledige gradiënt, gebruikt ZSharp de gefilterde gradiënt om de verstoring $\epsilon$ te berekenen:
$\epsilon = \rho \cdot \frac{\nabla L(w)_\Omega}{\|\nabla L(w)_\Omega\|_2 + \delta}$
Als de gefilterde gradiënt nul is (wat zeldzaam is), valt het terug naar de standaard SAM-berekening.
Afdalende Stap (Minimization): De daadwerkelijke update van de gewichten gebeurt identiek aan standaard SAM, maar dan gebaseerd op de verstorende stap met de gefilterde gradiënt.

3. Belangrijkste Bijdragen

Selectieve Perturbatie: ZSharp introduceert een mechanisme om ruis en onbeduidende gradiëntcomponenten te filteren tijdens de kritieke opwaartse stap van SAM, waardoor de zoekrichting naar "vlakkere minima" (flatter minima) wordt verfijnd.
Eenvoudige Implementatie: De methode vereist slechts één extra hyperparameter ( $Q_p$ ) en vereist geen wijzigingen in de architectuur van het netwerk of de basis-optimizer.
Theoretische Garantie: De auteurs bewijzen dat ZSharp de convergentie-eigenschappen van standaard SAM behoudt. Onder dezelfde aannames van $\beta$ -gladheid en onbeperkte variantie, convergeert ZSharp naar stationaire punten.
Compatibiliteit: De methode is compatibel met diverse optimizers (zoals AdamW) en architecturen (CNN's en Transformers).

4. Experimentele Resultaten

De methode werd getest op drie benchmarks: CIFAR-10, CIFAR-100 en Tiny-ImageNet, met verschillende architecturen waaronder ResNet (56/110), VGG-16 en Vision Transformers (ViT).

Prestaties: ZSharp presteerde consistent beter dan de basislijn (AdamW), standaard SAM, en varianten zoals ASAM en Friendly-SAM.
- Op CIFAR-10 met ResNet-56 bereikte ZSharp een Top-1 nauwkeurigheid van 92.64%, vergeleken met 91.60% voor SAM en 92.28% voor ASAM.
- Op CIFAR-100 en Tiny-ImageNet werden vergelijkbare verbeteringen gezien, met name bij Transformer-modellen waar de prestatieverbetering significant was.
Hyperparameter Sensitiviteit: Experimenten met verschillende waarden voor $Q_p$ toonden aan dat een hoge drempel ( $Q_p = 0.95$ , wat betekent dat slechts de top 5% wordt behouden) de beste generalisatie oplevert. Lagere waarden (meer gradiënten behouden) benaderen het gedrag van standaard SAM.
Generalisatie-effect: Hoewel ZSharp soms een iets hogere trainingsfout oplevert dan andere methoden, resulteert dit in een aanzienlijk lagere testfout. Dit bevestigt de hypothese dat het vinden van vlakkere minima (door selectief te focussen op sterke gradiënten) leidt tot betere generalisatie.

5. Betekenis en Conclusie

ZSharp biedt een efficiënte en effectieve oplossing voor het probleem van ruis in gradiënten tijdens het trainen van diepe neurale netwerken. Door de opwaartse stap van SAM te "schoonmaken" van statistisch onbeduidende componenten, wordt de optimizer in staat gesteld om zich te richten op de meest informatieve richtingen in het verlieslandschap.

De belangrijkste implicaties zijn:

Verbeterde Generalisatie: Het leidt systematisch tot betere testnauwkeurigheid zonder extra rekenkosten of complexe architectuurwijzigingen.
Robuustheid: Het werkt effectief op zowel convolutionele netwerken (ResNet, VGG) als moderne transformer-architecturen (ViT).
Praktische Toepasbaarheid: Omdat het slechts één hyperparameter toevoegt en naadloos integreert met bestaande SAM-implementaties, is het direct toepasbaar in de praktijk voor onderzoekers en ingenieurs die willen optimaliseren voor generalisatie.

Kortom, ZSharp bewijst dat het selectief filteren van gradiënten op basis van statistische significantie een krachtige strategie is om de beperkingen van huidige sharpness-aware optimalisatie te overwinnen.