Technische Samenvatting: Eenvoud Volstaat voor Parameterruisinjectie in Stochastic Gradient Descent

Probleemstelling

Het injecteren van ruis in het optimalisatieproces is een goed gevestigde techniek om de training en generalisatie van diepe neurale netwerken te verbeteren, vaak geïnterpreteerd als een nivelleringsmechanisme om te helpen ontsnappen aan scherpe minima en zadelpunten. Ondanks een breed landschap van bestaande benaderingen—variërend van ruisinjectie in parameters, gradiënten, of via gradiëntvrije schema's—blijft het onduidelijk welke specifieke ontwerpkeuzes leiden tot betekenisvolle praktische winst.

Twee primaire vragen drijven dit onderzoek:

1. Batch-efficiëntie: Hoe kan men efficiënt elke trainingsvoorbeeld in een mini-batch koppelen aan zijn eigen unieke perturbatie zonder de computationele efficiëntie van gebatchte matrixoperaties te doorbreken?
2. Complexiteit vs. Voordeel: Bieden geavanceerde ruis-parameterisaties (bijv. diagonale Gaussische distributies met tijdvariërende varianties) of multi-sample gradiëntgemiddelden (het gebruik van meerdere geperturbeerde forward passes per update) significante verbeteringen ten opzichte van eenvoudigere alternatieven, zoals isotrope ruis met een enkele perturbatie?

Methodologie

Efficiënte Ruisinjectie (ENSGD)

De auteurs pakken de eerste uitdaging aan door een distributionele identiteit voor lineaire lagen te benutten. Standaard ruisinjectie past een enkele willekeurige gewichtsperserturbatie $Z$ toe op een gehele batch, wat betekent dat elke $x_i$ dezelfde ruis ontvangt. Om unieke perturbaties toe te wijzen terwijl de gebatchte berekening behouden blijft, stellen de auteurs voor om ruis te injecteren in de output van de matrixproduct in plaats van in de gewichten zelf.

Gegeven een lineaire laag $L_k(X) = \sigma(XW_k)$, als de gewichten worden geperturbeerd door $Z \sim \mathcal{N}(0, \sigma^2 I)$, dan is het resultaat voor een enkele input $x$: $x(W_k + Z) = xW_k + xZ$. Door Lemma 1 toe te passen, die stelt dat $xZ \sim \mathcal{N}(0, \sigma^2 \|x\|^2 I)$, leiden de auteurs Theorem 1 af. Dit theorema bewijst dat unieke perturbaties voor elk voorbeeld in een batch kunnen worden gesimuleerd door een ruisterm $\psi$ toe te voegen aan de pre-activatie output, waarbij $\psi_i \sim \mathcal{N}(0, \sigma^2 \|x_i\|^2 I)$.

Dit leidt tot het Efficient Noisy Stochastic Gradient Descent (ENSGD) algoritme (Algoritme 2), dat:

• Een unieke perturbatie toewijst aan elk voorbeeld in een mini-batch.
• De efficiëntie van een enkele matrixproduct per forward pass behoudt.
• Kan worden gegeneraliseerd om biases en andere lineaire lagen te bevatten.

Experimenteel Ontwerp

De auteurs evalueren de voorgestelde methode systematisch tegen verschillende baselines op drie datasets:

• CIFAR-100: Beeldclassificatie met behulp van een CNN.
• AG News & IMDB: Tekstclassificatie met behulp van TF-IDF vectoren en volledig verbonden MLP's.

De experimenten variëren drie sleutelfactoren:

1. Ruisamplitude ($\sigma$): Getest over een log-uniform bereik.
2. Aantal Samples ($s$): Het vergelijken van single-sample updates ($s=1$) met multi-sample averaging ($s \in \{2, 4, \dots, 128\}$).
3. Ruis-parameterisatie: Het vergelijken van een Isotrope baseline (constante variantie) met:
   • Moving: Exponentieel voortschrijdend gemiddelde van de empirische gradiëntvariantie.
   • SqGrad: Geschaald door het tweede moment van Adam.
   • InvSqGrad: Geschaald door het inverse van het tweede moment van Adam.

Belangrijkste Resultaten

1. Efficiëntie van Unieke Perturbaties

Bij het vergelijken van de standaard Noisy SGD (NSGD, Algoritme 1) met de voorgestelde ENSGD (Algoritme 2) op CIFAR-100, bereikte ENSGD consistent een lagere testfout over alle geteste ruisniveaus. Dit bevestigt dat het toewijzen van unieke perturbaties aan elk voorbeeld binnen een batch de optimalisatieprestaties verbetert zonder de computationele efficiëntie op te offeren.

2. Verminderde Meeropbrengst van Multi-Sample Averaging

Experimenten waarbij het aantal ruissamples $s$ per updatestap werd gevarieerd, lieten zien dat het verhogen van $s$ boven 1 leidt tot verminderde meeropbrengst (diminishing returns).

• De beste testfout werd bereikt met $s=1$ (0.6185).
• Het verhogen van $s$ naar 128 resulteerde in een lichte degradatie (0.6261) terwijl de computationele kosten aanzienlijk toenamen.
• Dit suggereert dat een enkele geperturbeerde forward pass per updatestap het grootste deel van de voordelen van ruisinjectie vangt.

3. Eenvoud van Ruis-parameterisatie

Over CIFAR-100, AG News en IMDB heen presteerde de eenvoudige Isotrope ruis-parameterisatie competitief tegenover complexere schema's:

• Beeldclassificatie (CIFAR-100): De Isotrope methode (0.6241) was slechts marginaal slechter dan de best presterende methode, SqGrad (0.6213).
• Tekstclassificatie: De winsten van ruisinjectie waren bescheiden (maximaal 0,11 procentpunt) vergeleken met de baseline, waarschijnlijk door de reeds relatief gladde optimalisatielandschap van TF-IDF representaties. In deze settings kwam de Isotrope methode de beste resultaten evenaren of benaderde deze nauwgezet.
• Complexiteit: Geavanceerde methoden zoals SqGrad en InvSqGrad boden geen systematische voordelen. Opvallend genoeg slaagde SqGrad er niet in om op IMDB te verbeteren ten opzien van de baseline bij enig getest ruisniveau.
• Stabiliteit: Geen enkele methode veroorzaakte significante degradatie op het optimale ruisniveau.

Betekenis en Claims

Het paper concludeert dat eenvoud volstaat voor parameterruisinjectie in Stochastic Gradient Descent. De auteurs beweren dat beoefenaars niet hoeven terug te vallen op uitgebreide perturbatieontwerpen, zoals diagonale Gaussische parameterisaties met tijdvariërende varianties of multi-sample gradiëntgemiddelden, om de optimalisatie- en generalisatievoordelen te behalen van noisy SGD.

In plaats daarvan is de combinatie van:

1. Isotrope ruis (constante variantie), en
2. Een enkele geperturbeerde forward pass per updatestap (mogelijk gemaakt door het efficiënte ENSGD-algoritme),

voldoende om de meeste voordelen van complexere schema's te evenaren. Deze bevinding vereenvoudigt de implementatie van ruis-gebaseerde regularisatie, en suggereert dat lichtgewicht strategieën robuust zijn over diverse taakinstellingen, inclusief situaties waar het onderliggende optimalisatielandschap al relatief glad is.

Toekomstig Werk

De auteurs geven aan van plan te zijn de experimentele sectie uit te breiden met aanvullende datasets om deze bevindingen verder te consolideren en om de methode voor ruisinjectie uit te breiden van lineaire lagen naar convolutionele lagen (waarbij gewichtsdeling betrokken is).