🤖 machine learning

The Role of Symmetry in Optimizing Overparameterized Networks

Dit artikel toont aan dat overparametrisatie in neurale netwerken de training optimaliseert door gewicht-ruimte symmetrieën in te voeren die fungeren als diagonale preconditionering om de Hessian-conditie te verbeteren en de waarschijnlijkheidsmassa van globale minima in de buurt van typische initialisaties te vergroten, waardoor de convergentie wordt versneld.

Oorspronkelijke auteurs: Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex puzzel probeert op te lossen, zoals het passen van een specifieke vorm in een legpuzzelbord. In de wereld van deep learning is de "puzzel" het vinden van de perfecte set getallen (gewichten) binnen een neurale netwerken die ervoor zorgt dat het een taak correct oplost.

Lange tijd merkten onderzoekers een vreemd fenomeen op: het groter maken van het netwerk (het toevoegen van meer "stukjes" of parameters) maakt het daadwerkelijk makkelijker en sneller om de puzzel op te lossen, zelfs als de puzzel zelf klein genoeg is om opgelost te worden door een heel klein netwerk. Dit wordt "overparametrisatie" genoemd.

Dit artikel vraagt zich af: Waarom helpt het hebben van extra stukjes? De auteurs stellen dat het niet alleen gaat om meer ruwe kracht; het gaat om symmetrie. Zij gebruiken het idee van "symmetrie" om twee hoofdmanieren uit te leggen waarop het groter maken van een netwerk de zoektocht naar de oplossing verbetert.

Hier is de uiteenzetting met eenvoudige analogieën:

1. Het "Spiegeldoolhof" van Oplossingen (Symmetrie)

Stel je eerst voor dat veel verschillende rangschikkingen van puzzelstukjes leiden tot exact hetzelfde plaatje. In een neurale netwerk kun je twee neuronen verwisselen, of één neuron splitsen in twee kleinere neuronen die samenwerken, en het netwerk doet nog steeds exact dezelfde baan.

De auteurs noemen deze groepen van "verschillende instellingen die hetzelfde doen" symmetrie-orbieten. Denk eraan als een vlakke vallei in een bergketen. Als je op de bodem van de vallei staat, kun je in elke richting over de vloer lopen, en verandert je hoogte (de fout) niet. Dit zijn de "vlakke richtingen".

2. Mechanisme Eén: De "Magische Herschaling" (Diagonale Preconditionering)

Wanneer je een netwerk breder maakt, introduceer je nieuwe manieren om deze neuronen te splitsen en te herschikken. De auteurs bewijzen dat deze nieuwe rangschikkingen fungeren als een magisch herschalingstool voor het landschap.

Het Probleem: Stel je voor dat de vloer van de vallei de vorm heeft van een lange, smalle ellips. Als je probeert een bal naar de bodem te rollen, is het makkelijk om vast te komen zitten of heen en weer te stuiteren omdat het pad in de ene richting smal is en in de andere breed. Dit is een "slecht geconditioneerd" landschap.
De Symmetrie-oplossing: Door gebruik te maken van de nieuwe symmetrieën die beschikbaar zijn in een breder netwerk, kun je effectief de lange kant "platdrukken" en de korte kant "rekken" van die ellips. Je herschikt de vallei tot een perfecte cirkel.
Het Resultaat: Nu, wanneer je de bal rolt (het optimalisatiealgoritme uitvoert), rolt het recht naar de bodem zonder te wiebelen. De auteurs noemen dit diagonale preconditionering. Het is alsof je speciale bril opzet die het pad perfect rond laat lijken, zelfs als het eigenlijk ovaal was.

3. Mechanisme Twee: De "Grotere Doel" (Volumegroei)

De tweede manier waarop overparametrisatie helpt, is door de "goede" oplossingen veel makkelijker per toeval te vinden.

Het Probleem: Stel je voor dat je blinddoek darten gooit tegen een muur. Als de "winnende" plek een klein stipje is, zul je het bijna nooit raken.
De Symmetrie-oplossing: Wanneer je meer neuronen toevoegt, breidt de symmetrie-orbit zich uit. Het is alsof het kleine stipje op de muur plotseling uitgroeit tot een grote, pluizige wolk. Omdat er zo veel verschillende manieren zijn om de extra neuronen te rangschikken om hetzelfde resultaat te krijgen, wordt het totale "volume" van winnende plekken enorm.
Het Resultaat: Zelfs als je begint met een willekeurige gok (een willekeurige worp), is de kans nu veel groter dat je landt binnen die grote wolk van goede oplossingen. Het artikel toont aan dat naarmate het netwerk breder wordt, de kans dat je je reis begint vlak naast een perfecte oplossing significant toeneemt.

4. De "Splitsing"-Truc

Het artikel beschrijft specifieke wiskundige trucs die splitsingssymmetrieën worden genoemd.

Post-activatie splitsing: Stel je voor dat je een werknemer (een neuron) hebt die een baan doet. Je kunt twee nieuwe werknemers in dienst nemen die elk de helft van het werk doen, en ze delen het loon. Het totale werk dat wordt gedaan is hetzelfde, maar nu heb je meer flexibiliteit in hoe je ze betaalt.
Pre-activatie splitsing (voor ReLU-netwerken): Dit is alsof je de input voor de werknemer splitst. Als de werknemer een "ReLU" is (een specifiek type schakelaar), kun je het binnenkomende signaal splitsen in twee kleinere signalen die optellen tot het origineel.

Deze splitsingen creëren nieuwe "vlakke richtingen" in het landschap. De auteurs tonen aan dat hoewel het totale "volume" van de oplossing ongeveer hetzelfde blijft (als je gelijkmatig splitst), de vorm van dat volume verandert om veel rondere en makkelijker te navigeren te zijn.

5. Wat de Experimenten Tonen

De auteurs hebben niet alleen wiskunde gedaan; ze hebben experimenten uitgevoerd om dit te bewijzen:

Kromming: Naarmate ze netwerken breder maakten, werd de "Hessiaan" (een wiskundige kaart van de bulten en valleien van het landschap) beter geconditioneerd. De "bulten" werden gladder en uniformer.
Snelheid: De netwerken met meer parameters convergeerden (vonden de oplossing) sneller.
Universaliteit: Dit werkte voor verschillende soorten netwerken (MLP's, CNN's, Transformers) en verschillende taken, wat suggereert dat dit een fundamentele geometrische regel is van hoe deze netwerken werken.

Samenvatting

In eenvoudige termen stelt het artikel dat het groter maken van een neurale netwerk niet alleen meer spierkracht geeft; het geeft meer "vrijheidsgraden" om het terrein waarop het loopt, te herschikken.

Door extra parameters toe te voegen, creëer je een landschap waar de "goede" oplossingen:

Ronder en makkelijker af te rollen zijn (betere conditionering/preconditionering).
Groter zijn en per ongeluk makkelijker te raken (toegenomen volume/kans).

De "symmetrie" van het netwerk is het hulpmiddel dat ons in staat stelt het landschap te herschikken tot een vriendelijker vorm, waardoor het optimalisatieproces veel efficiënter wordt.

1. Probleemstelling

Overparameterisatie (het gebruik van neurale netwerken met aanzienlijk meer parameters dan nodig is om de doelfunctie te representeren) is een hoeksteen van modern deep learning, die consistent de optimalisatiesnelheid en de uiteindelijke prestaties verbetert. De precieze mechanismen die deze verbeteringen aandrijven, blijven echter onvolledig begrepen.

Bestaande theorieën vertrouwen vaak op:

Groot-breedte limieten: Netwerken bekijken als gelineariseerde kernen (NTK).
Krommingsanalyse: Het observeren van gestructureerde Hessiaan-spectra met grote subruimtes dicht bij nul.
Symmetrie: Het herkennen dat netwerken symmetrieën in de gewichtenruimte bezitten (permutaties, herschalingen) die variëteiten van functioneel identieke oplossingen creëren.

De Kloof: Hoewel bekend is dat symmetrie vlakke richtingen in het verlieslandschap creëert, is de specifieke rol ervan in het verbeteren van de conditie van het optimalisatielandschap (het makkelijker maken om minima te bereiken en te convergeren) via overparameterisatie niet grondig gekarakteriseerd. Dit artikel heeft tot doel de kloof te overbruggen tussen overparameterisatie, symmetrieën in de gewichtenruimte en de geometrische eigenschappen van het verlieslandschap.

2. Methodologie

De auteurs stellen een unificerend kader voor dat symmetrieën in de gewichtenruimte analyseert die worden veroorzaakt door het vergroten van de netwerkbreedte. Zij maken gebruik van een Matrix Groepoid-formalisme om te beschrijven hoe symmetrieën opereren over verschillende netwerkbreedtes heen, verdergaand dan symmetrieën met een vaste breedte.

Belangrijkste theoretische hulpmiddelen:

Symmetrie-orbieten: Het definiëren van equivalentieklassen van parameters $[\theta]_T$ die dezelfde functie produceren.
Splitsingsoperaties: Het karakteriseren van hoe het toevoegen van neuronen (overparameterisatie) overeenkomt met het "splitsen" van bestaande neuronen via duplicatiematrixen ( $M$ $M$ ) en pseudoinversen ( $M^+$ $M^{+}$ ).
- Splitsing na activatie: Het dupliceren van neuronen en het herverdelen van uitgangsgewichten.
- Splitsing voor activatie (ReLU specifiek): Het splitsen van ingangsgewichten terwijl de ReLU-lineariteit behouden blijft.
Hessiaan-analyse: Het analyseren van hoe de Hessiaan-matrix ( $H$ ) transformeert onder deze splitsingsoperaties om veranderingen in kromming, conditiecijfers en lokaal volume te begrijpen.
Leraar-Leerling Setting: Het gebruik van een opzet waarbij een "leerling"-netwerk (breedte $n$ ) wordt getraind om een "leraar"-netwerk (minimale breedte $n_f$ ) te matchen, om de existentie van globale minima te garanderen en optimalisatiedynamica te isoleren van representatieproblemen.

3. Belangrijkste Bijdragen

Het artikel identificeert twee onderscheiden mechanismen waarmee overparameterisatie optimalisatie helpt:

Mechanisme 1: Diagonale Preconditie van de Hessiaan

De auteurs bewijzen dat symmetrietransformaties fungeren als diagonale preconditie op de Hessiaan.

Stelling: Als een netwerk wordt uitgebreid via symmetrie, heeft de nieuwe Hessiaan $H'$ dezelfde niet-nul eigenwaarden als $K^{1/2} H K^{1/2}$ , waarbij $K$ een diagonaalmatrix is die wordt bepaald door de splitsingsstructuur.
Implicatie: Deze transformatie schaalt de assen van het verlieslandschap effectief op. Als de eigenvectoren van de oorspronkelijke Hessiaan ongeveer langs de assen liggen (wat empirisch bewijs suggereert dat ze vaak zijn), verbetert deze herschaling aanzienlijk het conditiecijfer ( $\kappa$ ), wat leidt tot snellere convergentie voor methoden van de eerste orde.
Trace-reductie: Zij leiden een formule af die aantoont dat terwijl het product van niet-nul eigenwaarden (pseudodeterminant/volume) behouden blijft bij zelfs splitsingen, de trace (som van eigenwaarden/gemiddelde kromming) kan worden gereduceerd. Dit leidt tot verbeterde gemiddelde-geval conditie.

Mechanisme 2: Volumegroei en Bereikbaarheid

Overparameterisatie verhoogt de waarschijnlijkheidsmassa van globale minima in de buurt van typische willekeurige initialisaties.

Stelling: Naarmate de breedte toeneemt, groeit het totale volume van globale minima in de buurt van de initialisatie. Specifiek neemt de waarschijnlijkheid om te initialiseren binnen een $\epsilon$ -omgeving van een globale minimum toe met de breedte zodra het netwerk voldoende breed is.
Combinatorisch Effect: Het toevoegen van parameters introduceert nieuwe symmetrieën die de equivalentieklasse van oplossingen uitbreiden. Zelfs als individuele minima lichtjes in volume krimpen door splitsing, resulteert de combinatorische explosie van mogelijke splitconfiguraties (permutatiekopieën) in een netto toename van de waarschijnlijkheid om in een "goede" vallei te landen.

4. Experimentele Resultaten

De auteurs valideren hun theoretische voorspellingen door uitgebreide experimenten:

Theorievalidatie:
- Hessiaan-Verstrengeling: Bevestigd dat de eigenwaarden van de leerling-Hessiaan verstrengelen met die van de leraar, met extra eigenwaarden dicht bij nul die overeenkomen met de nieuwe vlakke symmetrierichtingen.
- Pseudodeterminant & Trace: Empirische metingen van de Hessiaan-trace en pseudodeterminant kwamen overeen met theoretische voorspellingen binnen een foutmarge van 0,03%.
- Neuronen-Clustering: Gevisualiseerd dat bij convergentie leerling-neuronen clusteren rond leraar-neuronengewichten, met uitgangsgewichten die optellen tot de waarden van de leraar, wat de "splitsings"structuur bevestigt.
Optimalisatiemetrics:
- Conditie: Over MLP's, CNN's en Transformers verbeterden het conditiecijfer, de top-eigenwaarde en de AM/GM-ratio (een maat voor gemiddelde-geval conditie) monotoon naarmate de breedte toenam.
- Convergentiesnelheid: Het aantal stappen dat nodig was om te convergeren, nam af naarmate de breedte toenam.
- Generalisatie: Deze trends bleken waar niet alleen in leraar-leerling settings, maar ook in directe data-aanpassingsscenario's (bijv. Californië Huisvestingsregressie, CIFAR-10 classificatie), zelfs in licht onderparameteriseerde regimes.

5. Betekenis en Implicaties

Unificerend Kader: Het artikel biedt een geometrische verklaring voor overparameterisatie die symmetrie, kromming en initialisatiekans verenigt. Het gaat verder dan het "luie training" (NTK)-regime om dynamica met eindige breedte te verklaren.
Waarom Overparameterisatie Werkt: Het suggereert dat overparameterisatie niet alleen meer capaciteit biedt; het herschikt fundamenteel het verlieslandschap om beter geconditioneerde minima te bevatten die overvloediger zijn en makkelijker te bereiken zijn vanuit willekeurige initialisatie.
Generalisatie: De auteurs stellen een "tellingargument" voor generalisatie voor: eenvoudigere functies (gerepresenteerd door de leraar) hebben grotere symmetrie-orbieten en dus grotere volumes van minima in vergelijking met complexe overfit-oplossingen. Optimalisatie geeft op natuurlijke wijze de voorkeur aan deze grotere, beter geconditioneerde valleien.
Praktisch Inzicht: De bevindingen ondersteunen het gebruik van bredere netwerken en verklaren waarom adaptieve optimalisatoren (zoals Adam) goed werken; ze voeren impliciet diagonale preconditie uit, wat synergieert met de door symmetrie veroorzaakte preconditie van overparameteriseerde netwerken.
Plasticiteitsverlies: Het kader biedt een mogelijke verklaring voor "plasticiteitsverlies" in continu leren: optimalisatie kan vastlopen in een specifieke symmetrie-orbit (een laag-breedte diagonaal in de groepoid), waardoor het netwerk wordt verhinderd om slapende breedte te benutten voor nieuwe taken.

Kortom, het artikel demonstreert dat overparameterisatie een geometrische transformatie is die optimalisatie verbetert door een landschap te creëren met meer toegankelijke, beter geconditioneerde minima door de expansie van symmetrieën in de gewichtenruimte.