Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

Technische Samenvatting: Naar een begrip van de gradiëntstroomdynamiek van homogene neurale netwerken voorbij de oorsprong

Probleemstelling
Moderne diepe neurale netwerken die getraind worden via gradiëntgebaseerde methoden vertonen vaak sterke generalisatie ondanks overparameterisatie, een fenomeen dat wordt toegeschreven aan impliciete regularisatie geïnduceerd door het trainingsalgoritme. Hoewel er aanzienlijke vooruitgang is geboekt in het begrijpen van de trainingsdynamiek in het Neural Tangent Kernel (NTK)-regime (grote initialisatie) en de latere stadia van training, blijft het "kleine initialisatie"-regime minder goed begrepen. In dit regime opereren netwerken in een modus van het leren van kenmerken (feature-learning mode), maar de sterk niet-lineaire evolutie van gewichten vormt analytische uitdagingen.

Eerdere werken (bijv. Maennel et al., 2018; Kumar en Haupt, 2024, 2025) hebben vastgesteld dat voor homogene neurale netwerken met een kleine initialisatie, gewichten gedurende een langere periode nabij de oorsprong blijven. Tijdens deze fase convergeren de gewichten in richting naar een Karush-Kuhn-Tucker (KKT)-punt van een Neural Correlation Function (NCF), een fenomeen dat bekend staat als "vroege directionele convergentie". Bovendien vertonen deze vroege KKT-punten vaak een spaarsheid (sparsity). Het gedrag van de gradiëntstroom na het ontsnappen van de gewichten uit de oorsprong en de instandhouding van de opkomende spaarsheidsstructuur tijdens deze transitie werden echter niet volledig gekarakteriseerd. Dit artikel adresseert deze kloof door de gradiëntstroomdynamiek van homogene neurale netwerken te analyseren onmiddellijk nadat ze de oorsprong verlaten, tot aan het eerste tegengekomen zadelpunt.

Methodologie en Opzet
Het artikel bestudeert homogene neurale netwerken $H(x; w)$ die $L$-positief homogeen zijn ($L \ge 2$), wat betekent dat $H(x; cw) = c^L H(x; w)$ voor $c \ge 0$. De analyse gaat ervan uit dat het netwerk lokaal Lipschitz-continue gradiënten heeft, wat diepe lineaire netwerken en netwerken met polynomiale ReLU-activaties ($p \ge 2$) omvat, maar expliciet standaard ReLU-netwerken ($p=1$) uitsluit vanwege niet-differentieerbaarheid bij de oorsprong, hoewel empirische resultaten suggereren dat mogelijke uitbreidingen bestaan.

Het trainingsdoel is het minimaliseren van een verliesfunctie $\mathcal{L}(w)$ via gradiëntstroom:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
De auteurs bouwen voort op het concept van de Neural Correlation Function (NCF), gedefinieerd als $N(u) = \bar{e}_y^\top H(X; u)$, waarbij $\bar{e}_y = -\ell'(0, y)$. Ze analyseren de geconstreerde optimalisatie van $N(u)$ op de eenheidssfeer.

De kernmethodologie omvat:

1. Constructie van het Limiterende Traject: Het definiëren van een limiterende oplossing $p(t)$ die het pad van de gradiëntstroom vertegenwoordigt na het ontsnappen uit de oorsprong. Dit wordt bereikt door de oplossing $\psi(t, \delta w_0)$ (waarbij $\delta$ de schaal van de initialisatie is) te verschuiven in de tijd met een term afhankelijk van $\ln(1/\delta)$ en de limiet te nemen als $\delta \to 0$.
2. Stabiliteitsanalyse: Het benutten van de eigenschappen van $\Delta$-tweederangs positieve KKT-punten van de geconstreerde NCF. De auteurs nemen aan dat de initiële richting van de gewichten in de stabiele verzameling van een dergelijk KKT-punt ligt.
3. Nul-preserverende Subsets: Het introduceren van het concept van een "nul-preserverende subset" van gewichten—gewichten die bij nul geïnitialiseerd zijn en gedurende de hele training nul blijven onder gradiëntstroom. Dit wordt gebruikt om de instandhouding van spaarsheid te analyseren.

Belangrijkste Bijdragen en Resultaten

1. Gradiëntstroomdynamiek Post-Escape (Theorema's 4 en 10)
Het artikel stelt vast dat voor een voldoende kleine initialisatie het traject van de gradiëntstroom na het ontsnappen uit de oorsprong nauw volgt een specifiek limiterend pad $p(t)$, ongeacht de specifieke kleine initialisatieschaal $\delta$, mits de initiële richting van de gewichten uitlijnt met een stabiele verzameling van een tweederangs positief KKT-punt van de NCF.

• Twee-homogene Netwerken ($L=2$): Theorema 4 laat zien dat na een tijdschaal van $O(\ln(1/\delta))$, het traject $\psi(t, \delta w_0)$ convergeert naar $p(t)$ met een foutenmarge van $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$.
• Diepe Homogene Netwerken ($L > 2$): Theorema 10 breidt dit uit naar $L$-homogene netwerken. De ontsnappingstijd schaalt als $O(\delta^{-(L-2)})$, en het traject convergeert evene kind naar een limiterend pad $p(t)$ met een specifieke foutenmarge.
• Implicatie: Het gedrag van de gradiëntstroom onmiddellijk na het ontsnappen uit de oorsprong wordt primair bepaald door het KKT-punt van de NCF waarnaar de gewichten convergeerden terwijl ze zich nabij de oorsprong bevonden.

2. Karakterisering van het Eerste Zadelpunt (Corollaria 5, 6, 11, 12)
De auteurs demonstreren dat het limiterende traject $p(t)$ convergeert naar een stationair punt (zadelpunt) van de verliesfunctie. Bijgevolg zal voor een voldoende kleine initialisatie het werkelijke gradiëntstroomtraject $\psi(t, \delta w_0)$ na het ontsnappen uit de oorsprong hetzelfde zadelpunt benaderen.

• Het artikel maakt onderscheid tussen gevallen waarin het zadelpunt eindig is (begrensd traject) en gevallen waarin het zich in het oneindige bevindt (onbegrensd traject, gebruikelijk bij de logistische verliesfunctie).
• De resultaten impliceren dat de gradiëntstroom een "zadel-naar-zadel" traject volgt, en karakteriseert specifiek het eerste zadelpunt dat na de oorsprong wordt tegengekomen.

3. Behoud van Spaarsheid in Feed-Forward Netwerken (Sectie 4 en Theorema 18)
Een cruciale bijdrage is het bewijs dat de spaarsheidsstructuur die ontstaat tijdens de "nabij-de-oorsprong"-fase behouden blijft na het ontsnappen uit de oorsprong, tot aan het eerste zadelpunt.

• Nul-preserverende Subsets: De auteurs bewijzen dat voor feed-forward homogene netwerken de rijen en kolommen van gewichtsmatrices die overeenkomen met nul-magnitude entries in een KKT-punt van de NCF een "nul-preserverende subset" vormen. Als deze gewichten op nul geïnitialiseerd zijn, blijven ze gedurende de hele training nul.
• Behoud van Spaarsheid: Omdat de gradiëntstroom met een kleine initialisatie in richting convergeert naar een KKT-punt met een specifieke spaarsheid (waar bepaalde gewichten nul zijn), en deze nul-gewichten een nul-preserverende subset vormen, wordt de spaarsheidsstructuur behouden terwijl het netwerk de oorsprong verlaat en het eerste zadelpunt nadert.
• Theorema 18: Formaliseert dat voor zowel $L=2$ als $L>2$ netwerken de magnitude van de gewichten in de nul-preserverende subset verwaarloosbaar blijft ($O(\delta^{\text{exponent}}$) zelfs na de ontsnappingstijd, waardoor het spaarheidspatroon effectief wordt behouden.

Experimentele Validatie
Het artikel biedt numerieke experimenten (Figuren 1, 4, 5, 6) met kwadratische activatiefuncties ($L=2$) en polynomiale ReLU-activaties.

• Kwadratische Activatie: Experimenten bevestigen dat gewichten spaars worden voordat ze de oorsprong verlaten en dat deze spaarsheid behouden blijft bij het volgende zadelpunt.
• ReLU-Activatie: Hoewel het theoretische kader standaard ReLU ($L=1$) uitsluit, laten experimenten op ReLU-netwerken zien dat, hoewel de gewichten niet perfect spaars worden (meer niet-nul entries dan in het polynomiale geval), de relatieve spaarsheidsstructuur (waar kleine gewichten klein blijven) wel behouden blijft. Dit suggereert dat de bevindingen empirisch kunnen worden uitgebreid naar ReLU-netwerken, ondanks het gebrek aan lokaal Lipschitz-continue gradiënten.

Betekenis en Claims
Het artikel claimt een rigoureuze karakterisering te bieden van een specifiek segment van de trainingsdynamiek: de transitie van de "nabij-de-oorsprong"-fase naar het eerste zadelpunt.

• Mechanisme van Impliciete Regularisatie: Het koppelt de geobserveerde impliciete regularisatie in kleine initialisatieschema's aan de geometrie van de NCF en de specifieke KKT-punten waarnaar het netwerk convergeert.
• Stabiliteit van Spaarsheid: Het biedt een theoretische verklaring voor waarom spaarheidspatronen die vroeg in de training worden waargenomen, aanhouden, door dit toe te schrijven aan het "nul-preserverende" karakter van specifieke gewichtssubsets in feed-forward architecturen.
• Beperkingen: De auteurs geven expliciet aan bescheiden te zijn in hun reikwijdte. De resultaten zijn beperkt tot:
  1. Homogene netwerken met lokaal Lipschitz-continue gradiënten (exclusief standaard ReLU).
  2. De dynamiek tot aan het eerste zadelpunt dat na de oorsprong wordt tegengekomen. Het gedrag voorbij dit punt (bijv. het ontsnappen van het zadel naar een globaal minimum) wordt niet behandeld en wordt geïdentificeerd als een richting voor toekomstig werk.
  3. De aanname dat de initiële richting in de stabiele verzameling van een tweederangs positief KKT-punt ligt.

Samenvattend overbrugt het artikel de kloof tussen de vroege fase van directionele convergentie en de daaropvolgende trainingsfase, door aan te tonen dat de structurele eigenschappen (met name spaarsheid) die nabij de oorsprong worden vastgesteld, het traject en de stabiliteit van het netwerk dicteren wanneer het begint te leren van kenmerken en het eerste zadelpunt nadert.