Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

Technische Samenvatting: Karakterisering van Optimizer-afhankelijke Trainingsdynamiek via Hessian Eigenvector Verplaatsing en Lokalisatie

Probleemstelling
Het begrijpen van de training van neurale netwerken blijft uitdagend vanwege de hoogdimensionale, niet-convexe aard van het verlieslandschap (loss landscape). Hoewel de Hessian-matrix (de matrix van tweede afgeleiden van de loss met betrekking tot de parameters) een standaardinstrument is voor het analyseren van trainingsdynamiek, generalisatie en scherpte, richt het meeste eerdere werk zich op Hessian-eigenwaarden (kromminggrootte) of de stabiliteit van de top-$k$ eigensubruimte als geheel. Er bestaat een kritieke kloof in het begrip van de evolutie van individuele leidende Hessian-eigenvectoren, die de specifieke richtingen van kromming in de parameterruimte coderen. Het is onduidelijk of deze eigenvectoren stabiliseren, driften of reorganiseren tijdens mini-batch training, en of verschillende optimizers kwalitatief onderscheidende geometrische trajecten door het verlieslandschap induceren.

Methodologie
De auteurs onderzoeken de tijdgebonden evolutie van de leidende Hessian-eigenvectoren, $\{v^{(i)}(t)\}$, tijdens de training van multilayer perceptrons (MLP's) op MNIST en FashionMNIST datasets. De studie vergelijkt drie optimizers: Stochastic Gradient Descent (SGD), Adam en Sharpness-Aware Minimization (SAM).

Om de eigenvector-dynamiek te kwantificeren, gebruikt het paper twee complementaire metrieken:

1. Eigenvector Verplaatsing (Displacement): Geïnspireerd door analyses van glasachtige systemen, meet deze metriek de gekwadrateerdete Euclidean afstand tussen een eigenvector op een starttijd $t_w$ en zijn staat na een wachttijd $t$. Dit fungeert als een twee-tijd correlatiefunctie om stationaire dynamiek te onderscheiden van "aging" gedrag (waarbij de snelheid van verandering afhankelijk is van de ouderdom van de training). Een random nulmodel, gebaseerd op de verwachte Hessian onder willekeurige parameterinitialisatie, dient als baseline voor volledige decorrelatie.
2. Inverse Participation Ratio (IPR): Deze metriek kwantificeert de lokalisatie van de eigenvector-massa. Een IPR-waarde nabij $1/N$ (waarbij $N$ het aantal parameters is) duidt op delokalisatie (uniforme spreiding), terwijl waarden nabij $O(1)$ duiden op lokalisatie (concentratie op een kleine subset van parameters). In deze context meet IPR hoe de gevoeligheid voor kromming verdeeld is over de gewichten van het netwerk.

De experimenten maken gebruik van een 3-laagse volledig verbonden MLP getraind met mini-batches. De Hessian wordt op intervallen geëvalueerd op de volledige dataset, waarbij eigenvectoren worden berekend via Lanczos-iteratie met behulp van Hessian-vectorproducten om het vormen van de volledige matrix te vermijden.

Belangrijkste Resultaten
De studie onthult duidelijke, optimizer-afhankelijke gedragingen in zowel verplaatsings- als lokalisatiedynamiek:

• Verplaatsing en Stabiliteit:

  • SGD: Vertoont "aging" gedrag waarbij de leidende eigenvector ($v^{(1)}$) aanvankelijk snel verandert maar progressief stabiliseert. De verplaatsing verzadigt onder de random baseline, wat aangeeft dat SGD leidt tot progressief stabielere leidende krommingrichtingen.
  • Adam: Toont aanzienlijk sterkere reorganisatie. De eigenvector-verplaatsing vlakt af nabij de random baseline, wat wijst op bijna volledige decorrelatie en een aanhoudende verschuiving van de leidende krommingrichtingen gedurende de training.
  • SAM: Vertoont intermediair gedrag met een tragere maar persistente drift vergeleken met SGD.
  • Deze dynamieken zijn robuust tegen variaties in batchgrootte en leersnelheid, behalve in het full-batch regime.

• Lokalisatie (IPR):

  • Adam: Induceert een sterk lokalisatiefenomeen waarbij de leidende eigenvector geconcentreerd raakt op een kleine subset van parameters (IPR $\approx 0.1$). Dit suggereert dat onder Adam een kleine subset van gewichten onevenredig veel bijdraagt aan de leidende krommingrichtingen.
  • SGD: Vertoont een delokaliserend trend, met IPR-waarden die dalen richting de uniforme baseline ($1/N$), wat aangeeft dat krommingsgevoeligheid gelijkmatiger over de parameters wordt verspreid.
  • SAM: Vertoont een iets hogere lokalisatie dan SGD, maar behoudt een lage variantie over verschillende runs.

• Uitlijning (Alignment): Het paper merkt op dat hoewel gradiënten over het algemeen uitlijnen met de top-eigenvectoren, de uitlijning van de Adam-updates laag blijft (onder de 0.1), waarschijnlijk door de momentumparameter, terwijl SGD en SAM-updates meer nauw aansluiten bij de gradiënt.

Betekenis en Claims
Het paper claimt dat het volgen van Hessian-eigenvectordynamiek de belangrijkste verschillen in optimizergedrag vastlegt die niet zichtbaar zijn via spectrale analyse alleen. De primaire betekenis ligt in het aantonen dat:

1. Keuze van Optimizer Bepaalt Geometrie: Verschillende optimizers traverseren niet enkel hetzelfde landschap met een andere snelheid; ze induceren kwalitatief verschillende vormen van landschapsexploratie. SGD stabiliseert krommingrichtingen, terwijl Adam de krommingrichtingen continu reorganiseert.
2. Lokalisatie als een Stabiele Statistiek: Ondanks de menging van eigenvectoren onder Adam, blijft de lokalisatiemetriek (IPR) een stabiele statistiek gedurende de training. Dit suggereert dat zelfs wanneer de specifieke richtingen van kromming roteren, de aard van de kromming (of deze wordt gedreven door enkele parameters of verdeeld is) consistent blijft voor een gegeven optimizer.
3. Implicaties voor Analyse: Deze bevindingen suggereren dat eigenvector-instabiliteiten de optimalisatie kunnen faciliteren door exploratie van nieuwe regio's in het verlieslandschap mogelijk te maken. Bovendien kan de geobserveerde lokalisatie onder Adam praktische implicaties hebben voor gerichte pruning en onzekerheidskwantificering, aangezien het specifieke subsets van gewichten identificeert die de meest convexe richtingen domineren.

De auteurs concluderen dat deze dynamieken robuust zijn tegen hyperparameter-variaties (binnen de mini-batch regimes) en dat toekomstig werk deze observaties kan benutten om optimizer-dynamiek te verbeteren en parameterredundantie te exploiteren.