Technische Samenvatting: Het Unificeren van Laagdimensionale Spectra in Deep Learning

Probleemstelling

Deep learning-classificatienetwerken die zijn getraind in het overgeparameteriseerde regime vertonen consistent laagdimensionale structuren in de eigenspectra van hun matrices (zoals Hessians, gradiënten en gewichten). Empirische waarnemingen, opvallend door Papyan (2020), onthullen een "bulk–outlier"-structuur waarbij de meeste eigenwaarden zich nabij nul clusteren (de bulk), terwijl een klein aantal uitbijters naar voren komt. Specifiek vertoont de Hessian vaak $K$ grote uitbijters en $K(K-1)$ kleinere uitbijters die een "mini-bulk" vormen, waarbij $K$ het aantal klassen is. Bovendien is waargenomen dat gradiënten uitlijnen met de top-$K$ uitbijter-eigenruimte van de Hessian.

Ondanks de centraliteit van de Hessian voor generalisatie, optimalisatie en robuustheid, zijn theoretische verklaringen voor deze specifieke spectrale structuren gefragmenteerd. Bestaande benaderingen die gebruikmaken van de theorie van willekeurige matrices, spin-glas-analogieën of neurale tangentkernels vangen vaak slechts subsets van het gedrag of vertrouwen op aannames die in de praktijk niet gelden. Bovendien is de connectie tussen deze spectrale fenomenen en Deep Neural Collapse (DNC)—een fenomeen waarbij features van de voorlaatste laag zich concentreren rond klassenmiddens die simplex equiangular tight frames (ETF's) vormen—wiskundig grotendeels onontgonnen gebleven.

Methodologie

De auteurs maken gebruik van het Deep Unconstrained Feature Model (UFM), een theoretisch kader waarin featurevectoren worden behandeld als vrij geoptimaliseerde variabelen in plaats van outputs van een vaste feature-map. Dit model wordt veel gebruikt om de opkomst van DNC in overgeparameteriseerde netwerken te bestuderen.

Het artikel procedeert in twee hoofdanalysestappen:

1. Laag-voor-laag Analyse: De auteurs leiden analytische uitdrukkingen af voor de eigenwaarden en eigenvectoren van Hessians, gradiënten en gewichtsmatrices per laag binnen het diepe lineaire UFM. Zij veronderstellen dat het netwerk een globaal optimum heeft bereikt dat voldoet aan DNC-voorwaarden (feature-collapse naar klassenmiddens, orthogonale klassenmiddens en gewichten als lineaire combinaties van middens).
2. Globale Uitbreiding: Zij breiden deze resultaten uit naar de Hessian van het volledige netwerk, en tonen aan dat onder minimale aannames (specifiek, dat de feature-map expressief genoeg is en het netwerk voldoende diep is), de globale Hessian de spectrale structuur van de Hessians per laag erft.
3. ReLU-uitbreiding: De analyse wordt uitgebreid naar netwerken met ReLU-activaties. De auteurs tonen aan dat, hoewel DNC in het ReLU-geval over het algemeen geen globaal optimum is, de best presterende DNC-oplossingen (die ontstaan over lange trainingstijdschalen) effectief gedragen als lineaire modellen met niet-negatieve feature-beperkingen, waardoor de lineaire theorie van toepassing is.

Belangrijkste Bijdragen

1. Unificerende Analytische Verklaring voor Bulk-Outlier Structuur

Het artikel biedt de eerste wiskundige afleiding die alle empirisch waargenomen details van de bulk–outlier-structuur over Hessians, gradiënten en gewichten simultaan herstelt.

• Hessianspectra: De auteurs bewijzen dat de Hessian per laag rang $K^2$ heeft. De niet-nul eigenwaarden worden volledig geconstrueerd uit de feature-middens. Specifiek decomposeert het spectrum in:
  • $K$ dominante uitbijters geassocieerd met de klassenmiddens ($G_{class}$).
  • $K(K-1)$ kleinere uitbijters die een "mini-bulk" vormen geassocieerd met verschillen tussen klassen ($G_{cross}$).
  • Een bulk van nul-eigenwaarden geassocieerd met variantie binnen de klasse ($G_{within}$), die verdwijnt onder DNC.
• Gradiëntuitlijning: De theorie bewijst dat de gradiënt volledig ligt binnen een $K$-dimensionale deelruimte opgespannen door de $K$ dominante eigenvectoren van de Hessian. Dit verklaart de empirische waarneming dat gradiënten uitlijnen met de top-$K$ uitbijterruimte, ondanks dat de Hessian $K^2$ niet-nul eigenvectoren heeft.
• Gewichtspectra: De gewichtsmatrices blijken rang $K$ te hebben, met singuliere vectoren bepaald door de feature-middens.

2. Causale Rol van Deep Neural Collapse (DNC)

De centrale bewering is dat DNC de bron is van deze laagdimensionale spectra. De eigenwaarden en eigenvectoren van deze matrices worden expliciet geconstrueerd uit de feature-middens ($\mu_c$), die de definiërende objecten van DNC zijn.

• De eigenvectoren van de Hessian zijn Kronecker-producten van genormaliseerde feature-middens: $\hat{\mu}_{c}^{(l+1)} \otimes \hat{\mu}_{c'}^{(l)}$.
• Dit vestigt een directe causale link: de geometrische organisatie van features (DNC) dicteert de kromming (Hessian) en optimalisatiedynamica (gradiënten) van het netwerk.

3. Uitbreiding naar ReLU en Globale Netwerken

• ReLU-netwerken: De auteurs definiëren een specifieke klasse van DNC-oplossingen voor ReLU-netwerken waarbij intermediaire representaties niet-negatief zijn. Zij bewijzen dat deze oplossingen globale minima zijn van het corresponderende lineaire model en dezelfde spectrale eigenschappen voldoen als het lineaire UFM.
• Globale Hessian: Het artikel bewijst dat de volledige Hessian van het netwerk de $K^2$ uitbijterstructuur van de Hessians per laag erft in de limiet van grote diepte, mits de feature-map voldoende expressief is.

Resultaten

Theoretische Resultaten

• Stelling 3.1 & 3.2: In het diepe lineaire UFM op een globaal optimum heeft de Hessian per laag rang $K^2$. De niet-nul eigenwaarden zijn gelijk (in het MSE-geval), en de eigenvectoren worden gevormd door de tensorproducten van klassenmiddens. De decompositie in $G_{class}$ en $G_{cross}$ componenten levert respectievelijk precies $K$ en $K(K-1)$ niet-nul eigenwaarden op.
• Stelling 3.3: De gradiëntvector $\tilde{g}^{(l)}$ (exclusief regularisatie) heeft precies $K$ gelijke niet-nul coëfficiënten wanneer deze wordt uitgebreid in de basis van Hessianeigenvectoren, wat bevestigt dat deze zich in de top-$K$-deelruimte bevindt.
• Stelling 3.4: Gewichtsmatrices $W_l$ hebben rang $K$, met singuliere vectoren gegeven door de klassenmiddens.
• Stelling 4.3: Deze resultaten gelden voor ReLU-netwerken onder de definitie van DNC waarbij intermediaire features niet-negatief zijn.

Empirische Validatie

De auteurs valideren hun theorie op standaardarchitecturen (ResNet-20) met volledig verbonden koppen die zijn getraind op MNIST en CIFAR-10.

• Spectrale Convergentie: Histograms van Hessianeigenwaarden tonen de opkomst van $K^2$ uitbijters uit de bulk tijdens training, die convergeren naar de voorspelde waarden.
• Uitlijning: De kwadratische cosinus-similariteit tussen voorspelde eigenvectoren (gebaseerd op feature-middens) en ware Hessianeigenvectoren nadert 1.
• Gradiëntdecompositie: Coëfficiënten van gradiëntdecompositie bevestigen dat gradiënten zich concentreren in de $c=c'$-deelruimte (grootte $K$) en verdwijnen in de $c \neq c'$-deelruimte.
• ReLU-gedrag: Experimenten met ReLU-netwerken tonen aan dat feature-matrices evolueren om niet-negatieve entries te hebben, en dat de spectrale structuur overeenkomt met de voorspellingen van de lineaire theorie.

Betekenis en Beweringen

Het artikel claimt een unificerende analytische verklaring te bieden voor een breed scala aan spectrale fenomenen in deep learning die eerder als aparte empirische waarnemingen werden behandeld. Door DNC te identificeren als het unificerende mechanisme, doet het werk het volgende:

• Verduidelijkt de relatie tussen vlakheid en DNC: Het suggereert dat de lokale vlakheid van de verlieslandschap (gecontroleerd door de Hessian) een direct gevolg is van de geometrische collapse van features.
• Gaat verder dan eigenwaarden: In tegenstelling tot eerdere empirische karakterisering die zich voornamelijk richtte op eigenwaarden, biedt dit werk gedetailleerde analytische uitdrukkingen voor eigenvectoren, waardoor de specifieke geometrische structuur (feature-middens) die de spectra aandrijft, wordt onthuld.
• Biedt een nieuwe lens voor diagnostiek: De auteurs suggereren dat, omdat DNC de Hessian vormgeeft, het controleren van de opkomst van DNC een praktisch hulpmiddel kan zijn voor het verbeteren van generalisatie, optimalisatie en netwerkontwerp, en potentieel een meer interpreteerbaar doel biedt dan de Hessian zelf.

De auteurs blijven bescheiden wat betreft de beperkingen, en merken op dat hun resultaten afhankelijk zijn van de UFM-aannames (overparameterisatie, globale optima) en dat real-world netwerken ruis vertonen door eindige data en niet-ideale optimalisatie. De sterke empirische overeenstemming suggereert echter dat het UFM de essentiële geometrische mechanismen vastlegt die het spectrale gedrag in diepe netwerken aandrijven.