Technische Samenvatting: De Impliciete Bias van Diepte: Van Neuraal Ineenstorten tot Softmax-codes

Probleemstelling

Diepe neurale netwerkklassificatoren die getraind worden voorbij interpolatie convergeren vaak naar een gestructureerde geometrische rangschikking die bekendstaat als Neuraal Ineenstorten (Neural Collapse, NC), waarbij de klassgemiddelden een simplex equiangular tight frame (ETF) vormen en de features zich met dit frame aligneren. Hoewel NC goed begrepen is in ondiepe modellen en geregulariseerde diepe settings, blijft de opkomst ervan in ongeregulariseerde diepe architecturen theoretisch vaag.

Vorig theoretisch werk over het Unconstrained Features Model (UFM) heeft grotendeels vertrouwd op expliciete $L_2$-regularisatie om NC te induceren. Echter, recente bevindingen suggereren dat in diepe UFMs, $L_2$-regularisatie eigenlijk een low-rank bias induceert die NC onderdrukt, waardoor NC suboptimaal wordt. Er bestaat een kritieke kloof in het begrijpen van de impliciete biases van ongeregulariseerde diepe training: Heeft diepte alleen, via dynamica van gradient descent, de voorkeur voor NC, of drijft het het systeem naar alternatieve geometrische structuren? Specifiek: hoe interageren diepte, optimalisatiedynamica en initialisatie om de uiteindelijke geometrische configuratie te bepalen bij afwezigheid van expliciete regularisatie?

Methodologie

De auteurs analyseren het Deep Unconstrained Features Model (UFM) getraind met Cross-Entropy (CE) loss zonder expliciete regularisatie. Dit model behandelt features van de laatste laag als vrije optimalisatievariabelen, wat effectief een diep lineair netwerk met orthogonale inputs abstracteert. De studie hanteert twee complementaire analytische perspectieven:

1. Asymptotische Analyse: De auteurs onderzoeken de limiet van gradient flow (GF) als $t \to \infty$. Zij maken gebruik van het raamwerk van Lyu & Li (2019) om aan te tonen dat GF op CE-loss impliciet niet-convexe margin-maximalisatie uitvoert. Zij karakteriseren het landschap van het bijbehorende beperkte optimalisatieprobleem om globale en lokale minima te identificeren.
2. Dynamische Analyse: Om gedrag in eindige tijd te begrijpen, maken de auteurs gebruik van Hadamard-initialisatie (specifiek Sylvester Hadamard-matrices). Deze initialisatie behoudt de singuliere vectoren van parametermatrices gedurende de training, waardoor de complexe matrixdynamica wordt gereduceerd tot een hanteerbaar systeem van differentiaalvergelijkingen dat alleen de singuliere waarden bestuurt. Dit maakt een precieze karakterisering mogelijk van stabiliteit en trajectevolutie nabij de oorsprong en tijdens de overgang naar het regime met grote normen.

Belangrijkste Bijdragen en Resultaten

1. Diepte breekt het onschadelijke landschap

Het artikel demonstreert dat het "onschadelijke" landschap van het ondiepe UFM (waarbij NC het unieke globale minimum is) niet standhoudt in diepe settings ($L > 1$).

• Stelling 3.1: Voor $L=2$ met $K \ge 6$ klassen (of $L \ge 3$ met $K \ge 4$) is NC niet globaal optimaal. Hoewel NC een lokaal optimum blijft, erkent het landschap meerdere verschillende, stabiele lokale minima.
• Mechanisme: De suboptimaliteit van NC ontstaat omdat low-rank structuren normen efficiënter voortplanten via opeenvolgende matrixvermenigvuldigingen. In een diep netwerk staan low-rank matrices toe om grotere logit-normen (en dus grotere Euclidische marges) te bereiken voor een vaste parameternorm in vergelijking met de full-rank NC-configuratie. Dit is een puur geometrisch effect van diepte, onafhankelijk van expliciete regularisatie.

2. Karakterisering van optimale low-rank structuren: Softmax-codes

De auteurs identificeren de specifieke geometrische structuren die NC vervangen in de diepe limiet.

• Stelling 3.2: In de limiet van oneindige diepte ($L \to \infty$) komt het globale optimum overeen met een rank-2 oplossing waarbij klassgemiddelden zijn gerangschikt als hoekpunten van een regelmatige $K$-hoek op een cirkel.
• Verbinding met Softmax-codes: Deze structuur valt samen met de optimale oplossing van een enkel-laags UFM onder een extreme breedte-bottleneck ($d=2$), bekend als een softmax code (Jiang et al., 2023). Het artikel betoogt dat diepte fungeert als een impliciete rank-beperking, die oplossingen selecteert die anders expliciete architecturale bottlenecks zouden vereisen. Empirische resultaten suggereren dat deze connectie zich uitstrekt tot eindige dieptes, waarbij netwerken convergeren naar rank-$r$ softmax-codes.

3. Dynamische instabiliteit en het "Rich-get-Richer"-effect

Het artikel analyseert het traject van gradient flow om uit te leggen hoe het systeem NC vermijdt.

• Instabiliteit van NC: In tegenstelling tot het ondiepe geval waar NC stabiel blijft gedurende het traject, bewijst Stelling 4.3 dat voor $L > 1$ de NC-richting instabiel is nabij de oorsprong (kleine parameternormen). Het gebied van instabiliteit groeit met het aantal lagen.
• Mechanisme: De instabiliteit wordt gedreven door een "rich-get-richer"-effect (Stelling 4.4). In het linearisatie-regime nabij initialisatie groeien grotere singuliere waarden sneller dan kleinere ($L > 1$), wat initiële dispariteiten versterkt en het systeem naar low-rank structuren drijft voordat het het linearisatie-regime verlaat.
• Divergentie van KL-divergentie: Het artikel toont aan dat de KL-divergentie naar NC, die fungeert als een Lyapunov-functie in ondiepe modellen, kan divergeren in diepe modellen, wat bevestigt dat trajecten volledig van NC kunnen afwijken.

4. De rol van initialisatie en breedte

Ondanks de theoretische voorkeur voor low-rank structuren, wordt NC vaak in de praktijk waargenomen. De auteurs verklaren dit via initialisatie-effecten.

• Stelling 4.5: Onder random initialisatie met voldoende grote netwerkbreedte ($d$) is de initiële snelheid van de logits bevooroordeeld ten opzichte van alignering met de simplex ETF (het kenmerk van NC).
• Concentratie van Maat: Grote breedte induceert een concentratie van maat in de initiële eigenwaarden, waardoor singuliere waarden bijna gelijk blijven. Dit werkt het "rich-get-richer"-effect tegen, waardoor het systeem het regime met grote normen kan betreden met een hoge effectieve rank, waar NC lokaal stabiel is. Dit biedt een dynamische rechtvaardiging voor waarom NC standhoudt in brede, willekeurig geïnitieerde netwerken, ondanks de impliciete low-rank bias van diepte.

5. Empirische verificatie

De auteurs valideren hun theorie op diepe UFMs en ResNet-20-architecturen getraind op MNIST en CIFAR-10.

• Diepte versus Rank: Het vergroten van de diepte van de netwerkkop verlaagt systematisch de effectieve rank van de matrix van gemiddelde logits, wat de door diepte geïnduceerde low-rank bias bevestigt.
• Breedte versus Rank: Het vergroten van de breedte verhoogt over het algemeen de effectieve rank, wat de theoretische claim ondersteunt dat breedte training bevooroordeelt richting hogere-rank (NC-achtige) oplossingen.
• Generalisatie: Een lagere effectieve rank (geassocieerd met low-rank alternatieven) correleert over het algemeen met slechtere generalisatie in vergelijking met NC-oplossingen, wat suggereert dat de impliciete bias van diepte richting low-rank structuren mogelijk ten koste gaat van verminderde marge en generalisatieprestaties.

Betekenis en Aanspraken

Het artikel claimt de eerste uitgebreide karakterisering te bieden van hoe impliciete biases van diepte, optimalisatiedynamica en initialisatie interageren om de opkomst van Neuraal Ineenstorten te bepalen in onongeregulariseerde diepe netwerken.

• Theoretische Nieuwheid: Het stelt vast dat diepte alleen voldoende is om een low-rank bias te induceren die NC suboptimaal maakt, wat de opvatting uitdaagt dat NC het onvermijdelijke resultaat is van deep learning of dat het expliciete regularisatie vereist om te ontstaan.
• Identificatie van Mechanisme: Het identificeert de "rich-get-richer"-dynamiek in het linearisatie-regime als de drijver voor low-rank opkomst en karakteriseert de resulterende optima als softmax codes.
• Praktische Inzicht: Het werk biedt een dynamische verklaring voor de alomtegenwoordigheid van NC in de praktijk: terwijl diepte theoretisch low-rank structuren bevoordeelt, kunnen grote breedte en random initialisatie de optimalisatie terugsturen naar NC.
• Beperkingen: De auteurs erkennen dat hun analyse vertrouwt op de UFM-abstractie en specifieke initialisatieschema's (Hadamard) voor hanteerbare dynamica, hoewel zij bewijs leveren dat deze fenomenen standhouden onder kleine random initialisatie. Zij merken op dat de theorie asymptotisch is en dat rates in eindige tijd een open richting blijven.

Kortom, het artikel herformuleert het begrip van deep learning-geometrie, en stelt dat diepte een impliciete low-rank bias introduceert die concurreert met de high-rank structuur van Neuraal Ineenstorten, waarbij het uiteindelijke resultaat wordt bepaald door het samenspel tussen netwerkdiepte, breedte en initialisatie.