Technische Samenvatting: Waarom Geometrische Continuïteit Ontstaat in Diepe Neuronale Netwerken

Probleemstelling

Recente waarnemingen wijzen erop dat gewichtsmatrices in aangrenzende lagen van diepe neuronale netwerken, met name grote taalmodellen (LLMs), geometrische continuïteit vertonen: hun hoofd-singuliere vectoren wijzen in vergelijkbare richtingen en vormen gladde trajecten over de netwerkdiepte. Hoewel dit fenomeen empirisch is gedocumenteerd en is gekoppeld aan praktische voordelen zoals laag-pruning en het delen van parameters over lagen, blijft de fundamentele oorsprong onverklaard. Het is onduidelijk of deze continuïteit een onvermijdelijk gevolg is van het trainen van diepe netwerken of of het specifieke architecturale voorwaarden vereist. Dit artikel onderzoekt de mechanistische oorsprong van geometrische continuïteit om te bepalen of het een artefact is van specifieke optimalizers of een structureel bijproduct van leren in residuële netwerken.

Methodologie

De auteurs maken gebruik van een combinatie van gecontroleerde ablatie-experimenten op "toy" Multi-Layer Perceptrons (MLP's) en kleinschalige Transformers, aangevuld met analyse van voorgeïmplementeerde LLM's.

1. Toy MLP-experimenten (MNIST):

   • Architectuur: Een residuële MLP met 16 lagen en 256 verborgen dimensies.
   • Variabelen: De studie isoleert systematisch architecturale componenten door:
     • Residuële verbindingen te verwijderen (NoRes).
     • Activeringsfuncties te verwijderen (Res+None).
     • Standaard activeringen te vervangen door rotatie-equivariante niet-lineariteiten (Res+Radial, met $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$).
     • Schalen van initialisatie en optimalizer-instellingen te variëren (bijv. Adam met $\beta_2=0$).
   • Maten: De auteurs meten de cosinus-ähnelijkheid van hoofd-singuliere vectoren ($v_1$ voor inputruimte, $u_1$ voor outputruimte) tussen aangrenzende lagen. Ze definiëren ook een $\sigma^2$-gewogen alignatiemetaal om continuïteit over het volledige singuliere spectrum te beoordelen en cumulatieve gradiëntcoherentie bij te houden.

2. Transformer-experimenten (WikiText-103 & Voorgeïmplementeerde LLM's):

   • Kleinschalig: Een Llama-stijl transformer (8 lagen, 34M parameters) getraind op WikiText-103. De auteurs voeren ablaties uit op MLP-activeringen om hun specifieke impact te testen op verschillende projectiematrices (Q, K, V, Gate, Up, O, Down).
   • Grootschalig: Analyse van voorgeïmplementeerde Llama-3.1-8B en modellen tot 70B parameters om te verifiëren of de waargenomen patronen op schaal standhouden.

Belangrijkste Bijdragen en Bevindingen

1. Twee Noodzakelijke Voorwaarden voor Geometrische Continuïteit

Het artikel identificeert twee onderscheiden mechanismen die nodig zijn voor het ontstaan en behoud van geometrische continuïteit:

• Voorwaarde 1: Residuële Verbindingen (Gradiëntcoherentie):
  Residuële verbindingen zorgen ervoor dat aangrenzende lagen vergelijkbare errorsignalen ontvangen. In residuële netwerken bevat de gradiënt met betrekking tot de input van een laag een identiteitsterm ($I$), wat cross-layer gradiëntcoherentie creëert. Empirische resultaten tonen aan dat zonder residuële verbindingen de gradiëntcontinuïteit daalt tot willekeurige niveaus (~0,05) en gewichtscontinuïteit niet ontwikkelt.
• Voorwaarde 2: Symmetriebrekende Niet-lineariteiten (Stabilisatie van het Coördinatenstelsel):
  Hoewel residuële verbindingen coherente gradiënten bieden, zijn ze onvoldoende om gewichtscontinuïteit te behouden zonder symmetriebreking.
  • Het "Res+None"-Mislukken: Het verwijderen van de activeringsfunctie (wat een lineair residuël netwerk achterlaat) resulteert in hoge gradiëntcontinuïteit (0,93) maar lage gewichtscontinuïteit (0,22). De gewichten vormen aanvankelijk een continu structuur, maar storten vervolgens in door rotatiedrift.
  • Mechanisme: In lineaire netwerken bezitten gewichtsproducten een continue rotatiesymmetrie ($SO(d)$), wat vlakke richtingen creëert in het verlieslandschap waar gewichten onafhankelijk kunnen drift. Elementgewijze activeringen (ReLU, GELU, SiLU) breken deze symmetrie, beperken lagen tot een gedeeld coördinatenstelsel en voorkomen drift.
  • Niet-lineariteit versus Symmetriebreking: Cruciaal is dat niet-lineariteit op zich niet het actieve ingrediënt is. Een rotatie-equivariante activatie (Res+Radial), die niet-lineair is maar de $SO(d)$-symmetrie behoudt, faalt in het handhaven van continuïteit (gewicht $v_1 \approx 0,22$). Dit isoleert symmetriebreking als de kritieke factor.

2. Onderscheiden Rollen van Activering en Normalisatie

• Activering: Concentreert geometrische continuïteit in de leidende singuliere richting ($v_1$).
• LayerNorm: Breekt symmetrie op een andere manier, waardoor continuïteit over meerdere singuliere richtingen wordt verdeeld. Wanneer gecombineerd, domineert de op $v_1$ geconcentreerde modus van de activering.

3. Projectie-specifieke Continuïteit in Transformers

In Transformer-architecturen is geometrische continuïteit niet uniform maar projectie-specifiek, bepaald door de nabijheid van een niet-lineariteit en de richting van informatieflow ten opzichte van de residuële stream:

• Input-ruimte ($v_1$) Continuïteit: Projecties die lezen uit de residuële stream en gevolgd worden door een niet-lineariteit ontwikkelen sterke input-ruimte continuïteit. Dit omvat Q, K (gestabiliseerd door Softmax), Gate (gestabiliseerd door MLP-activatie) en Up (gestabiliseerd door de gegateerde vermenigvuldiging met de geactiveerde Gate).
• Output-ruimte ($u_1$) Continuïteit: Projecties die schrijven naar de residuële stream en signalen na niet-lineariteit ontvangen, ontwikkelen output-ruimte continuïteit. Dit omvat O en Down.
• Lage Continuïteit: De V (Value) projectie ontwikkelt slechts lage continuïteit in beide ruimtes omdat deze geen aangrenzende niet-lineariteit heeft om symmetrie te breken en haar frame te verankeren.

4. Dynamiek van Gradiënt-naar-Gewichtsoverdracht

De studie onthult een causale volgorde:

1. Gradiëntcoherentie: Cross-layer gradiëntcontinuïteit bestaat direct bij initialisatie (voordat gewichtsupdates plaatsvinden) als gevolg van residuële verbindingen.
2. Gewichtsformatie: Naarmate training vordert, hopen gewichtsupdates zich op. Zodra de grootte van cumulatieve updates ($\|\Delta W\|$) de initiële gewichten ($\|W^{(0)}\|$) domineert, aligneert de gewichtsstructuur met de cumulatieve gradiëntstructuur.
3. Stabilisatie: Symmetriebrekende niet-lineariteiten voorkomen de "rotatiedrift" die anders de gewichtsstructuur zou ontkoppelen van het coherente gradiëntsignaal.

Betekenis en Claims

Het artikel claimt dat geometrische continuïteit een structureel bijproduct van leren is in residuële netwerken met symmetriebrekende niet-lineariteiten, en niet een artefact van specifieke optimalizers of trainingstrucs.

• Mechanistische Uitleg: Het werk biedt een mechanistische uitleg voor waarom aangrenzende lagen in LLM's vergelijkbare singuliere vectorstructuren delen, waarbij architecturale keuzes (residuen, activeringen) direct worden gekoppeld aan emergente gewichtsgeometrie.
• Validatie van Compressiestrategieën: De bevindingen bieden een theoretische basis voor bestaande modelcompressietechnieken (bijv. laag-pruning, cross-layer parameter sharing). Het artikel betoogt dat omdat continuïteit natuurlijk voortkomt uit het leerproces, goed getrainde modellen inherent de cross-layer overeenkomsten bezitten die deze compressiestrategieën haalbaar maken.
• Ontwerprichtlijnen: Het projectie-specifieke patroon suggereert dat compressie- of parameter-sharingstrategieën de specifieke ruimte (input versus output) moeten respecteren waarin elke projectie is gestructureerd. Bijvoorbeeld, Q, K, Gate en Up delen input-ruimte bases, terwijl O en Down output-ruimte bases delen, terwijl V geen voor de hand liggende cross-layer delingskans biedt.

De auteurs blijven bescheiden over hun claims, met de opmerking dat hoewel het mechanisme duidelijk is voor de MLP en de Gate-projectie (via directe ablatie), de claims voor Q/K en V in Transformers vertrouwen op indirecte bewijzen of respectievelijk de afwezigheid van een niet-lineariteit. Ze erkennen ook dat hoewel patronen over schalen gelden (tot 70B parameters), de specifieke trainingsdynamiek van rotatiedrift op grotere schalen niet volledig is geverifieerd.