Conservation Laws for Modern Neural Architectures

Technische Samenvatting: Behoudswetten voor Moderne Neurale Architecturen

Probleemstelling
Het begrijpen van de trainingsdynamiek van overgeparameteriseerde neurale netwerken staat centraal bij het verklaren van hun succes. Een cruciaal mechanisme in dit begrip is het concept van behoudswetten—kwantiteiten die invariant blijven langs optimalisatietrajecten (specifiek gradiëntflow). Hoewel deze wetten goed gekarakteriseerd zijn voor lineaire en ReLU-netwerken, blijven ze grotendeels onverkend voor moderne architecturen. Bestaande kaders worstelen met het bieden van volledige karakterisaties voor hedendaagse modellen die gebruikmaken van gladde activatiefuncties (bijv. GELU, SiLU), complexe aandachtmechanismen (Multihead Attention met positionele coderingen) en Mixture-of-Experts (MoE) ontwerpen. Bovendien was eerder werk over Multihead Attention (MHA) beperkt tot single-head instellingen, waardoor de multi-head casus een openstaand probleem bleef.

Methodologie
Het artikel ontwikkelt een verenigd theoretisch kader om behoudswetten voor moderne deep learning-modellen te karakteriseren. De aanpak bouwt voort op het werk van Marcotte et al. (2023; 2025), maar wijkt af in de analytische strategie:

1. Probleemformulering: De auteurs definiëren een behowswet $h(\theta)$ als een functie die invariant is onder de Euclidische gradiëntflow $\dot{\theta} = -\nabla L_D(\theta)$. Om het probleem beheersbaar te maken, hanteren zij de aanname dat behowswetten moeten gelden voor elke dataset, waarbij de impliciete bias die uitsluitend door de architectuur en optimalisatiedynamiek wordt geïnduceerd, wordt geïsoleerd.
2. Reductie naar PDE's: In plaats van te vertroukken op Lie-theoretische machinerie, reduceren de auteurs de behoudsvoorwaarde tot een stelsel van partiële differentiaalvergelijkingen (PDE's). Specifiek vereisen zij dat de gradiënt van de behowswet $\nabla_\theta h$ orthogonaal is aan de span van de Jacobiaan-vectoren van het model voor alle inputs.
3. Complexe-analytische Technieken: De kern van de bewijsstrategie bestaat uit het beschouwen van de orthogonaliteitsvoorwaarden als complexe functies. Door deze functies te beperken tot specifieke subruimten en gebruik te maken van de identiteitsstelling voor meromorfe functies, leiden de auteurs input-onafhankelijke beperkingen af voor de gradiënten van $h$.
4. Karakterisering via Invarianten: De resulterende PDE-beperkingen worden opgelost om "kenmerkende invarianten" te identificeren. De behowswetten blijken constant te zijn op de verbonden componenten van de niveausets die door deze invarianten worden gedefinieerd.

Belangrijkste Bijdragen en Resultaten
Het artikel biedt volledige karakterisaties van behowswetten voor drie primaire klassen van moderne architecturen:

1. Feedforward Netwerken (FFN's):

   • GELU en SiLU: De auteurs bewijzen dat voor FFN's die gebruikmaken van GELU- of SiLU-activaties, de enige behowswetten constante functies zijn. Er bestaan geen niet-triviale invarianten.
   • SwiGLU: In tegenstelling hiertoe vertonen SwiGLU-architecturen (die een multiplicatieve interactie tussen parametermatrices bevatten) niet-triviale behowswetten. De invarianten worden bepaald door de kwantiteiten $\|A_{:,i}\|^2 - \|C_{i,:}\|^2$ voor elke verborgen eenheid $i$, waarbij $A$ en $C$ de gewichtsmatrices zijn die betrokken zijn bij het gating-mechanisme.

2. Multihead Attention (MHA):

   • Vanilla MHA: De auteurs lossen het openstaande probleem op met betrekking tot multi-head attention, waarbij zij bevestigen dat de behowswetten worden gekarakteriseerd door de invarianten $Q_i^\top Q_i - K_i^\top K_i$ en $V_i^\top V_i - O_i^\top O_i$ voor elke head $i$.
   • Sinusoidal Positional Encoding (PE): Aangezien sinusvormige PE fungeert als een vaste, bijectieve verschuiving van de input, blijft de behoudstructuur identiek aan het geval van vanilla MHA.
   • Rotary Positional Encoding (RoPE): RoPE verandert de interne structuur van aandacht fundamenteel. De auteurs leiden een afzonderlijke set invarianten af: $\|Q_i^{(j)}\|_F^2 - \|K_i^{(j)}\|_F^2$ (waarbij $Q$ en $K$ zijn ontleed in $2 \times 2$ blokken) en $V_i^\top V_i - O_i^\top O_i$. Dit demonstreert dat RoPE een andere klasse van behowswetten introduceert vergeleken met absolute positionele coderingen.

3. Mixture-of-Experts (MoE):

   • Dense en Sparse MoE: De studie behandelt zowel dense gating als Sparse MoE (SMoE) met Top-$k$ routing. De resultaten tonen aan dat de behowswetten voor SMoE samenvallen met die van de corresponderende dense MoE.
   • Gating Mechanismen: De invarianten zijn gelokaliseerd op expert-niveau (volgend op de SwiGLU-invarianten voor elke expert) en bevatten een extra invariant voor de gating-gewichten: de som van de gating-gewichtvectoren $\sum W_i$.
   • Sigmoid Gating: De auteurs demonstreren dat het vervangen van softmax gating door genormaliseerde sigmoid gating de set van behowswetten niet verandert; de invarianten blijven identiek aan het geval met softmax gating.

Experimentele Validatie
De theoretische bevindingen worden empirisch gevalideerd over taalmodellering (WikiText-103, Penn Treebank) en computer vision (CIFAR-10, ImageNet-1K) taken.

• Opzet: Experimenten maken gebruik van zowel full-batch gradiëntafdaling (om continue-tijd flow te benaderen) als mini-batch SGD op kleine en grote datasets.
• Metrieken: De auteurs volgen de "behoudsfout" (afwijking van invarianten van hun initiële waarden) over de trainingsstappen.
• Bevindingen: De experimenten bevestigen dat behowswetten tijdens de training begrensd blijven. Specifiek schaalt de fout met de leersnelheid $\tau$ en het aantal stappen $k$ zoals voorspeld door de theorie ($O(\tau^2 k)$ voor constante stapgrootten). De resultaten zijn consistent over MHA, SwiGLU FFN's, RoPE en MoE gating mechanismen, ongeacht de dataset of het trainingsregime.

Betekenis en Claims
Het artikel beweert de theoretische kennis van trainingsdynamiek te vergroten door de eerste volledige karakterisering van behowswetten voor een breed spectrum aan moderne neurale architecturen te bieden.

• Theoretische Unificatie: Het vestigt een verenigd kader dat eerdere resultaten van lineaire/ReLU-netwerken uitbreidt naar gladde activaties en complexe aandachtmechanismen.
• Oplossen van Open Problemen: Het lost expliciet het openstaande probleem op van het karakteriseren van behowswetten voor multi-head attention en breidt de analyse uit naar positionele coderingen en MoE gating.
• Impliciete Bias: Door deze invarianten te identificeren, werpt het werk licht op de geometrische beperkingen die inherent zijn aan moderne architecturen, en onthult eigenschappen die standhouden van initialisatie tot convergentie.
• Beperkingen: De auteurs merken bescheiden op dat hun afhankelijkheid van complexe-analytische technieken (meromorfe extensies) momenteel de toepassing van het kader beperkt tot architecturen met niet-meromorfe componenten, zoals layer normalization of diepe composities met functies zoals $\sqrt{x}$ of $e^{1/x}$. Ze erkennen ook dat de dataset-onafhankelijke aanname, hoewel principieel om architecturale bias te isoleren, in bredere contexten als restrictief kan worden beschouwd.