NerVE: Nonlinear Eigenspectrum Dynamics in LLM Feed-Forward Networks

Each language version is independently generated for its own context, not a direct translation.

🧠 NERVE: De "Zenuwstelsel"-scan voor AI's

Stel je voor dat een grote taalmodel (zoals de AI die dit antwoord schrijft) een enorme stad is. De neutrale netwerken zijn de straten, en de Feed-Forward Netwerken (FFN's) zijn de enorme fabrieken in die stad waar alle informatie wordt verwerkt, herschikt en opgeslagen.

Tot nu toe wisten onderzoekers weinig over wat er precies in deze fabrieken gebeurt. Ze zagen alleen dat de fabrieken veel ruimte innemen, maar niet hoe ze hun werk deden.

NerVE (Nonlinear Eigenspectrum Dynamics in LLM Feed-Forward Networks) is een nieuwe, slimme tool die als een röntgenfoto of een zenuwstelsel-scan fungeert voor deze fabrieken. Het laat zien hoe de AI energie en informatie verplaatst door de verschillende lagen van haar brein.

🎈 De Kernidee: De Ballon en de Wind

Stel je voor dat de informatie in de AI een opgeblazen ballon is.

Vóór de verwerking: De ballon is vaak heel lang en dun. De meeste "lucht" (informatie) zit in één heel strakke richting. Dit noemen we top-heavy (kopzwaar). Het is alsof je met een ballon alleen maar in één richting kunt duwen; de rest van de ruimte is leeg.
De Magie van de Non-lineariteit: In de fabriek (het FFN) zit een speciale machine (een wiskundige functie, zoals GELU of ReLU) die de ballon knijpt, draait en uitrekt.
Na de verwerking: De machine blaast de ballon opnieuw op, maar nu is hij rond en vol. De lucht is verspreid over de hele ballon. De AI gebruikt nu alle richtingen in haar brein, niet alleen de ene oude richting.

NerVE meet precies dit proces: Hoeveel lucht zit er in de oude richting? Hoeveel nieuwe richtingen zijn er geopend? En hoe gelijkmatig is de lucht verdeeld?

📏 De 4 Meetinstrumenten van NerVE

NerVE gebruikt vier slimme meetlatjes om dit te doen. Hier zijn ze in gewone taal:

1. Spectrale Entropie (SE) = De "Verspreidings-meter"

Analogie: Denk aan een kamer met 100 lampen.
- Laag SE: Alleen lamp #1 brandt fel, de rest is donker. (Informatie zit op één plek).
- Hoge SE: Alle 100 lampen branden zachtjes. (Informatie is overal verspreid).
Wat het zegt: Hoe meer de lampen gelijkmatig branden, hoe beter de AI haar brein gebruikt. NerVE ziet dat de AI na de verwerking meer lampen laat branden.

2. Participatie Ratio (PR) = De "Actieve Werkkrachten"

Analogie: Stel je een orkest voor met 1000 muzikanten.
- Laag PR: Alleen de violist speelt; de rest slaapt.
- Hoge PR: Iedereen speelt mee.
Wat het zegt: Dit vertelt ons hoeveel "richtingen" in het brein daadwerkelijk worden gebruikt om informatie op te slaan. NerVE ontdekt dat de AI na de verwerking ineens veel meer muzikanten laat spelen.

3. Eigenvalue Early Enrichment (EEE) = De "Kopzwaar-meter"

Analogie: Een berg.
- Hoge EEE: Een enorme, scherpe piek met een heel smalle basis. Alles zit op de top.
- Lage EEE: Een heuvelachtig landschap met veel variatie.
Wat het zegt: Dit meet hoe "kopzwaar" de informatie is. De beste AI's hebben een lage EEE na verwerking; ze hebben de piek afgevlakt zodat de informatie over een breder landschap ligt.

4. Jensen-Shannon Divergentie (JS) = De "Verandering-meter"

Analogie: Twee foto's van hetzelfde landschap, maar dan met een andere weersomstandigheid.
- Hoge JS: Het landschap is volledig veranderd (bijv. van zomer naar winter).
- Lage JS: Het landschap is bijna hetzelfde gebleven.
Wat het zegt: Dit meet hoeveel de AI de informatie herordent. Als de JS hoog is, betekent het dat de machine de informatie grondig heeft herschikt om nieuwe patronen te vinden.

🔍 Wat heeft NerVE Ontdekt?

De onderzoekers hebben met deze scan naar verschillende soorten AI's gekeken en vonden verrassende dingen:

De "Reparateur" vs. De "Verfijner":
- Sommige trainingsmethoden (zoals de optimizer AdamW) laten de AI eerst instorten (de ballon plakt in elkaar). De machine moet dan hard werken om de ballon weer op te blazen. Dit is reparatie.
- Andere methoden (zoals Muon) zorgen dat de ballon al goed gevuld is voordat hij de machine binnenkomt. De machine hoeft alleen maar te verfijnen. Dit werkt veel beter en efficiënter.
De Rol van "Normen" (LayerNorm):
- Het plaatsen van een "stabilisator" (LayerNorm) op de juiste plek in de fabriek is cruciaal. Als je hem verkeerd plaatst, blijft de ballon leeg in de onderste delen van de fabriek. NerVE laat zien dat de beste configuratie zorgt dat de hele fabriek, van boven tot onder, actief wordt gebruikt.
Het Geheim van de "Diepte":
- In de diepere lagen van de AI (de "oude" delen van het brein) gebeurt er vaak een instorting als je geen goede positie-codes (zoals RoPE) gebruikt. NerVE laat zien dat RoPE voorkomt dat de onderste lagen van de fabriek dichtklappen, waardoor de AI dieper kan nadenken.

🚀 Waarom is dit belangrijk?

Voorheen moesten onderzoekers AI's bouwen en hopen dat het werkte ("trial and error"). Met NerVE kunnen ze nu tijdens het trainen kijken naar de "zenuwstelsel-scan".

Als ze zien dat de "lampen" (SE) niet genoeg branden of dat de "piek" (EEE) te hoog is, weten ze direct: "Ah, deze instelling werkt niet goed, de AI gebruikt haar brein niet optimaal."

Het helpt ontwikkelaars om:

Betere AI's te bouwen die minder energie verbruiken.
Sneller te weten welke instellingen werken.
Te begrijpen waarom een AI slim is (of dom), in plaats van het alleen maar te zien.

Kortom: NerVE is de eerste tool die ons laat zien hoe AI's hun eigen brein "opblazen" en herschikken om slim te worden, en het geeft ons de blauwdruk om die processen te verbeteren.

Each language version is independently generated for its own context, not a direct translation.

Titel: NERVE: Nonlineaire Eigenspectrumdynamica in Feed-Forward Netwerken van LLM's

Auteurs: Nandan Kumar Jha & Brandon Reagen (New York University)
Publicatie: ICLR 2026

1. Het Probleem

Hoewel Large Language Models (LLM's) grotendeels worden gedreven door Transformer-architecturen, blijft de rol van de Feed-Forward Netwerken (FFN's) onderbelicht, ondanks dat ze het grootste deel van het parameterbudget en de rekenkracht voor hun rekening nemen.

Onbegrepen Dynamica: FFN's voeren complexe, niet-lineaire transformaties uit in een hoogdimensionale latente ruimte. Hoe deze transformaties informatie stromen reguleren, hoe ze variances herschikken en hoe ze interactie hebben met architecturale keuzes (zoals normalisatielagen en optimalisatoren), is slecht begrepen.
Gebrek aan Tools: Er ontbreken systematische en efficiënte tools om de structuur van latente representaties te karakteriseren die door niet-lineaire activeringen worden gevormd. Bestaande methoden (zoals attentiekaarten of geometrische benaderingen) vangen niet de rijke spectrale structuur van deze transformaties.
De "Black Box": Het is onduidelijk hoe FFN's variances "herinjecteren" in onderbenutte richtingen en hoe dit bijdraagt aan de generalisatievermogen van het model.

2. Methodologie: Het NERVE Framework

De auteurs introduceren NerVE (Nonlinear Eigenspectrum Dynamics), een lichtgewicht, geheugenefficiënt en online framework om de eigenspectra van FFN's te analyseren. Het framework werkt als volgt:

Data Collectie: Voor elke FFN-laag worden de pre-activeringen (na de 'up-projection', voor de activeringsfunctie) en post-activeringen (na de activeringsfunctie, voor de 'down-projection') verzameld. Tokens worden geflatteerd tot een matrix $X \in \mathbb{R}^{N \times D}$ , waarbij $N$ het totale aantal tokens is en $D$ de verborgen dimensie.
Covariantie Matrix: Er wordt een onbevooroordeelde covariantiematrix $\Sigma$ berekend voor zowel pre- als post-activeringen.
Eigendecompositie: De eigenwaarden ( $\lambda$ ) van deze matrices worden berekend en gesorteerd.
Vier Spectrale Metrieken: In plaats van één scalar te gebruiken, gebruikt NerVE vier complementaire, schaal-invariante metrieken om de dynamiek te kwantificeren:
- Spectral Entropy (SE): Meet de uniformiteit van de variancesverdeling. Een hoge SE duidt op een gelijkmatige verdeling over veel richtingen (goede gebruikmaking van de ruimte).
- Participation Ratio (PR): Kwantificeert de effective dimensionaliteit (hoeveel richtingen dragen significant bij aan de totale variance).
- Eigenvalue Early Enrichment (EEE): Meet "top-heaviness" (hoe sterk de variance geconcentreerd is in de top-eigenwaarden). Een lage EEE duidt op een afgevlakt spectrum.
- Jensen-Shannon Divergence (JS): Meet de distributieve verschuiving tussen het pre- en post-activerings spectrum, wat de geometrische herschikking door de niet-lineariteit kwantificeert.

3. Belangrijkste Bijdragen

Conceptueel Inzicht: De auteurs tonen aan dat FFN-niet-lineariteiten (zoals GELU of ReLU) activaties niet simpelweg herschalen, maar actief variances herinjecteren in onderbenutte richtingen. Dit "herwakkert" inactieve richtingen in de latente ruimte.
Optimalisator-afhankelijkheid: De geometrie van de optimalisator (bijv. AdamW vs. Muon) modereert de mate van deze herinjectie. Sommige optimalisatoren dwingen de FFN in een "reparatiemodus" (om ineenstorting van het spectrum te herstellen), terwijl anderen een "verfijningsmodus" toelaten.
Diagnostisch Framework: NerVE biedt een manier om architecturale keuzes (normalisatie, activeringen, positionele encoding) en optimalisatoren te diagnosticeren op basis van hun "spectrale handtekening", zonder dat het model volledig getraind hoeft te zijn.
Generalisatie: Het framework is getest op diverse modellen (GPT-2, LLaMA-varianten) en zelfs op niet-Transformer architecturen (MLP-Mixer), wat aantoont dat de bevindingen breed toepasbaar zijn.

4. Belangrijkste Resultaten

Herinjectie van Variance: Na de niet-lineariteit (post-activation) stijgen SE en PR consistent, terwijl EEE daalt. Dit betekent dat de FFN het spectrum "afvlakt" en variance verspreidt over meer dimensies, wat de expressiviteit vergroot.
Activeringsfuncties (GELU vs. ReLU):
- GELU: Toont een geleidelijke maar uitgebreide verkenning van de subruimte.
- ReLU: Stabiliseert sneller, maar kan in normalisatie-vrije modellen (Norm-Free) een compenserende rol spelen door agressieve herinjectie van variance om de afwezigheid van LayerNorm te compenseren.
Normalisatie en Architectuur:
- LayerNorm Positie: PreLN (LayerNorm voor de FFN) biedt de beste "return-on-width" en zorgt voor een stabielere gebruikmaking van de breedte. PostLN vertoont afnemende meerwaarde bij grotere breedtes.
- Norm-Free Modellen: Zonder LayerNorm vertoont GELU "spectrale inertie" (geen herinjectie in vroege lagen), terwijl ReLU dit probleem oplost door het spectrum actief te herschikken.
- Positionele Encoding: RoPE (Rotary Positional Embedding) voorkomt het ineenstorten van het spectrum in de midden- en diepe lagen, wat leidt tot betere dieptgebruikmaking en lagere perplexiteit vergeleken met NoPE.
Optimalisatoren (AdamW vs. Muon vs. Dion):
- AdamW: Leidt vaak tot een ineenstorting van het pre-activerings spectrum (lage PR), waardoor de FFN-niet-lineariteit gedwongen wordt om agressief te "repareren" (grote PR-gain), maar dit resulteert vaak in een minder geoptimaliseerd eindresultaat.
- Muon: Houdt het pre-activerings spectrum hoogdimensionaal en goed geconditioneerd. De FFN hoeft minder te "repareren" en kan zich richten op verfijning. Dit resulteert in de beste prestaties (laagste perplexiteit).
- Dion: Valt tussen AdamW en Muon in.
Correlatie met Generalisatie: De spectrale metrieken (vooral post-activation PR en SE) correleren sterk met de validatieverlies en perplexiteit. Dit maakt NerVE een krachtig tool voor online monitoring en het selecteren van architecturale configuraties.

5. Significantie en Conclusie

NerVE biedt een fundamenteel nieuw perspectief op hoe LLM's informatie verwerken. Het paper verschuift de focus van het analyseren van gewichten of attentiepatronen naar de dynamica van de eigenspectra binnen de FFN's.

Praktische Toepassing: Het biedt actionable insights voor het kiezen van optimalisatoren (bijv. Muon boven AdamW voor betere spectrale stabiliteit) en architecturale keuzes (bijv. RoPE en PreLN).
Theoretische Impact: Het bevestigt dat niet-lineariteiten in FFN's actief de geometrie van de latente ruimte herschikken om "rank collapse" (het ineenstorten van de effectieve dimensie) tegen te gaan.
Robuustheid: De bevindingen zijn robuust over verschillende schalen, datasets en zelfs verschillende modelarchitecturen (Transformer vs. MLP-Mixer), wat suggereert dat dit een universeel principe is van diepe feed-forward netwerken.

Kortom, NerVE demonstreert dat het begrijpen van hoe variances wordt herschikt in de eigenruimte essentieel is voor het optimaliseren van de prestaties en stabiliteit van moderne taalmodellen.