Technische Samenvatting: Exacte Oplossingen voor de Dynamica van Abstractie

Probleemstelling

In zowel kunstmatige als biologische neurale netwerken wordt vaak waargenomen dat hoogwaardige concepten zich gedragen als benaderend lineaire richtingen binnen de representatieruimte. Dit fenomeen, geformaliseerd als de Lineaire Representatiehypothese (LRH), vormt de basis voor veel interpretatie- en controlemethoden, zoals lineaire probes voor conceptdetectie en activatiesturing. Hoewel eerdere theoretische werken hebben vastgesteld dat abstracte representaties (waarbij conceptvectoren perfect uitgelijnd zijn over verschillende contexten) kunnen ontstaan bij de globale minima van het verlieslandschap, blijft de dynamica van hoe deze representaties tijdens de training ontstaan slecht begrepen. Empirische observaties suggereren dat abstractie vaak niet-triviale, niet-monotone trajecten vertoont en regelmatig faalt om de perfecte abstractie ($\alpha=1$) te bereiken die door eenvoudige asymptotische theorieën wordt voorspeld.

Dit artikel adresseert de centrale vragen: Wat is het traject van abstractie tijdens de training? Hoe wordt dit beïnvloed door de geometrie van de dataset, netwerkdiepte en initialisatie? Hoe beïnvloeden nonlineariteiten deze dynamica?

Methodologie

De auteurs ontwikkelen een dynamisch kader om de uitlijning van conceptvectoren, ook wel "abstractie" genoemd, te bestuderen met behulp van een minimale, analytisch oplosbare setting.

1. Minimaal Lineair Netwerkmodel:

   • Opzet: Een twee-laags lineair netwerk getraind op een dataset met twee binaire latente variabelen ("vorm" en "kleur"), wat vier klassen creëert.
   • Abstractiescore ($\alpha$): Gedefinieerd als de cosinusovereenkomst tussen conceptvectoren in verschillende contexten (bijv. de vector voor "vierkant minus cirkel" in de rode context versus de blauwe context). $\alpha=1$ impliceert perfecte lineariteit.
   • Aannames:
     • Variabele-geprojecteerde Readout: De readout-gewichten ($W_r$) worden verondersteld zich op elk moment op het ridge-optimum te bevinden, waardoor alleen de feature-gewichten worden geregulariseerd. Dit vereenvoudigt de dynamica tot een functie van de feature-kernel $Q = Z^\top Z$.
     • Two-Factor Symmetry (2FS): De input ($\Sigma_x$), target ($\Sigma_y$) en feature-kernels worden aangenomen een specifieke symmetriestructuur te bezitten die invariant is onder permutaties binnen klassen en globale herlabeling van latente variabelen. Dit maakt het mogelijk om de kernel-dynamica te diagonaliseren in vijf eigenmodi: Globale gemiddelde ($G$), Vorm ($S$), Kleur ($C$), Vorm-Kleur interactie ($SC$) en Residu ($I$).
   • Dynamica: De auteurs leiden exacte Ordinary Differential Equations (ODEs) af voor de eigenwaarden van de kernel $Q$ onder gradiëntstroom. De abstractiescore wordt uitgedrukt als een functie van de ratio van de $S$- en $SC$-eigenwaarden (inverse Signaal-Ruisverhouding).

2. Extensie naar Nietlineaire Netwerken:

   • De theorie wordt uitgebreid naar oneindig brede twee-laagse nietlineaire netwerken met behulp van de Neural Tangent Kernel (NTK) / Neural Network Gaussian Process (NNGP) limieten.
   • Twee nonlineariteiten worden geanalyseerd: de errorfunctie ($\text{erf}$) en Leaky ReLU.
   • De auteurs leiden de kernel-afbeeldingen af die de preactivatie-kernel $Q$ transformeren naar de feature-kernel $K$ en analyseren hoe deze afbeeldingen de abstractiescore instantane en dynamisch beïnvloeden.

3. Empirische Validatie:

   • Experimenten worden uitgevoerd op synthetische data en real-world datasets (3dshapes) met behulp van ResNets en Transformers (DINOv3, Gemma 4).
   • Een "lokale GELU-ablatie" procedure wordt toegepast op transformer-modellen om de theoretische voorspellingen met betrekking tot nonlineariteiten te testen.

Belangrijkste Bijdragen en Resultaten

1. Exacte Oplossingen voor de Dynamica van Lineaire Netwerken

Het artikel biedt exacte impliciete oplossingen voor het traject van abstractie $\alpha(t)$ tijdens de training.

• Terminale Abstractiewet: De uiteindelijke abstractie $\alpha_\infty$ wordt bepa Sole bepaald door het geometrisch gemiddelde van de inverse Signaal-Ruisverhoudingen (SNR) van de input- en target-kernels:
  $$\alpha_\infty = \frac{1 - \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}{1 + \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}$$
  waarbij $\nu = \lambda_{SC}/\lambda_S$. Perfecte abstractie ($\alpha_\infty=1$) wordt bereikt als ofwel de inputs of de targets ruisvrij zijn.
• Initialisatieschaal Controleert Maximale Abstractie: Hoewel de terminale waarde onafhankelijk is van de initialisatie, hangt de maximale abstractie die tijdens de training wordt bereikt kritisch af van de initialisatieschaal ($\kappa$).
  • In de rijke limiet (kleine initialisatie) kan het netwerk bijna perfecte abstractie ($\alpha \approx 1$) bereiken voor een parametrisch lange tijd (metastabiliteit) voordat het vervalt naar de terminale waarde.
  • In de luie limiet (grote initialisatie) overschrijdt de abstractie nooit zijn terminale waarde.
• Niet-monotoniciteit: In signal-dominante regimes kan abstractie de terminale waarde overschieten, waarbij een piek wordt bereikt voordat convergentie optreedt.

2. Diepte en Laag-gewijze Interpolatie

Uitbreiding van het model naar diepe lineaire netwerken met $L$ lagen onder een "laag-gewijze balans"-aanname:

• Laag-gewijze Interpolatie: De abstractie op laag $\ell$ interpoleert lineair tussen de input-abstractie en de laatste laag-abstractie in arctanh-ruimte:
  $$\text{arctanh}(\alpha^{(\ell)}) = \left(1 - \frac{\ell}{L}\right)\text{arctanh}(\alpha_{\Sigma_x}) + \frac{\ell}{L}\text{arctanh}(\alpha^{(L)})$$
• Diepte Verbetert Abstractie: Als de target-geometrie abstracter is dan de input-geometrie, verbetert het vergroten van de netwerkdiepte de terminale abstractie van de laatste laag monotoon.

3. De Attenuatiewet in Nietlineaire Netwerken

Een opvallend theoretisch resultaat voor oneindig brede nietlineaire netwerken:

• Attenuatiewet: Nonlineariteiten (specifiek $\text{erf}$ en Leaky ReLU) verzwakken de abstractie in de feature-ruimte ($H$) ten opzichte van de preactivatie-ruimte ($Z$). Formeel geldt: $|\alpha_K| \leq |\alpha_Q|$.
• Differentieel Effect:
  • Erf-netwerken: De dynamica benadert de lineaire theorie nauwgezet.
  • ReLU-netwerken: De dynamica is minder afhankelijk van de target-geometrie en meer van de input-geometrie. Voor pure ReLU is zelfs met ruisvrije targets perfecte abstractie niet gegarandeerd als de input-ruis hoog is; het systeem kan convergeren naar "anti-abstractie" ($\alpha \approx -1$).

4. Empirische Toepassingen

• Transformers (DINOv3, Gemma 4): Door de theorie toe te passen, laten de auteurs zien dat het ableren van nonlineariteiten (het vervangen van GELU door identiteit lokaal) in transformer-blokken de abstractie verhoogt en de generalisatie van lineaire probes verbetert. Dit valideert de attenuatiewet in eindige breedte, diepe modellen.
• Neurowetenschap (Macaque Ventrale Stroom): Bij de analyse van opnames uit de V4- en IT-regio's, vindt de studie dat abstractie toeneemt langs de visuele ventrale hiërarchie, wat consistent is met de theoretische voorspelling dat diepere lagen (dichter bij gedragsoutputs) een hogere abstractie moeten vertonen.

Betekenis en Claims

Het artikel claimt de eerste dynamische theorie van abstractie te bieden die het volledige traject van leren vastlegt, in plaats van alleen het asymptotische eindpunt.

• Brug tussen Theorie en Praktijk: Het verklaart waarom abstractie in real-world settings vaak faalt om perfectie te bereiken (door input/target-ruis en initialisatieschaal) en waarom het niet-monotoon gedrag vertoont.
• Interpretatie en Controle: De resultaten suggereren dat de kwaliteit van lineaire probes en sturingsvectoren fundamenteel verbonden is met de abstractiedynamica. De bevinding dat nonlineariteiten abstractie verzwakken, biedt een theoretische basis voor waarom het ableren van deze de generalisatie van probes kan verbeteren.
• Implicaties voor de Neurowetenschap: De theorie biedt een mechanistische verklaring voor het ontstaan van abstracte representaties in de hersenen, waarbij voorspelt dat diepere corticale hiërarchieën hogere abstractiescores zullen vertonen, een voorspelling die wordt bevestigd door macaque-data.

De auteurs benadrukken dat hoewel hun exacte oplossingen vertrouwen op vereenvoudigende aannames (lineaire netwerken, 2FS-symmetrie, oneindige breedte), de kwalitatieve voorspellingen (overshoot, afhankelijkheid van initialisatie, verbetering door diepte, en attenuatie door nonlineariteiten) robuust standhouden in realistische, eindige breedte diepe leeromgevingen en biologische data.