🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

Dit artikel verheldert het mechanisme achter het ontstaan van machtswet-anisotropie in neurale representaties door aan te tonen dat, in tegenstelling tot het regime waarin de spectrale exponent statisch blijft, kenmerkleren in lineaire en niet-lineaire netwerken een niet-monotone evolutie van deze exponent aandrijft door de dynamische wisselwerking tussen inputstatistieken en taakstructuur.

Oorspronkelijke auteurs: Asahi Nakamuta, Jun-nosuke Teramae

Gepubliceerd 2026-08-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Asahi Nakamuta, Jun-nosuke Teramae

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Neurale netwerken, de motoren achter moderne kunstmatige intelligentie, worden vaak beschreven als zwarte dozen die ruwe data transformeren naar complexe beslissingen. Om te begrijpen hoe ze werken, kijken wetenschappers naar de "interne representaties"—de hoogdimensionale patronen die het netwerk creëert terwijl het informatie verwerkt. Een belangrijke manier om de vorm van deze patronen te meten, is door te kijken naar hoe de belangrijkheid van verschillende richtingen van informatie is verdeeld. In veel systemen, van de hersenen van muizen tot de meest geavanceerde taalmodellen, volgt deze verdeling een specifieke regel: een paar richtingen bevatten een enorme hoeveelheid informatie, terwijl de rest progressief kleinere hoeveelheden bevat, afnemend in een voorspelbare wiskundige curve die een machtswet (power law) wordt genoemd. Deze ongelijkmatigheid, of anisotropie, wordt geacht cruciaal te zijn voor hoe efficiënt een netwerk leert en generaliseert. Lange tijd namen onderzoekers aan dat dit patroon simpelweg een statische reflectie was van de data die het netwerk gevoed kreeg, als een vingerafdruk die door de input is achtergelaten. Echter, een nieuwe studie daagt dit standpunt uit en suggereert dat het patroon niet alleen wordt geërfd, maar actief wordt hervormd door het leerproces zelf.

Een team onderzoekers aan de Kyoto Universiteit zette zich scharpe om te ontdekken hoe deze hervorming precies plaatsvindt. Ze richtten zich op een vereenvoudigd model van een neuraal netwerk—een tweelaags systeem met een brede verborgen laag—geplaatst in een "teacher-student"-scenario. In deze opstelling probeert het student-netwerk een taak te leren die wordt gedefinieerd door een leraar (teacher), gebruikmakend van data die al een machtswet-structuur bezit. De onderzoekers wilden weten: kopieert de student simpelweg het patroon van de leraar, of verandert de handeling van het leren de geometrie van de interne representatie? Door de vergelijkingen die bepal able hoe het netwerk in de loop van de tijd verandert wiskundig op te lossen, ontdekten zij dat het antwoord volledig afhangt van hoe het netwerk wordt getraind. Ze ontdekten dat het netwerk niet inzakt in één enkel, vaststaand patroon. In plaats daarvan evolueert de vorm van de interne informatie dynamisch, waarbij het door verschillende fasen gaat terwijl het leert.

De studie onthult dat de evolutie van deze patronen geen rechte lijn is, maar een reis door verschillende regimes. Wanneer het netwerk wordt getraind in een "feature-learning"-modus, waarbij het actief zijn interne structuur reorganiseert om de taak op te lossen, ondergaat het patroon van informatie een dramatische transformatie. Aanvankelijk weerspiegelt de interne staat van het netwerk de inputdata. Maar zodra het leren begint, verschuift het patroon. De onderzoekers identificeerden dat het netwerk tot wel vier verschillende stadia van organisatie doorloopt. In de vroegste fase van het leren wordt het patroon nog extremer, waarbij informatie nog scherper geconcentreerd wordt in enkele richtingen. Naarmate het leren voortduurt, neemt deze steilheid af, en het patroon stabiliseert zich in een nieuwe, stabiele vorm die wordt bepaald door de specifieke taak die de leraar het netwerk vraagt te uitvoeren. Deze nieuwe vorm is een mengeling van de oorspronkelijke datastructuur en de eisen van de taak, wat resulteert in een definitief patroon dat verschilt van zowel de ruwe input als de initiële staat.

Cruciaal is dat de onderzoekers lieten zien dat deze dynamische hervorming alleen plaatsvindt wanneer het netwerk wordt toegestaan om kenmerken (features) diepgaand te leren. Als het netwerk wordt getraind in een regime waarin het nauwelijks zijn interne structuur verandert en vooral vertrouwt op zijn initiële willekeurige opzet, blijft het patroon bevroren. In deze staat blijft de interne representatie bijna exact zoals deze aan het begin was, waarbij het enkel de inputdata weerspiegelt zonder enige significante reorganisatie. Dit onderscheid is essentieel omdat het bewijst dat de machtswet-patronen gezien in echte neurale netwerken niet de onvermijdelijke gevolgen zijn van de data alleen. In plaats daarvan zijn ze het resultaat van een specifieke, actieve interactie tussen de statistiek van de input en de specifieke doelen van de leertaak.

Om te verzekeren dat deze bevindingen niet slechts een eigenaardigheid waren van hun vereenvoudigde wiskundige model, testte het team hun theorie op complexere, niet-lineaire netwerken die meer lijken op de echte wereld van kunstmatige intelligentie. De resultaten bleven overeind: zelfs in deze meer realistische systemen veranderden de interne representaties van vorm tijdens de training in het feature-learning regime, terwijl ze statisch bleven in het regime waar het netwerk voornamelijk leunt op zijn initiële willekeurige opzet. De studie suggereert dat de machtswet-anisotropie waargenomen in biologische en kunstmatige breinen een fluïde eigenschap is, die constant wordt herschreven door het leerproces. Het is geen vaststaand kenmerk van de data, maar een dynamische signatuur van hoe een systeem zich aanpast aan zijn omgeving. Dit werk biedt een duidelijke, analytische verklaring voor hoe de microscopische geometrie van de interne staat van een netwerk wordt gesmeed, en biedt een nieuwe manier om de relatie te begrijpen tussen de data die een systeem ziet en de intelligentie die het ontwikkelt.

Technische Samenvatting: Leren vormt de Power-Law Anisotropie in Interne Representaties

Probleemstelling
Power-law anisotropie in de eigenspectra van interne representaties is een universele geometrische eigenschap die wordt waargenomen in diverse neurale systemen, variërend van de muizencerebrale cortex tot grote taalmodellen. Deze anisotropie, waarbij eigenwaarden afnemen volgens een power law met de rang, is gekoppeld aan coderingsefficiëntie, robuustheid en generalisatie. Bestaande theoretische kaders beschouwen de power-law exponent echter grotendeels als een vaste grootheid die wordt overgenomen van de inputstatistieken, of gaan ervan uit dat deze tijdens het trainen statisch blijft. Bijgevolg blijft het mechanisme waarmee taakgestuurd leren deze spectra hervormt, en hoe de exponent dynamisch evolueert in reactie op de inputstructuur en het leraar-signaal (teacher signal), onduidelijk. Specifiek is het onbekend of interne representaties louter de input power laws overnemen of een niet-triviale deformatie ondergaan, en hoe dergelijke veranderingen afhangen van het leerregime (feature-learning versus gelineariseerd).

Methodologie
Om deze vragen te beantwoorden, analyseren de auteurs een brede twee-laagse lineaire neuraal netwerk in een teacher–student setting. Het model is gedefinieerd met inputdimensie $D$ , verborgen breedte $N$ , en outputdimensie $P$ , waarbij $P=D \ll N$ en $N \to \infty$ .

Input en Teacher Structuur: Zowel de input covariantie-matrix als de teacher Gram-matrix worden aangenomen diagonaal te zijn in dezelfde orthonormale basis, met eigenwaarden die afnemen volgens power laws met exponenten $\alpha$ (input) en $\beta$ (teacher).
Dynamica: Het netwerk wordt getraind via population gradient flow op mean-squared error. Hoewel de input-output kaart lineair is, induceert de gezamenlijke training van gewichten niet-lineaire dynamica in de interne representatie.
Analytische Aanpak: De auteurs leiden de exacte temporele evolutie af van de eigenwaarden van de interne representatie-kernel (Gram-matrix van de eerste-laag gewichten) in de infinite-data en infinite-width limieten. Ze decomponeren het spectrum in een initialisatiecomponent (overgenomen van de input) en een door de teacher afgeleide component (gevormd door leren).
Regime Analyse: De studie maakt onderscheid tussen het feature-learning regime (waarbij gewichten significant veranderen) en het geliniariseerde regime (waarbij gewichten dicht bij de initialisatie blijven), gecontroleerd door de parameter $\gamma_0$ .
Validatie: Theoretische voorspellingen worden gevalideerd tegen numerieke simulaties van eindige-breedte lineaire netwerken en niet-lineaire netwerken met niet-lineaire activatiefuncties.

Belangrijkste Bijdragen en Resultaten
Het artikel biedt een exacte analytische karakterisering van hoe de lokale power-law exponent van interne representaties evolueert tijdens het trainen.

Spectrale Decompositie: Het spectrum van de interne representatie $\rho_k(t)$ wordt getoond te bestaan uit twee additieve componenten: één afgeleid van de input covariantie (aanwezig bij initialisatie) en één geïnduceerd door het teacher-signaal door leren. De relatieve dominantie van deze componenten bepaalt de spectrale vorm.
Vier Asymptotische Exponent Regimes: In het feature-learning regime is de lokale effectieve power-law exponent $\alpha_{\text{eff}}(k, t)$ niet statisch. Naarmate de training vordert, vertoont het spectrum tot wel vier verschillende asymptotische regimes, afhankelijk van de modus-index $k$ en de trainingstijd $t$ :
- Regio I (Initialisatie-gedomineerd): $\alpha_{\text{eff}} \approx \alpha$ . Gebeurt wanneer de door leren geïnduceerde verandering verwaarloosbaar is ten opzichte van de initialisatie.
- Regio II (Vroeg leerproces, eerste laag dominant): $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . Gebeurt wanneer het leren is begonnen maar de modus nog niet volledig geleerd is, en de eerste laag de update domineert.
- Regio IIIa (Geleerd, eerste laag dominant): $\alpha_{\text{eff}} \approx \alpha + \beta$ . Gebeurt wanneer de modus geleerd is en de eerste laag het primaire leer-signaal draagt.
- Regio IIIb (Geleerd, beide lagen): $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . Gebeurt wanneer de modus geleerd is en het leren verdeeld is over beide lagen.
  De transitie tussen deze regimes is niet-monotoon; voor een vaste modus kan de exponent eerst steiler worden (transiënt) en daarna afnemen naarmate het teacher-signaal wordt geïncorporeerd.
Stabiliteit van het Geliniariseerde Regime: In het geliniariseerde regime overstijgt de door leren geïnduceerde component nooit de initialisatiecomponent. Bijgevolg blijft de lokale exponent essentieel onveranderd ( $\alpha_{\text{eff}} \approx \alpha$ ) gedurende de training, wat aangeeft dat de interne representatie de input anisotropie niet significant hervormt.
Generaliseerbaarheid naar Niet-lineaire Netwerken: Numerieke experimenten met niet-lineaire netwerken laten zien dat de voorspelde spectrale transities en het onderscheid tussen feature-learning en geliniariseerde regimes standhouden buiten het lineaire model. In niet-lineaire feature-learning settings vertoont het spectrum eveneens een transitie van $\alpha$ naar $\alpha + \beta$ over eindige modus-bereiken.

Significantie
Het artikel claimt een algemeen mechanisme te bieden dat de vorming van power-law interne representaties verklaart. De resultaten suggereren dat deze representaties niet louter statische reflecties zijn van inputstatistieken, maar dynamisch worden hervormd door de interactie tussen input anisotropie, de anisotropie van het teacher-signaal en modus-afhankelijke leersnelheden.

Door aan te tonen dat de power-law exponent meerdere asymptotische waarden kan aannemen en niet-monotoon kan evolueren, daagt dit werk de aanname van een vaste exponent in theoretische analyses uit. Het stelt vast dat de geometrische eigenschappen van interne representaties een gevolg zijn van de specifieke wisselwerking tussen datastructuur en taakgestuurde leerdynamica. Dit analytische kader biedt een startpunt voor het begrijpen van hoe microscopische spectrale geometrie zich verhoudt tot macroscopische prestaties en schaalwetten in neurale netwerken.

Meer zoals dit