🤖 machine learning

A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

Dit artikel leidt een gesloten vorm van een diepte-breedte schaalwet af voor neural collapse in diepe lineaire netwerken, waarbij wordt aangetoond dat de gelaagse representatiegeometrie analytisch voorspeld kan worden op basis van de diepte-breedteverhouding en datagegevens zonder dat daarvoor analyse na de training vereist is.

Oorspronkelijke auteurs: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Gepubliceerd 2026-10-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Deep learning heeft de manier waarop machines zien, horen en de wereld begrijpen getransformeerd, maar de interne werking van deze systemen blijft vaak een mysterie. We weten dat neurale netwerken zijn opgebouwd uit lagen eenvoudige verwerkingseenheden, die op elkaar gestapeld zijn om enorme diepte te creëren, en dat elke laag duizenden van deze eenheden bevat, wat zorgt voor grote breedte. Jarenlang hebben wetenschappers zich afgevraagd hoe de specifieke balans tussen het aantal lagen en het aantal eenheden in elke laag bepaalt wat het netwerk daadwerkelijk leert. Meestal is de enige manier om dit te ontdekken een netwerk bouwen, het trainen op data, en vervolgens naar de resultaten kijken; een proces dat ons vertelt wat er is gebeurd, maar niet waarom het gebeurde of hoe het vooraf kan worden voorspeld voordat de training begint. Een cruciaal fenomeen dat in deze getrainde netwerken wordt waargenomen, is een proces dat 'neural collapse' wordt genoemd. Terwijl een netwerk leert, hebben de representaties die het bouwt voor verschillende categorieën data de neiging om extreem verschillend van elkaar te worden, terwijl de representaties voor items binnen dezelfde categorie bijna identiek worden. Het is alsof het netwerk zijn interne kaart zo organiseert dat elk voorbeeld van een kat compact bij elkaar clustert, en elk voorbeeld van een hond compact bij elkaar clustert, waarbij de twee groepen ver van elkaar verwijderd staan.

Een team van onderzoekers heeft nu aangetoond dat voor een specifiek type netwerk, deze organisatie geen willekeurig bijproduct van training is, maar een voorspelbare uitkomst die vooraf berekend kan worden. Door zich te concentreren op een vereenvoudigde versie van een neuraal netwerk dat lineaire wiskunde gebruikt, ontdekten de wetenschappers een precieze regel die de architectuur van het netwerk koppelt aan de geometrie van de data die het leert. Ze ontdekten dat de mate waarin het netwerk vergelijkbare datapunten samenvoegt, direct afhangt van de verhouding tussen de diepte en de breedte van het netwerk. Als je weet hoeveel lagen het netwerk heeft en hoeveel eenheden er in elke laag zitten, samen met de basiskenmerken van de data die het leert, kun je precies bepalen hoeveel het netwerk de data zal comprimeren, zonder ooit een enkele trainingssessie te hoeven draaien. Dit is een belangrijke verschuiving van de gebruikelijke trial-and-error-benadering, en biedt een heldere, wiskundige wet die beschrijft hoe de structuur van een netwerk zijn begrip van de wereld vormgeeft.

De onderzoekers benaderden dit probleem door de interne representaties van het netwerk niet te behandelen als een verzameling individuele datapunten, maar als een enkele, verenigde kaart van relaties. Ze ontwikkelden een manier om de "compactheid" van deze clusters te meten met behulp van een concept genaamd de 'feature kernel', die fungeert als een blauwdruk van hoe het netwerk de gelijkenis tussen twee stukken data ziet. Met behulp van deze blauwdruk waren ze in staat om drie verschillende maten van hoe goed het netwerk zijn data heeft georganiseerd, volledig uit te drukken in termen van deze blauwdruk en de labels van de data. Dit betekent dat men, in plaats van de feitelijke datapunten binnen het netwerk nodig te hebben om het gedrag te begrijpen, simpelweg naar de wiskundige relaties tussen hen kan kijken. Het team bewees dat voor netwerken met een specifieke, symmetrische structuur, deze relaties een strikt patroon volgen naarmate de data van de eerste laag naar de laatste beweegt.

In deze symmetrische netwerken leidden de onderzoekers een exacte formule af die aantoont dat de compressie van data binnen elke categorie plaatsvindt in een geometrische progressie. Met elke nieuwe laag waar de data doorheen gaat, krimpt de spreiding van vergelijkbare items met een constante factor. Deze factor wordt bepaeld door de verhouding tussen de diepte en de breedte van het netwerk. Als het netwerk zeer breed is in verhouding tot de diepte, verloopt de compressie langzaam. Als het netwerk diep is in verhouding tot de breedte, versnelt de compressie. Cruciaal is dat de snelheid waarmee deze compressie plaatsvindt geen vast getal is dat door de ingenieur wordt gekozen; het wordt bepaald door de data zelf, de initiële instellingen van het netwerk en de architectuur, die allemaal samenwerken in een zelfconsistentie-lus. De onderzoekers verifieerden deze theorie met computersimulaties, waarbij ze lieten zien dat de voorspelde compressiesnelheid exact overeenkwam met het werkelijke gedrag van het netwerk. Ze testten dit ook op iets complexere, niet-lineaire netwerken en ontdekten dat hoewel de exacte formule niet van toepassing was, de algemene trend van de data die zichzelf in dezelfde richting organiseert wel standhield, wat suggereert dat het onderliggende principe robuust is.

Dit werk biedt een zeldzaam inkijkje in de "natuurwetten" van kunstmatige intelligentie. Net zoals een natuurkundige kan voorspellen hoe een gas zal uitzetten op basis van temperatuur en druk zonder elk molecuul te observeren, hebben deze onderzoekers aangetoond dat men kan voorspellen hoe een neuraal netwerk zijn kennis organiseert op basis van de omvang en de data die het ziet. De bevindingen suggeries dat de diepte-breedteverhouding een fundamentele controleknop is voor representatieleer. Door dit verband te begrijpen, kunnen ontwerpers uiteindelijk wellicht de juiste architectuur voor een specifieke taak kiezen zonder de noodzaak te hebben om tientallen verschillende modellen te trainen om te zien welke het beste werkt. De studie bevestigt dat de geometrie van geleerde representaties niet chaotisch is, maar een precieze, berekenbare weg volgt, waardoor het mysterieuze proces van deep learning verandert in iets dat vanaf het begin begrepen en voorspeld kan worden.

Technische Samenvatting: Een gesloten vorm diepte-breedte-wet voor Neural Collapse in diepe lineaire netwerken

Probleemstelling

De relatie tussen de architectuur van een neuraal netwerk (specifiek diepte en breedte) en de geometrie van geleerde representaties wordt doorgaans empirisch geanalyseerd na de training. Hoewel eerdere werken hebben vastgesteld dat de diepte-breedteverhouding ( $L/N$ ) een controlerende parameter is voor fluctuaties in de eindige breedte-kernel en effectieve diepte, blijft een voorspellend, gesloten vorm begrip van hoe architecturale keuzes de geometrie van representaties vormen tijdens het leren van kenmerken (feature learning) ongrijpbaar. Specifiek is de evolutie van Neural Collapse (NC)—een fenomeen gekenmerkt door de minimalisatie van variabiliteit binnen klassen (NC1), de vorming van simplex-gestructureerde klassengemiddelden (NC2), en de uitlijning van classificators met klassengemiddelden (NC3)—over de lagen van een netwerk nog niet analytisch afgeleid vanuit eerste principes in een hanteerbare setting van feature-learning.

Methodologie

De auteurs ontwikkelen een theoretisch kader dat Neural Collapse-observabelen combineert met zelfconsistentie-theorie voor feature-learning voor diepe lineaire netwerken.

Kernelformulering van NC-observabelen:
Het artikel breidt eerst de kernelformulering van Neural Collapse uit. Terwijl Kothapalli en Tirer [2025] hebben vastgesteld dat NC1 kan worden uitgedrukt via de feature-kernel, leidt dit werk gesloten vorm kernel-expressies af voor NC2 (angulaire afwijking van een simplex Equiangular Tight Frame) en NC3 (misuitlijning tussen de ridge-readout en gecentreerde klassengemiddelden). Deze expressies zijn uitsluitend afhankelijk van de feature-kernel $K$ en de klasse-labels $Y$ , waardoor de noodzaak voor expliciete feature-coördinaten vervalt.
Feature-Learning Theorie:
De auteurs hanteren het Bayesiaanse framework voor feature-learning van Fischer et al. [2024], dat gekoppelde voorwaartse-achterwaartse zelfconsistentie-vergelijkingen afleidt voor de Maximum-A-Posteriori (MAP) laag-per-laag kernels. Deze theorie is exact in de proportionele limiet waarbij het aantal samples $P$ en de netwerkbreedte $N$ samen schalen ( $P/N = \alpha$ ).
Uitwisselbare Klasse-geometrie:
Om een analytische oplossing te verkrijgen, nemen de auteurs een uitwisselbare klasse-geometrie aan, waarbij de input-kernel invariant is onder permutaties van samples binnen klassen en permutaties van klassen. Onder deze symmetrie ontkoppelen de matrix-waardige kernel-vergelijkingen in drie scalaire kanalen:
- Globale gemiddelde ( $E$ )
- Gecentreerde tussen-klasse gemiddelden ( $P_B$ )
- Binnen-klasse fluctuaties ( $P_W$ )
Deze reductie maakt de afleiding mogelijk van een scalaire geometrische wet die de evolutie van de binnen-klasse versus tussen-klasse variantie over de lagen heen regelt.

Belangrijkste Bijdragen

1. Kernel-identiteiten voor NC2 en NC3

Het artikel biedt nieuwe identiteiten die NC2 en NC3 direct uitdrukken in termen van de feature-kernel $K$ en de labels $Y$ .

NC2 wordt geformuleerd als de Frobenius-norm afstand tussen de cosinus-genormaliseerde Gram-matrix van gecentreerde klassengemiddelden en de Gram-matrix van een eenheidsnorm simplex ETF.
NC3 wordt geformuleerd als de gemiddelde cosinus misuitlijning tussen de bias-vrije ridge-readout richtingen en de gecentreerde klassengemiddelden.
Deze identiteiten maken het mogelijk om alle drie de trainingsset NC-observabelen te berekenen zonder de feature-matrix $Z$ expliciet te vormen.

2. Exacte Geometrische Diepte-wet

Voor diepe lineaire netwerken met een uitwisselbare klasse-structuur leiden de auteurs een exacte wet af voor de laag-per-laag evolutie van NC1:
$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$
waarbij $t_W$ en $t_B$ laag-onafhankelijke transferfactoren zijn die worden bepaald door de data, de prior en de architectuur. Dit demonstreert dat compressie binnen klassen geometrisch plaatsvindt met de diepte, gedreven door de ratio van de transferfactoren voor de binnen-klasse en tussen-klasse kanalen.

3. Diepte-Breedte Schaalwet

In de grote-breedte limiet met kleine regularisatie ( $\kappa$ ), wordt aangetoond dat de geaccumuleerde compressie wordt gecontroleerd door de diepte-breedteverhouding $L/N$ . De terminale NC1 schaalt als:
$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$
Hierbij is $r$ een raten-parameter die zelfconsistent wordt bepaald door de signaal-ruisverhouding (SNR), de prior-variantie en de architectuur. Dit vestigt $L/N$ als de primaire architecturale variabele die de representatie-compressie controleert, waarbij de snelheid $r$ voortkomt uit de data en model-eigenschappen in plaats van een externe hyperparameter.

Resultaten

Analytische Verificatie: Numerieke experimenten op de exact uitwisselbare populatie-kernel bevestigen dat de gesloten vorm geometrische wet overeenkomt met de numerieke fixed-point oplossing over diverse dieptes en breedtes.
Data-afhankelijkheid: De contractierate $\log(t_W/t_B)$ is aangetoond afhankelijk te zijn van de input SNR, wat de zelfconsistente bepaling van de snelheid valideert.
Schaalgedrag: Experimenten waarbij $L$ en $N$ worden gevarieerd terwijl $L/N$ constant wordt gehouden, laten zien dat de terminale NC1 de voorspelde exponentiële verval volgt, wat de $L/N$ schaalwet bevestigt.
Getrainde Netwerken met Eindige Breedte: Wanneer toegepast op SGLD-getrainde netwerken met eindige breedte op gesamplede Gaussische data, komt de voorspelling (gebruikmakend van gemeten input-eigenwaarden) nauw overeen met de geobserveerde geometrische verval van NC1, ondanks afwijkingen van de geïdealiseerde populatie-setting.
Niet-lineaire Extensies: Bij een niet-lineaire vier-klasse XOR-taak evolueren de kernel-observabelen (NC1, NC2, NC3) die afgeleid zijn uit de zelfconsistente theorie in dezelfde kwalitatieve richting als die in getrainde netwerken met eindige breedte, wat suggereert dat het kernel-framework de geometrie van de evolutie van representaties ook buiten het oplosbare lineaire regime vangt.

Betekenis en Claims

Het artikel claimt een hanteerbare representatie-niveau schaalwet te bieden die is afgeleid van feature-learning theorie in plaats van post-training gefit. De primaire betekenis ligt in:

Voorspellende Kracht: Het maakt het mogelijk om de geometrie van representaties (specifiek de mate van Neural Collapse) direct te voorspellen vanuit de data, de prior en de architectuur zonder kandidaat-netwerken te trainen.
Architecturale Inzicht: Het identificeert de diepte-breedteverhouding $L/N$ als de controlerende parameter voor representatie-compressie in diepe lineaire netwerken, waarbij de compressiesnelheid zelfconsistent wordt bepaald door de probleemstructuur.
Theoretische Unificatie: Het verenigt de studie van Neural Collapse met de eindige breedte kernel-theorie, breidt de bekende NC1-identiteit uit naar NC2 en NC3, en biedt een gesloten vorm beschrijving van hun laag-per-laag evolutie.

De auteurs merken op dat hoewel de exacte geometrische wet is afgeleid voor uitwisselbare diepe lineaire netwerken, de kernel-observabelen nog steeds informatief blijven voor niet-lineaire netwerken, waarbij ze de kwalitatieve evolutie van de representatie-geometrie vangen. Het uitbreiden van deze voorspellende wetten naar algemene niet-lineaire netwerken en willekeurige data-geometrieën wordt geïdentificeerd als een richting voor toekomstig werk.