Neural collapse in the orthoplex regime

Titel: Neural Collapse in het Orthoplex Regime

Auteurs: James Alcala, Rayna Andreeva, Vladimir A. Kobzar, Dustin G. Mixon, Sanghoon Na, Shashank Sule, Yangxinyu Xie.

---

1. Probleemstelling

Bij het trainen van diepe neurale netwerken voor classificatietaken, is het fenomeen van neural collapse (neuraal instorten) empirisch en theoretisch vastgesteld. In de traditionele setting, waar het aantal klassen $n$ kleiner is dan of gelijk aan de dimensie van de feature-ruimte plus één ($n \le d + 1$), collapseert de feature-ruimte naar de hoekpunten van een regelmatige simplex.

Echter, voor veel moderne toepassingen, zoals taalmodellen, geldt vaak dat het aantal klassen veel groter is dan de feature-dimensie ($n \gg d$). In dit regime is de geometrische structuur van de collapse minder duidelijk. Specifiek richt dit artikel zich op het orthoplex-regime, gedefinieerd door de ongelijkheid:
$$d + 2 \le n \le 2d$$
De centrale vraag is: welke geometrische figuren ontstaan er als de feature-vectoren en gewichtsvectoren convergeren naar een optimum in dit specifieke regime, en hoe gedragen deze zich onder verschillende temperaturen in de cross-entropy loss?

2. Methodologie

De auteurs analyseren het probleem binnen het kader van het onbeperkte feature-model (unconstrained features model). Hierbij worden de feature-vectoren van de trainingsset behandeld als vrije variabelen, losgekoppeld van de specifieke architectuur van het netwerk.

De analyse verloopt via de volgende stappen:

1. Hardmax-limiet: De cross-entropy loss wordt geanalyseerd in de limiet waar de temperatuur $\tau \to 0$. Dit leidt tot een "hardmax"-probleem dat equivalent is aan het maximaliseren van de minimale afstand tussen een punt en de convexe hull van de overige punten.
2. Definitie van Softmax Codes: Een configuratie $W$ wordt een softmax code genoemd als deze de waarde $\delta(W)$ maximaliseert, gedefinieerd als de minimale afstand van een punt tot de convexe hull van de andere punten.
3. Convexiteit en Radon's Stelling: De bewijzen maken zwaar gebruik van convexiteitsargumenten en Radon's stelling (die stelt dat elke verzameling van $d+2$ punten in $\mathbb{R}^d$ kan worden gepartitioneerd in twee disjuncte verzamelingen waarvan de convexe hulls elkaar snijden).
4. Entropie-analyse: Voor positieve temperaturen ($\tau > 0$) wordt de cross-entropy loss geoptimaliseerd om te bepalen welke softmax codes de voorkeur hebben bij lage versus hoge temperaturen. Dit leidt tot een discrete optimalisatieprobleem over de verdeling van dimensies tussen orthogonale simplices.

3. Belangrijkste Bijdragen en Resultaten

A. Karakterisering van Softmax Codes (Theorema 2)

In het orthoplex-regime ($d+2 \le n \le 2d$) bewijzen de auteurs dat softmax codes exact overeenkomen met sferische codes (spherical codes).

• Een sferische code minimaliseert de maximale inproducten tussen verschillende punten (maximaliseert de minimale hoekafstand).
• Ze tonen aan dat voor elke configuratie in dit regime, de maximale afstand $\delta(X) = 1$ is dan en slechts dan als het maximale inproduct $\alpha(X) = 0$.
• Dit betekent dat de optimale configuraties bestaan uit punten die onderling orthogonaal zijn of op een specifieke manier gerangschikt op de sfeer, vergelijkbaar met de hoekpunten van een orthoplex (bijv. $\pm e_1, \dots, \pm e_d$).

B. Zelf-dualiteit en Afwezigheid van "Rattlers" (Theorema 5)

De auteurs tonen aan dat elke hardmax code in dit regime zelf-dual is.

• Dit betekent dat de feature-vectoren $H$ en de gewichtsvectoren $W$ identiek zijn ($h_{k,i} = w_k$).
• Het bewijs leunt op het concept van "rattlers" (punten die niet strak vastzitten in de configuratie). Ze bewijzen dat er in het orthoplex-regime geen softmax-rattlers of Tammes-rattlers bestaan, wat de unieke uitbreiding van een softmax code naar een hardmax code garandeert.

C. Entropie en Temperatuur-afhankelijkheid (Theorema 12)

Een cruciale ontdekking is dat niet alle softmax codes gelijk zijn wanneer de temperatuur $\tau$ positief is. De voorkeur voor een specifieke geometrische configuratie hangt af van de grootte van $\tau$:

• Lage Temperatuur ($\tau < \tau^-$): De loss wordt geminimaliseerd door laag-entropie codes. Deze bestaan uit de hoekpunten van één grote regelmatige simplex (in een deelruimte) gecombineerd met een orthoplex in de orthogonale deelruimte. Dit resulteert in een "one-sided" structuur.
• Hoge Temperatuur ($\tau > \tau^+$): De loss wordt geminimaliseerd door hoog-entropie codes. Deze bestaan uit meerdere kleine, onderling orthogonale regelmatige simplices die samen de ruimte vullen. Dit resulteert in een meer gebalanceerde, verspreide structuur.

De auteurs leiden een functie $f_{n,\tau}(x)$ af die de bijdrage van een simplex van dimensie $x$ aan de totale loss beschrijft. Ze bewijzen dat deze functie streng concaaf is bij lage temperaturen (bevoordelend voor één grote groep) en streng convex bij hoge temperaturen (bevoordelend voor gelijkmatige verdeling).

4. Significatie

• Theoretische Uitbreiding: Dit werk vult een belangrijke lacune in de theorie van neural collapse door het regime $n > d+1$ te karakteriseren. Het bevestigt dat de intuïtie van de regelmatige simplex zich niet direct doorzet, maar evolueert naar complexere structuren gebaseerd op orthoplexen.
• Verband met Sferische Codes: Het artikel legt een fundamenteel verband tussen het optimaliseren van cross-entropy in neurale netwerken en het klassieke probleem van Tammes (het vinden van punten op een sfeer die de minimale onderlinge afstand maximaliseren).
• Praktische Implicaties voor Modellen: De bevindingen suggereren dat de geometrie van de feature-ruimte in taalmodellen (waar $n \gg d$) sterk beïnvloed wordt door de temperatuur en de verhouding tussen $n$ en $d$. De overgang van laag- naar hoog-entropie configuraties biedt inzicht in hoe modellen leren omgaan met zeer grote vocabulaires of klassen.
• Methodologische Innovatie: Het gebruik van Radon's stelling en convexiteitsanalyse om de afwezigheid van rattlers en de uniciteit van de codes te bewijzen, biedt een krachtig wiskundig raamwerk voor toekomstige studies in dit domein.

Conclusie

Het artikel biedt een volledige wiskundige karakterisering van de geometrie van neural collapse in het orthoplex-regime. Het toont aan dat de optimale configuraties sferische codes zijn, dat deze zelf-dualiteit vertonen, en dat de specifieke vorm van deze codes (laag- vs. hoog-entropie) dynamisch verschuift afhankelijk van de temperatuurparameter in de loss-functie. Dit legt een brug tussen de theorie van diepe learning en klassieke meetkunde en coderingstheorie.