🤖 machine learning

The role of class encoding in neural collapse

Dit artikel onderzoekt hoe label-encoding invloed heeft op neural collapse, waarbij wordt aangetoond dat bij one-hot gecodeerde labels op gebalanceerde data, het verhogen van bias-regularisatie ervoor zorgt dat niet-gecentreerde gemiddelde kenmerken overgaan van een simplex equiangular tight frame naar een orthogonaal frame, terwijl ook wordt aangetoond dat de bias van de classifier over het algemeen dient om willekeurige label-encodings te centreren.

Oorspronkelijke auteurs: Bastien Massion, Roy Makhlouf, Estelle Massart

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bastien Massion, Roy Makhlouf, Estelle Massart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team robots traint (een neuraal netwerk) om een stapel gemengd speelgoed in verschillende dozen te sorteren. De robots hebben een "brein" (de verborgen lagen) dat de speeltjes verwerkt, en een "beslisser" (de uiteindelijke classifier) die naar de juiste doos wijst.

Dit artikel onderzoekt een vreemd en prachtig fenomeen genaamd Neural Collapse. Wanneer de robots echt goed worden in hun werk (het maken van nul fouten), gebeurt er iets magisch in hun brein: de interne representaties van speeltjes uit dezelfde doos beginnen samen te klonteren in strakke, perfecte groepen.

Hier is de eenvoudige uitleg van wat de auteurs ontdekten, met alledaagse analogieën:

1. De twee vormen van organisatie

Het artikel kijkt naar hoe deze klompen speelgoed zich organiseren. Ze ontdekten dat de ordening sterk afhangt van twee dingen: hoe de dozen gelabeld zijn en hoeveel de beslisser de ruimte krijgt om te "verschuiven".

De "Orthonormale" vorm (Het Raster): Stel je voor dat de robots de groepen speelgoed ordenen als de hoeken van een perfect vierkant raster. Elke groep staat onder een rechte hoek ten opzien van de andere. Dit gebeurt wanneer de beslisser wordt gedwongen precies in het midden te blijven (nul bias).
De "Simplex" vorm (De Piramide): Stel je voor dat de groepen zich ordenen als de hoeken van een perfecte piramide (of een driehoek als er slechts drie groepen zijn). Ze staan allemaal even ver van elkaar verwijderd, maar ze zijn licht gekanteld. Dit gebeurt wanneer de beslisser de vrijheid krijgt om te bewegen.

De Grote Ontdekking: De auteurs realiseerden zich dat deze twee vormen niet echt verschillende werelden zijn. Het zijn simpelweg dezelfde vorm, maar dan verschoven.

Denk aan het "Raster" als een piramide die op een tafel staat.
Als je de hele piramide omhoog tilt (een "bias" toevoegt), beweegt het centrum van de piramide, maar de relatieve hoeken tussen de hoeken blijven hetzelfde.
Het artikel laat zien dat je door een "regularisatieknop" aan te passen (die controleert hoeveel de beslisser de ruimte krijgt om te bewegen), de hersenen van de robots vloeiend van de Raster-vorm naar de Piramide-vorm kunt laten glijden.

2. De rol van het "Label" (De Dooslabels)

Het artikel vraagt zich af: Maakt het uit hoe we de namen op de dozen schrijven?

Standaard Labels (One-Hot): Meestal labelen we dozen met een "1" voor de juiste doos en een "0" voor de rest (zoals een lichtschakelaar).
De Taak van de Bias: De auteurs ontdekten dat de "bias" van de beslisser fungeert als een compensator. De belangrijkste taak van de bias is om ervoor te zorgen dat het gemiddelde positie van alle labels precies in het midden van de kamer ligt.
- Als je labels van nature gecentreerd zijn (gebalanceerd), blijft de bias op nul.
- Als je labels uit het midden liggen (bijvoorbeeld als je een vreemd coderingssysteem gebruikt), verschuift de bias om het hele systeem weer naar het midden te trekken. Het is als een koorddanser die zijn stok aanpast om in balans te blijven.

3. Wat verandert er en wat blijft hetzelfde?

Het artikel controleert of het veranderen van de labels (de codering) de magie van Neural Collapse doorbreekt.

Het "Klonteren" (NC1): Dit deel is super robuust. Ongeacht hoe je de dozen labelt of hoe je de bias afstemt, de robots zullen altijd dezelfde speeltjes bij elkaar klonteren. Dit is alsoals zeggen: "Ongeacht hoe je de dozen schildert, de rode auto's zullen altijd in de rode zone parkeren."
De "Perfecte Symmetrie" (NC2): Hierbij spelen de labels een rol. De perfecte piramidevorm ontstaat alleen als de labels zelf een bepaalde symmetrie hebben. Als je de labels op een vreemde manier door elkaar husselt, zullen de robots misschien geen perfecte piramide vormen, hoewel ze nog steeds zullen klonteren.
Het "Spiegelbeeld" (NC3): Normaal gesproken ziet het gewicht van de beslisser er exact hetzelfde uit als de geklonterde speeltjesgroepen (een eigenschap genaamd zelf-dualiteit). Het artikel vond dat als je de labels roteert of spiegelt, dit spiegelbeeld breekt. Echter, het is niet echt gebroken; het is alleen geroteerd. Als je de beslisser terug roteert, keert het spiegelbeeld terug. De verbinding is er dus nog steeds, hij draagt alleen een ander hoedje.

Samenvatting

Kortom, dit artikel legt uit dat Neural Collapse een zeer stabiel fenomeen is.

De robots groeperen altijd vergelijkbare dingen bij elkaar.
De specifieke geometrische vorm van deze groepen (Raster vs. Piramide) wordt gecontroleerd door een "bias-knop" en de manier waarop de labels zijn geschreven.
De bias fungeert als een centreringsmechanisme, waardoor het systeem in balans blijft, ongeacht hoe de labels zijn gecodeerd.
Zelfs als de labels zijn door elkaar gehusseld, blijft het fundamentele "klonteren" behouden, en is de relatie tussen de groepen en de beslisser slechts geroteerd, niet vernietigd.

De auteurs hebben geen nieuwe medische toepassingen of toekomstige toepassingen voorgesteld; ze hebben simpelweg de mathematische "geometrie" in kaart gebracht van hoe deze AI-hersenen zichzelf organiseren wanneer ze hun beste werk leveren.

Technische Samenvatting: De rol van klasse-codering in Neural Collapse

Probleemstelling
Neural Collapse (NC) is een fenomeen dat wordt waargenomen in de terminale fase van de training van diepe neurale netwerkclassifiers, gekenmerkt door specifieke geometrische structuren in de activaties van de laatste verborgen laag wanneer de trainingsfout nul bereikt. Hoewel NC uitgebreid is bestudeerd onder het Unconstrained Features Model (UFM) met Cross-Entropy loss, blijft het gedrag ervan onder Mean Squared Error (MSE) loss een onderwerp van onderzoek. Specifiek heeft eerder werk twee verschillende structurele uitkomsten geïdentificeerd voor de gemiddelde klasse-activaties in de UFM met MSE loss en one-hot gecodeerde labels: een Orthogonal Frame (OF) wanneer de classifier-bias afwezig of zwaar geregulariseerd is, en een Simplex Equiangular Tight Frame (ETF) wanneer een ongeregulariseerde bias aanwezig is. De relatie tussen deze structuren en de invloed van willekeurige label-coderingen op NC-eigenschappen is niet volledig begrepen. Dit artikel behandelt de rol van label-codering en de bias-term bij het ontstaan van deze geometrische structuren.

Methodologie
De auteurs analyseren het probleem met behulp van het Unconstrained Features Model (UFM) met een MSE training loss. Het optimalisatieprobleem behelst het gezamenlijk minimaliseren van de loss over onbeperkte features ( $H$ ), een lineaire classifier ( $W$ ), en een bias-term ( $b$ ), onderworpen aan $\ell_2$ -regularisatie op alle parameters. De studie beschouwt:

Label-coderingen: Van standaard one-hot codering tot willekeurige coderingsmatrices $\bar{Y} \in \mathbb{R}^{K \times K}$ , inclusief label smoothing.
Bias-regularisatie: De impact van het variëren van de regularisatiecoëfficiënt $\lambda_b$ geassocieerd met de classifier-bias.
Data-balans: De analyse dekt zowel gebalanceerde als ongebalanceerde datascenario's.

Theoretische afleidingen berusten op eerste-orde optimaliteitsvoorwaarden om globale minimizers te karakteriseren. De auteurs introduceren het concept van een "Shifted Simplex Equiangular Tight Frame" (SSETF) om de waargenomen geometrische structuren te verenigen.

Belangrijkste Bijdragen en Resultaten

Vereniging van OF en Simplex ETF Structuren:
Het artikel demonstreert dat de transitie tussen een Orthogonal Frame (OF) en een Simplex ETF wordt beheerst door de bias-term. Voor one-hot gecodeerde labels en gebalanceerde data, naarmate de bias-regularisatiecoëfficiënt $\lambda_b$ afneemt, gaat het ongecentreerde gemiddelde van de features continu over van een OF naar een Simplex ETF.
- Mechanisme: De optimale bias $b^*$ werkt om de niet-centrering van de labels te compenseren. In het limiet van ongeregulariseerde bias ( $\lambda_b = 0$ ), is de bias gelijk aan het gemiddelde van de labels, wat het probleem effectief centreert en een Simplex ETF-structuur oplevert.
- SSETF Definitie: De auteurs definiëren een Shifted Simplex ETF (SSETF) als een generalisatie die zowel OF's (shift parameter $\beta=0$ ) als Simplex ETF's (shift parameter $\beta=1$ ) omvat. Zij bewijzen dat het centreren van elke SSETF resulteert in een Simplex ETF.
Rol van Bias bij Willekeurige Coderingen:
In uitbreiding op one-hot codering tonen de auteurs aan dat voor elke willekeurige label-codering en ongebalanceerde data, de optimale bias ernaar streeft de labels te centreren. Specifiek, als de labels gecentreerd zijn ( $Y \mathbf{1}_N = 0$ ), is de optimale bias nul, ongeacht $\lambda_b$ . Als labels niet gecentreerd zijn, verschuift de bias-term de oplossing om de discrepantie tussen het globale gemiddelde van de labels en de oorsprong te compenseren.
Robuustheid van Variability Collapse (NC1):
Het artikel bewijst dat de eerste eigenschap van Neural Collapse (NC1)—de instorting van features naar hun klasse-gemiddelden—geldt voor elke label-codering en elke bias-regularisatiestrengheid $\lambda_b \geq 0$ , mits de data gebalanceerd is. Dit geeft aan dat variability collapse onafhankelijk is van het specifieke coderingsschema.
Impact op Self-Duality (NC3) en NC3':
De studie onthult dat de standaard zelf-dualiteitseigenschap (NC3), waarbij de classifier-gewichten uitlijnen met de klasse-gemiddelden, niet robuust is voor willekeurige coderingen. Het toepassen van een orthogonale transformatie op de labels verbreekt de directe uitlijning tussen $W^*$ en de klasse-gemiddelden $\bar{H}^*$ .
- Voorgestelde Oplossing: De auteurs stellen een zwakkere variant voor, NC3', die stelt dat de classifier-gewichten convergeren naar de klasse-gemiddelden tot op een schaling en een orthogonale rotatie/reflectie. Zij bewijzen dat NC3' geldt voor elke gebalanceerde codering onder de UFM met MSE loss.
Convergentie naar Simplex ETF (NC2) en SSETF:
Het artikel stelt vast dat als de optimale gemiddelde features een SSETF vormen, hun gecentreerde tegenhangers een Simplex ETF vormen (voldoen aan NC2). De auteurs vermoeden dat voor gebalanceerde scenario's, de gemiddelde features een SSETF vormen indien en slechts indien de label-codering zelf een SSETF is. Deze familie omvat zowel one-hot codering als label smoothing.

Betekenis en Claims
Het artikel claimt een theoretische brug te bieden tussen de voorheen onderscheiden OF en Simplex ETF structuren die worden waargenomen in met MSE getrainde classifiers, waarbij het verschil uitsluitend wordt toegeschreven aan de rol van de bias-term bij het centreren van de labels. Door de introductie van het SSETF-framework, generaliseert het werk het begrip van Neural Collapse naar willekeurige label-coderingen.

De auteurs merken bescheiden op dat hoewel zij voldoende voorwaarden voor NC2 hebben geïdentificeerd (via SSETF-coderingen) en NC1 en NC3' hebben bewezen, de volledige karakterisering van welke coderingen leiden tot NC2 in ongebalanceerde settings een open vraag blijft. Het werk stelt geen nieuwe algoritmen of experimentele toepassingen voor, maar biedt een theoretische verheldering van hoe label-codering en bias-regularisatie interageren om het geometrische landschap van neural collapse vorm te geven.

1. De twee vormen van organisatie

2. De rol van het "Label" (De Dooslabels)

3. Wat verandert er en wat blijft hetzelfde?

Samenvatting

Meer zoals dit