🤖 machine learning

The role of class encoding in neural collapse

Diese Arbeit untersucht, wie die Label-Kodierung den Neural Collapse beeinflusst, und zeigt auf, dass bei One-Hot-kodierten Labels auf balancierten Daten eine Erhöhung der Bias-Regularisierung dazu führt, dass unzentrierte Mittelwert-Merkmale von einem Simplex-Equiangular Tight Frame zu einem orthogonalen Frame übergehen, während sie zudem aufzeigt, dass der Bias des Klassifikators im Allgemeinen dazu dient, beliebige Label-Kodierungen zu zentrieren.

Ursprüngliche Autoren: Bastien Massion, Roy Makhlouf, Estelle Massart

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bastien Massion, Roy Makhlouf, Estelle Massart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein Team von Robotern (ein neuronales Netz), um einen Haufen gemischter Spielzeuge in verschiedene Kisten zu sortieren. Die Roboter haben ein „Gehirn“ (die verborgenen Schichten), das die Spielzeuge verarbeitet, und einen „Entscheider“ (den finalen Klassifikator), der auf die richtige Kiste zeigt.

Dieses Paper untersucht ein seltsames und schönes Phänomen namens Neural Collapse. Wenn die Roboter richtig gut in ihrem Job werden (also null Fehler machen), passiert etwas Magisches in ihren Gehirnen: Die internen Repräsentationen von Spielzeugen aus derselben Kiste beginnen, sich zu dichten, perfekten Gruppen zusammenzuschließen.

Hier ist die einfache Aufschlüsselung dessen, was die Autoren entdeckt haben, unter Verwendung alltäglicher Analogien:

1. Die zwei Formen der Organisation

Das Paper untersucht, wie diese Klumpen von Spielzeugen sich anordnen. Es stellt fest, dass die Anordnung stark davon abhängt, wie die Kisten beschriftet sind und wie viel Bewegungsfreiheit dem Entscheider gelassen wird, um seine Position zu „verschieben“.

Die „Orthonormale“ Form (Das Gitter): Stellen Sie sich vor, die Roboter ordnen die Spielzeuggruppen wie die Ecken eines perfekten quadratischen Gitters an. Jede Gruppe steht in einem rechten Winkel zu den anderen. Dies geschieht, wenn der Entscheider gezwungen ist, genau in der Mitte zu bleiben (Null-Bias).
Die „Simplex“-Form (Die Pyramide): Stellen Sie sich vor, die Gruppen ordnen sich wie die Ecken einer perfekten Pyramide (oder eines Dreiecks, wenn es nur drei Gruppen gibt) an. Sie sind alle gleichmäßig weit voneinander entfernt, aber leicht geneigt. Dies geschieht, wenn dem Entscheider erlaubt wird, sich frei zu bewegen.

Die große Entdeckung: Die Autoren haben erkannt, dass diese beiden Formen nicht eigentlich unterschiedliche Welten sind. Sie sind einfach dieselbe Form, nur verschoben.

Betrachten Sie das „Gitter“ als eine Pyramide, die auf einem Tisch steht.
Wenn man die gesamte Pyramide anhebt (einen „Bias“ hinzufügt), bewegt sich das Zentrum der Pyramide, aber die relativen Winkel zwischen den Ecken bleiben gleich.
Das Paper zeigt, dass man durch das Einstellen eines „Regularisierungs-Knopfes“ (der steuert, wie viel Bewegungsfreiheit der Entscheider hat), das Gehirn der Roboter reibungslos von der Gitter-Form zur Pyramiden-Form gleiten lassen kann.

2. Die Rolle des „Labels“ (Die Kisten-Etiketten)

Das Paper fragt: Spielt es eine Rolle, wie wir die Namen auf die Kisten schreiben?

Standard-Labels (One-Hot): Normalerweise beschriften wir Kisten mit einer „1“ für die richtige Kiste und einer „0“ für alles andere (wie ein Lichtschalter).
Die Aufgabe des Bias: Die Autoren fanden heraus, dass der „Bias“ des Entscheiders als Kompensator fungiert. Seine Hauptaufgabe ist es, sicherzustellen, dass der Durchschnitt der Position aller Labels genau in der Mitte des Raumes liegt.
- Wenn Ihre Labels natürlich zentriert (ausbalanciert) sind, bleibt der Bias bei Null.
- Wenn Ihre Labels außermittig sind (wie bei einem seltsamen Kodierungssystem), verschiebt sich der Bias, um das gesamte System zurück in die Mitte zu ziehen. Es ist wie ein Seiltänzer, der seinen Stab anpasst, um das Gleichgewicht zu halten.

3. Was sich ändert und was gleich bleibt

Das Paper prüft, ob die Änderung der Labels (die Kodierung) die Magie von Neural Collapse bricht.

Das „Zusammenballen“ (NC1): Dieser Teil ist super robust. Egal, wie Sie die Kisten beschriften oder wie Sie den Bias abstimmen, die Roboter werden die gleichen Spielzeuge immer wieder zusammenballen. Das ist so, als würde man sagen: „Egal, wie du die Kisten anstreichst, die roten Autos werden immer in der roten Zone parken.“
Die „Perfekte Symmetrie“ (NC2): Hier spielen die Labels eine Rolle. Die perfekte Pyramidenform entsteht nur, wenn die Labels selbst eine gewisse Symmetrie besitzen. Wenn Sie die Labels auf seltsame Weise durcheinanderbringen, werden die Roboter vielleicht keine perfekte Pyramide bilden, obwohl sie immer noch zusammenballen.
Das „Spiegelbild“ (NC3): Normalerweise sieht das Gewicht des Entscheiders exakt wie die zusammengeballten Spielzeuggruppen aus (eine Eigenschaft namens Selbstdualität). Das Paper fand heraus, dass, wenn man die Labels rotiert oder spiegelt, dieses Spiegelbild bricht. Es ist jedoch nicht wirklich gebrochen; es ist nur rotiert. Wenn man den Entscheider zurück rotiert, kehrt das Spiegelbild zurück. Die Verbindung ist also immer noch da, sie trägt nur einen anderen Hut.

Zusammenfassung

Kurz gesagt erklärt dieses Paper, dass Neural Collapse ein sehr stabiles Phänomen ist.

Die Roboter gruppieren ähnliche Dinge immer zusammen.
Die spezifische geometrische Form dieser Gruppen (Gitter vs. Pyramide) wird durch einen „Bias-Knopf“ und die Art und Weise, wie die Labels geschrieben sind, gesteuert.
Der Bias fungiert als Zentrierungsmechanismus, der sicherstellt, dass das System ausgeglichen bleibt, unabhängig davon, wie die Labels kodiert sind.
Selbst wenn die Labels durcheinandergebracht werden, bleibt das grundlegende „Zusammenballen“ bestehen, und die Beziehung zwischen den Gruppen und dem Entscheider ist lediglich rotiert und nicht zerstört.

Die Autoren haben keine neuen medizinischen Anwendungen oder zukünftigen Anwendungen vorgeschlagen; sie haben lediglich die mathematische „Geometrie“ kartiert, wie sich diese KI-Gehirne organisieren, wenn sie ihre beste Arbeit leisten.

Technische Zusammenfassung: Die Rolle der Klassenkodierung bei Neural Collapse

Problemstellung
Neural Collapse (NC) ist ein Phänomen, das in der terminalen Trainingsphase von tiefen neuronalen Klassifikatoren beobachtet wird und durch spezifische geometrische Strukturen in den Aktivierungen der letzten verborgenen Schicht gekennzeichnet ist, wenn der Trainingsfehler Null erreicht. Während NC unter dem Unconstrained Features Model (UFM) mit Cross-Entropy-Loss intensiv untersucht wurde, bleibt sein Verhalten unter MSE-Loss (Mean Squared Error) Gegenstand der Untersuchung. Konkret identifizierte vorangegangene Arbeiten zwei unterschiedliche strukturelle Ergebnisse für die Mittelwert-Aktivierungen der Klassen im UFM mit One-Hot-kodierten Labels: einen Orthogonalen Frame (OF), wenn der Klassifikator-Bias fehlt oder stark regularisiert ist, und ein Simplex Equiangular Tight Frame (ETF), wenn ein unregularisierter Bias vorhanden ist. Der Zusammenhang zwischen diesen Strukturen und dem Einfluss beliebiger Label-Kodierungen auf die NC-Eigenschaften ist nicht vollständig verstanden. Diese Arbeit adressiert die Rolle der Label-Kodierung und des Bias-Terms bei der Entstehung dieser geometrischen Strukturen.

Methodik
Die Autoren analysieren das Problem unter Verwendung des Unconstrained Features Models (UFM) mit einem MSE-Trainingsverlust. Das Optimierungsproblem beinhaltet die gleichzeitige Minimierung des Verlusts über unbeschränkte Merkmale ( $H$ ), einen linearen Klassifikator ( $W$ ) und einen Bias-Term ( $b$ ), unter der Bedingung einer $\ell_2$ -Regularisierung auf alle Parameter. Die Studie betrachtet:

Label-Kodierungen: Von der Standard-One-Hot-Kodierung bis hin zu beliebigen Kodierungsmatrizen $\bar{Y} \in \mathbb{R}^{K \times K}$ , einschließlich Label Smoothing.
Bias-Regularisierung: Den Einfluss eines variierenden Regularisierungskoeffizienten $\lambda_b$ im Zusammenhang mit dem Klassifikator-Bias.
Datenbalance: Die Analyse deckt sowohl balancierte als auch imbalancierte Datenszenarien ab.

Die theoretischen Ableitungen stützen sich auf die Optimitätsbedingungen erster Ordnung, um globale Minimierer zu charakterisieren. Die Autoren führen das Konzept eines „Shifted Simplex Equiangular Tight Frame“ (SSETF) ein, um die beobachteten geometrischen Strukturen zu vereinheitlichen.

Wesentliche Beiträge und Ergebnisse

Vereinheitlichung der OF- und Simplex-ETF-Strukturen:
Das Paper zeigt, dass der Übergang zwischen einem Orthogonalen Frame (OF) und einem Simplex-ETF durch den Bias-Term gesteuert wird. Für One-Hot-kodierte Labels und balancierte Daten geht der unzentrierte Mittelwert der Merkmale, wenn der Bias-Regularisierungskoeffizient $\lambda_b$ abnimmt, kontinuierlich von einem OF in ein Simplex-ETF über.
- Mechanismus: Der optimale Bias $b^*$ wirkt kompensierend auf die Nicht-Zentrierung der Labels. Im Grenzfall eines unregularisierten Bias ( $\lambda_b = 0$ ) entspricht der Bias dem Mittelwert der Labels, was das Problem effektiv zentriert und eine Simplex-ETF-Struktur liefert.
- SSETF-Definition: Die Autoren definieren einen Shifted Simplex ETF (SSETF) als eine Verallgemeinerung, die sowohl OFs (Shift-Parameter $\beta=0$ ) als als Simplex-ETFs (Shift-Parameter $\beta=1$ ) umfasst. Sie beweisen, dass das Zentrieren eines beliebigen SSETF zu einem Simplex-ETF führt.
Rolle des Bias bei beliebigen Kodierungen:
Über die One-Hot-Kodierung hinaus zeigen die Autoren, dass für jede beliebige Label-Kodierung und imbalancierte Daten der optimale Bias im UFM darauf abzielt, die Labels zu zentrieren. Wenn die Labels zentriert sind ( $Y \mathbf{1}_N = 0$ ), ist der optimale Bias Null, unabhängig von $\lambda_b$ . Wenn die Labels nicht zentriert sind, verschiebt der Bias-Term die Lösung, um die Diskrepanz zwischen dem globalen Mittelwert der Labels und dem Ursprung zu kompensieren.
Robustheit des Variabilitäts-Kollapses (NC1):
Das Paper beweist, dass die erste Eigenschaft von Neural Collapse (NC1) – der Kollaps der Merkmale zu ihren Klassenmittelwerten – für jede Label-Kodierung und jede Bias-Regularisierungsstärke $\lambda_b \geq 0$ gilt, sofern die Daten balanciert sind. Dies deutet darauf hin, dass der Variabilitäts-Kollaps unabhängig vom spezifischen Kodierungsschema ist.
Auswirkung auf Selbstdualität (NC3) und NC3':
Die Studie zeigt auf, dass die Standard-Selbstdualitätseigenschaft (NC3), bei der die Klassifikator-Gewichte mit den Klassenmittelwerten übereinstimmen, gegenüber beliebigen Kodierungen nicht robust ist. Die Anwendung einer orthogonalen Transformation auf die Labels bricht die direkte Ausrichtung zwischen $W^*$ und den Klassenmittelwerten $\bar{H}^*$ auf.
- Vorgeschlagene Lösung: Die Autoren schlagen eine schwächere Variante vor, NC3', die besagt, dass die Klassifikator-Gewichte bis auf Reskalierung und eine orthogonale Rotation/Reflektion gegen die Klassenmittelwerte konvergieren. Sie beweisen, dass NC3' für jede balancierte Kodierung unter dem UFM mit MSE-Loss gilt.
Konvergenz zu Simplex-ETF (NC2) und SSETF:
Das Paper stellt fest, dass, falls die optimalen Mittelwert-Merkmale ein SSETF bilden, ihre zentrierten Gegenstücke ein Simplex-ETF bilden (was NC2 erfüllt). Die Autoren vermuten, dass für balancierte Szenarien die Mittelwert-Merkmale genau dann ein SSETF bilden, wenn die Label-Kodierung selbst ein SSETF ist. Diese Familie umfasst sowohl die One-Hot-Kodierung als auch das Label Smoothing.

Bedeutung und Ansprüche
Das Paper beansprucht, eine theoretische Brücke zwischen den zuvor als verschieden betrachteten OF- und Simplex-ETF-Strukturen zu schlagen, die bei MSE-trainierten Klassifikatoren beobachtet werden, indem es den Unterschied allein auf die Rolle des Bias-Terms bei der Zentrierung der Labels zurückführt. Durch die Einführung des SSETF-Frameworks generalisiert die Arbeit das Verständnis von Neural Collapse auf beliebige Label-Kodierungen.

Die Autoren merken bescheiden an, dass sie zwar hinreichende Bedingungen für NC2 (via SSETF-Kodierungen) identifiziert und NC1 sowie NC3' bewiesen haben, die vollständige Charakterisierung, welche Kodierungen in imbalancierten Settings zu NC2 führen, jedoch eine offene Frage bleibt. Die Arbeit schlägt keine neuen Algorithmen oder experimentellen Anwendungen vor, sondern bietet vielmehr eine theoretische Klärung darüber, wie Label-Kodierung und Bias-Regularisierung interagieren, um die geometrische Landschaft von Neural Collapse zu formen.

1. Die zwei Formen der Organisation

2. Die Rolle des „Labels“ (Die Kisten-Etiketten)

3. Was sich ändert und was gleich bleibt

Zusammenfassung

Mehr davon