🤖 machine learning

Rethinking Loss Reweighting for Imbalance Learning as an Inverse Problem: A Neural Collapse Point of View

Dieser Artikel schlägt eine neuartige Strategie zur Neugewichtung des Verlusts aus inverser Sicht für die Klassifizierung bei langschwanziger Verteilung vor, die Klassen gewichte dynamisch ableitet, um ein ideales Ziel eines pro Klasse gleichen Verlusts zu erreichen, das von Neural Collapse inspiriert ist, wodurch die Verlustungleichgewichte reduziert werden und bestehende Basismethoden übertroffen werden.

Ursprüngliche Autoren: Jinping Wang, Zixin Tong, Zhiwu Xie, Zhiqiang Gao

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinping Wang, Zixin Tong, Zhiwu Xie, Zhiqiang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der eine Klasse von Schülern für eine Abschlussprüfung benoten soll. Diese Klasse hat jedoch ein seltsames Problem: 90 % der Schüler sind „Kopf-Schüler", die dieselben 10 Kapitel immer wieder wiederholt haben, während die verbleibenden 10 % „Schwanz-Schüler" sind, die nur 1 oder 2 Kapitel gelernt haben.

In einem normalen Klassenzimmer (einem ausgeglichenen Datensatz) behandelt der Lehrer alle gleich. Aber in diesem langschwänzigen Klassenzimmer werden die „Kopf-Schüler" die Konversation dominieren, wenn der Lehrer einfach nach der Gesamtpunktzahl benotet. Der Lehrer wird sich natürlich auf die 90 % konzentrieren, weil sie häufiger auftreten, und die „Schwanz-Schüler" werden ignoriert, obwohl sie für den Gesamterfolg der Klasse genauso wichtig sind.

In der Welt der Künstlichen Intelligenz nennt man dies Long-Tailed Learning (Lernen mit langem Schwanz). Das KI-Modell wird sehr gut darin, häufige Dinge zu erkennen (wie „Hunde" oder „Autos"), aber schlecht darin, seltene Dinge zu erkennen (wie „Faultiere" oder „bestimmte Käferarten").

Der alte Weg: Gewichte raten

Um dies zu beheben, haben Forscher Loss Reweighting (Verlust-Umgewichtung) versucht. Denken Sie an „Loss" (Verlust) als die Note, die die KI erhält, wenn sie einen Fehler macht.

Die alte Strategie: Forscher versuchten zu erraten, wie stark sie die Noten der seltenen Schüler „boosten" (aufwerten) sollten. Sie könnten sagen: „Okay, da die Faultier-Schüler selten sind, multiplizieren wir ihre Fehler mit 10, damit der Lehrer mehr Aufmerksamkeit auf sie richtet."
Das Problem: Diese Methoden sind größtenteils Raten (Heuristiken). Sie wissen nicht wirklich, wie die perfekte finale Notenverteilung aussehen sollte. Sie probieren einfach verschiedene Multiplikatoren aus, bis etwas funktioniert, ohne ein klares Ziel zu haben.

Die neue Idee: Der Bauplan für das „perfekte Klassenzimmer"

Diese Arbeit stellt eine neue Denkweise vor, inspiriert von einem Phänomen namens Neural Collapse (Neuronaler Kollaps).

Stellen Sie sich vor, wenn ein Schüler perfekt vorbereitet ist, wird sein Wissen super organisiert. In der KI-Welt ist Neural Collapse ein Zustand, in dem das Gehirn der KI sich perfekt organisiert:

Alle Beispiele für „Hunde" gruppieren sich eng zusammen.
Alle Beispiele für „Katzen" gruppieren sich eng zusammen.
Der Abstand zwischen dem „Hunde"-Cluster und dem „Katzen"-Cluster ist perfekt symmetrisch.

Die Autoren entdeckten eine schöne Regel: In diesem perfekt organisierten Zustand sollte jede einzelne Klasse (Hund, Katze, Faultier, Käfer) genau denselben durchschnittlichen „Verlust" (Loss) haben. Wenn die KI wirklich ausgeglichen ist, sollte sie nicht mehr mit einer Gruppe kämpfen als mit einer anderen.

Die Lösung: Rückwärtsarbeiten (Das inverse Problem)

Anstatt zu raten, wie stark die seltenen Schüler aufgewertet werden müssen, entschieden sich die Autoren, rückwärts zu arbeiten.

Ziel setzen: „Wir wollen, dass die KI einen Zustand erreicht, in dem jede Klasse genau denselben durchschnittlichen Verlust hat."
Die inverse Frage: „Angesichts dessen, dass wir gleiche Verluste wollen, welche spezifischen Multiplikatoren (Gewichte) müssen wir jetzt gerade anwenden, damit das passiert?"

Sie behandelten dies wie ein mathematisches Rätsel (ein inverses Problem). Anstatt zu sagen: „Ich denke, wir brauchen ein Gewicht von 5", lösten sie die Gleichung: „Um einen gleichen Verlust zu erhalten, muss das Gewicht X sein."

Sie fanden eine einfache, geschlossene Formel (ein direktes mathematisches Rezept), um genau zu berechnen, welches Gewicht jede Klasse in jedem Schritt des Trainings benötigt.

Die Zwei-Teile-Strategie

Die Arbeit schlägt eine zweistufige „Lehrer"-Strategie vor, um dies zu ermöglichen:

Die Mikro-Anpassung (Batch-weise): Jedes Mal, wenn die KI eine kleine Gruppe von Schülern betrachtet (ein „Mini-Batch"), berechnet sie genau, wie stark die seltenen in dieser spezifischen Gruppe aufgewertet werden müssen, um die unmittelbaren Noten auszugleichen. Es ist wie ein Lehrer, der die Schwierigkeit eines Tests sofort anpasst, je nachdem, wer heute im Raum ist.
Die Makro-Anpassung (Häufigkeit): Manchmal tauchen die „Schwanz-Schüler" (seltene Klassen) in diesen kleinen Gruppen einfach nicht oft genug auf. Selbst wenn man sie aufwertet, wenn sie auftauchen, erhalten sie insgesamt weniger Übungszeit. Daher fügen die Autoren eine zweite Ebene hinzu: Sie verfolgen, wie oft jede Klasse erscheint. Wenn eine Klasse selten ist, geben sie ihr einen dauerhaften „Bonus", um den Umstand auszugleichen, dass sie seltener erscheint.

Die Ergebnisse

Als sie diese Methode der „Inversen Umgewichtung" testeten:

Bessere Balance: Die KI hörte auf, die seltenen Klassen zu ignorieren. Die „Noten" (Verluste) für häufige und seltene Klassen wurden viel ausgeglichener.
Perfekte Geometrie: Die interne Gehirnstruktur der KI sah mehr aus wie der Bauplan für den „perfekt organisierten" Neural Collapse.
Höhere Punktzahlen: Bei Standardtests (wie CIFAR-100 und ImageNet) schlug diese Methode fast alle anderen bestehenden Methoden und erzielte in vielen Fällen die besten Ergebnisse (State-of-the-Art).

Zusammenfassung

Stellen Sie es sich so vor: Alte Methoden waren wie ein Lehrer, der rät: „Ich werde den leisen Schülern Extra-Punkte geben, weil sie schüchtern wirken." Diese neue Methode ist wie ein Lehrer, der sagt: „Ich weiß, das Ziel ist, dass alle Schüler denselben Durchschnittsnote haben. Lassen Sie mich berechnen, wie viel Hilfe jeder Schüler genau jetzt braucht, um das zu erreichen, und ich werde es jeden einzelnen Tag anpassen."

Indem sie das Problem in eine mathematische Gleichung mit einem klaren Ziel (gleicher Verlust) verwandelten, schufen die Autoren ein System, das die KI natürlich in einen perfekt ausgeglichenen Zustand führt.

Technisches Fazit: Neubewertung der Verlust-Neugewichtung für das Lernen bei Ungleichverteilung als inverses Problem

1. Problemstellung

Tiefe neuronale Netze haben auf ausgeglichenen Datensätzen wie ImageNet erhebliche Erfolge erzielt, doch reale Szenarien weisen häufig langschwänzige Verteilungen auf, bei denen Kopf-Klassen den Probenraum dominieren, während Schwanz-Klassen nur wenige Proben besitzen. Dieses Ungleichgewicht führt dazu, dass Modelle eine übermäßige Verzerrung zugunsten der Kopf-Klassen entwickeln, was zu einer schlechten Generalisierung auf Schwanz-Klassen führt.

Obwohl die Verlust-Neugewichtung eine weit verbreitete Strategie ist, um dies durch Anpassung der klassenspezifischen Gewichte zu mildern, sind bestehende Methoden oft heuristisch und zielagnostisch. Ihnen fehlt ein wohldefiniertes ideales Ziel, wie die klassenspezifische Verlustverteilung am Ende des Trainings aussehen sollte. Folglich verlassen sich aktuelle Strategien auf ad-hoc-Entwürfe (z. B. inverse Frequenz, effektive Anzahl der Proben) ohne ein rigoroses theoretisches Ziel, das den Neugewichtungsprozess leitet.

2. Methodik

Der Artikel schlägt ein neues Framework vor, das die Verlust-Neugewichtung durch die Linse des Neural Collapse (NC) neu denkt und als inverses Problem formuliert.

2.1. Theoretische Grundlage: Neural Collapse (NC)

Die Autoren nutzen das Phänomen des Neural Collapse, das in der terminalen Phase des Trainings auf ausgeglichenen Datensätzen beobachtet wird, wobei:

Innerklassige Variabilität kollabiert: Merkmale derselben Klasse konvergieren zu ihrem Klassenmittelwert.
Simplex-ETF-Geometrie: Klassenmittelwerte bilden ein ideales Equiangular Tight Frame (ETF).
Selbstdualität: Klassifikator-Gewichte richten sich an den zentrierten Klassenmittelwerten aus.
Nächster Mittelpunkt: Die Klassifikation vereinfacht sich zur Suche nach dem nächsten Klassenmittelwert.

Wichtige theoretische Erkenntnis: Der Artikel stellt fest, dass unter NC-Geometrie (speziell NC1-NC3) alle Klassen denselben durchschnittlichen Verlust teilen müssen. Die Autoren beweisen, dass wenn ein Verlust-Ungleichgewichtskoeffizient ( $\rho$ ) ungleich Null bleibt, das Netzwerk nicht zur idealen ETF-Struktur konvergieren kann. Daher ist das ideale Ziel für die Neugewichtung beim Lernen bei langschwänzigen Verteilungen die Durchsetzung eines gleichen durchschnittlichen Verlusts pro Klasse, um die Konvergenz zu einer NC-konsistenten Geometrie zu erleichtern.

2.2. Formulierung als inverses Problem

Anstatt Gewichte heurisch vorzuschreiben (die „vorwärts"-Sicht), behandeln die Autoren die Neugewichtung als inverses Problem:

Ziel: Der ideale Zustand ist erreicht, wenn der effektive Verlust für jede Klasse dem globalen Durchschnittsverlust ( $\bar{L}$ ) entspricht.
Inferenz: Gegeben die aktuellen klassenspezifischen Durchschnittsverluste $L_c(W)$ , leitet die Methode die optimalen Klassengewichte $w_c$ ab, die das System in diesen ausgeglichenen Zustand führen würden.

Dies wird als Tikhonov-regularisiertes inverses Problem formuliert:
$\min_{w_c} (w_c L_c(W) - \bar{L})^2 + \alpha (w_c - w_c^{(0)})^2$
Wobei:

$L_c(W)$ der aktuelle Durchschnittsverlust für Klasse $c$ ist.
$\bar{L}$ der globale Durchschnittsverlust ist.
$w_c^{(0)}$ ein Prior-Gewicht ist (z. B. aus einer bestehenden Methode oder uniform).
$\alpha$ ein Regularisierungskoeffizient ist.

2.3. Geschlossene Formel-Lösung

Das Optimierungsproblem erlaubt eine geschlossene Formel-Lösung für das optimale Gewicht $w_c^*$ :
$w_c^* = \frac{\bar{L} L_c(W) + \alpha w_c^{(0)}}{L_c(W)^2 + \alpha}$
Dies ermöglicht eine Plug-and-Play-Implementierung, bei der Gewichte dynamisch in jedem Trainingsschritt abgeleitet werden.

2.4. Zwei-Ebenen-Neugewichtungsstrategie

Um das Problem zu adressieren, dass Schwanz-Klassen in Mini-Batches sporadisch auftreten (was zu einer schwachen kumulativen Optimierungskraft führt), kombiniert die Methode zwei Komponenten:

Batch-spezifische inverse Neugewichtung: Berechnet Gewichte $w_c^*$ für Klassen, die im aktuellen Batch vorhanden sind, unter Verwendung der geschlossenen Formel-Lösung.
Makro-Ebenen-Neugewichtung: Führt einen frequenzbewussten Kompensationsfaktor $\beta_c \propto (B_c)^{-\gamma}$ ein, wobei $B_c$ die Anzahl der Batches ist, in denen Klasse $c$ aufgetreten ist. Dies stellt sicher, dass Schwanz-Klassen über den gesamten Trainingsprozess hinweg eine ausreichende kumulative Optimierungskraft erhalten.

Das endgültige effektive Gewicht ist $\hat{w}_c = \beta_c \cdot w_c^*$ .

3. Hauptbeiträge

Identifikation eines fehlenden Ziels: Der Artikel identifiziert, dass aktuelle Neugewichtungsstrategien eine definierte ideale Verlustverteilung vermissen lassen. Er schlägt gleichen durchschnittlichen Verlust pro Klasse als theoretisches Ziel vor, abgeleitet aus den geometrischen Einschränkungen des Neural Collapse.
Perspektive des inversen Problems: Er stellt das Neugewichten bei langschwänzigen Verteilungen als inverses Problem dar und leitet eine geschlossene Formel-Lösung ab, um dynamisch Klassengewichte abzuleiten, die das Ziel des gleichen Verlusts erfüllen.
Plug-and-Play-Algorithmus: Die vorgeschlagene Methode wird als batch-spezifischer Algorithmus mit geschlossener Formel implementiert, der in bestehende Frameworks für das Lernen bei langschwänzigen Verteilungen integriert werden kann.
Theoretische Begründung: Die Autoren liefern Beweise, die zeigen, dass ein persistierendes Verlust-Ungleichgewicht die Konvergenz zur idealen ETF-Geometrie verhindert, was das Ziel des gleichen Verlusts motiviert.

4. Experimentelle Ergebnisse

Die Methode wurde auf Standard-Benchmarks für langschwänzige Verteilungen evaluiert: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT und iNaturalist.

Leistung im Vergleich zu Neugewichtungs-Baselines: Auf CIFAR-100-LT (IF=100) erreichte die vorgeschlagene Methode eine Genauigkeit von 47,88 % und übertraf die Standard-Cross-Entropy (41,62 %) sowie andere Neugewichtungsstrategien wie Inv-Freq, CB, Focal und IB. Sie zeigte konsistente Verbesserungen über Ungleichgewichtsfaktoren (50, 100, 200).
Neural-Collapse-Metriken: Die Methode zeigte eine überlegene Wiederherstellung der NC-Geometrie. Sie erreichte niedrigere NC2-Werte (Abstand zum Simplex-ETF) und NC3-Werte (Abstand zur Selbstdualität) im Vergleich zu Baselines, was darauf hindeutet, dass die gelernten Merkmale und Klassifikatoren näher an der idealen symmetrischen Struktur lagen. Sie erreichte zudem den niedrigsten klassenspezifischen Verlust-Ungleichgewichtskoeffizienten ( $\rho$ ).
State-of-the-Art (SOTA)-Leistung: In Kombination mit starken Baselines (z. B. GLMC, ETF-DR) verbesserte die Methode die Leistung konsistent und erzielte SOTA-Ergebnisse auf CIFAR-100-LT (63,9 % mit GLMC+Loss+LR) und ImageNet-LT (57,6 % mit GLMC+Loss+LR).
Ablationsstudien: Experimente bestätigten, dass sowohl die batch-spezifische inverse Komponente als auch die Makro-Ebenen-Kompensation komplementär sind, wobei die Kombination die besten Ergebnisse liefert.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass durch die explizite Definition des gleichen durchschnittlichen Verlusts pro Klasse als Ziel für die Neugewichtung die Methode eine prinzipielle Alternative zu heuristischen Entwürfen bietet. Die Bedeutung liegt in:

Theoretische Ausrichtung: Direkte Verbindung der Neugewichtung mit den geometrischen Eigenschaften des Neural Collapse, was eine klare Erklärung dafür liefert, warum bestimmte Neugewichtungsstrategien funktionieren (oder scheitern), basierend auf ihrer Fähigkeit, das System in Richtung einer ETF-Struktur zu treiben.
Praktische Effizienz: Die geschlossene Formel-Lösung führt einen vernachlässigbaren rechnerischen Overhead ein, was sie im Vergleich zu Methoden, die zusätzliche Netzwerke oder komplexe Meta-Lernverfahren erfordern, hochgradig effizient macht.
Generalisierbarkeit: Die Methode fungiert als allgemeines Neugewichtungsmodul, das auf verschiedene bestehende Frameworks für das Lernen bei langschwänzigen Verteilungen angewendet werden kann (z. B. kontrastives Lernen, Zwei-Phasen-Methoden), um deren Leistung zu steigern.

Die Autoren schließen daraus, dass die Durchsetzung eines Verlustausgleichs eine fundamentale Voraussetzung für das Erreichen der idealen NC-Geometrie in unausgeglichenen Settings ist, und ihre Strategie aus inverser Sicht erreicht dieses Ziel effektiv.