Technische Zusammenfassung: DAMEL – Dual-Axis Multi-Expert Learning für das Lernen bei Klassenungleichgewicht

1. Problemstellung

Tiefe neuronale Netze (DNN) haben häufig Schwierigkeiten mit dem Lernen bei Klassenungleichgewicht (CIL), wie es in realen langschwanzigen Verteilungen vorkommt. Während bestehende CIL-Techniken (z. B. Resampling, Umgewichtierung, entkoppeltes Lernen) die Vorhersageverzerrung zugunsten der Mehrheitsklassen erfolgreich reduzieren, führen sie häufig zu einem Kompromiss: einer Erhöhung der Vorhersagevarianz.

Neuere Algorithmen für Multi-Expert-Learning versuchen, diese Varianz durch das Training mehrerer Experten zu mindern. Diese Methoden verlassen sich jedoch typischerweise auf komplexe, mehrstufige Verfahren, die Wissensdistillation oder spezifische Strategien zur Aufteilung der Daten beinhalten. Darüber hinaus aggregieren bestehende Multi-Expert-Ansätze im Allgemeinen die Vorhersagen mehrerer Experten, was die vielfältigen Merkmalsrepräsentationen, die von jedem Experten gelernt wurden, möglicherweise nicht voll ausschöpft.

2. Methodik: DAMEL

Die Autoren schlagen DAMEL (Dual-Axis Multi-Expert Learning) vor, einen konzeptionell einfachen, einstufigen Algorithmus, der sowohl die quadrierte Verzerrung als auch die Vorhersagevarianz reduziert, indem er mehrere Experten entlang zweier unterschiedlicher Achsen nutzt: der Repräsentationsachse und der Zeitachse.

Architektur und Training

• Gemeinsamer Backbone: DAMEL nutzt $K$ Experten, die einen tiefen CNN-Backbone (bis zum letzten residualen Block) teilen, um die Rechenkosten zu minimieren. Jeder Experte verfügt über einen eigenen letzten residualen Block und eine Klassifikationsschicht.
• Ensemble der Repräsentationsachse:
  • Anstatt Repräsentationen zu mitteln oder finale Vorhersagen zu aggregieren, verkettet DAMEL die Repräsentationsvektoren ($z_k$) aller $K$ Experten.
  • Ein auxiliärer ausgeglichener Klassifikator wird auf diesen verketteten Repräsentationen unter Verwendung eines klassenausgeglichenen Verlusts trainiert (der den Kreuzentropieverlust umgekehrt proportional zur Klassenhäufigkeit umgewichtet).
  • Entscheidend werden die Gradienten aus dem klassenausgeglichenen Verlust nur zum auxiliären Klassifikator zurückpropagiert, während der Backbone und die einzelnen Expertenköpfe über den Standard-Kreuzentropieverlust trainiert werden. Dies ermöglicht es dem auxiliären Klassifikator, komplementäre Merkmale aller Experten zu nutzen, ohne den Backbone zu zwingen, eine einzelne, potenziell kompromittierte Repräsentation zu lernen.
  • Das gesamte System (Experten + auxiliärer Klassifikator) wird End-to-End trainiert, wodurch die in anderen CIL-Methoden zu beobachtenden Trends des entkoppelten Trainings vermieden werden.

Ensemble der Zeitachse

• Um die Varianz weiter zu reduzieren, aggregiert DAMEL die Netzwerkgewichte über die Trainings-Epochen hinweg mittels eines Exponentiellen Gleitenden Durchschnitts (EMA).
• Update auf Epochenbasis: Im Gegensatz zum herkömmlichen Iterations-level-EMA oder Stochastic Weight Averaging (SWA) aktualisiert DAMEL die EMA-Gewichte ($\theta_{EMA}$) erst am Ende jeder Epoche. Diese Strategie erhöht die Vielfalt der aggregierten Gewichte, indem sichergestellt wird, dass aufeinanderfolgende Updates weniger korreliert sind und somit mehr unterschiedliche Modellzustände erfasst werden.
• Inferenz: Während der Testphase werden Vorhersagen ausschließlich mit dem auxiliären Klassifikator unter Verwendung der aggregierten $\theta_{EMA}$-Gewichte getroffen. Die individuellen Experten-Vorhersagen werden für die endgültige Ausgabe nicht verwendet.

3. Hauptbeiträge

Die Arbeit hebt fünf primäre Beiträge hervor:

1. Ensemble der Repräsentationsachse: Ein neuer Mechanismus, der Expertenrepräsentationen durch Verkettung statt durch Mittelung der Vorhersagen aggregiert und es einem auxiliären Klassifikator ermöglicht, vielfältige, komplementäre Merkmale mehrerer Experten zu nutzen.
2. Erhaltung der Vielfalt: Der Nachweis, dass die Verkettung von Repräsentationen nicht lediglich eine Erhöhung der Dimensionalität darstellt, sondern ein Mechanismus ist, um die expertenspezifische Vielfalt der Repräsentationen zu bewahren und diskriminierende Hinweise gemeinsam zu nutzen.
3. Ensemble der Zeitachse: Die Einführung einer Strategie zur Aggregation von EMA-Gewichten auf Epochenbasis, die sich vom Iterations-level-EMA und SWA unterscheidet und zeitlich aggregierte Gewichte als zusätzliche Ensemble-Achse behandelt, um die Vorhersagevarianz zu reduzieren.
4. End-to-End-Auxiliärer Klassifikator: Das Design eines auxiliären, ausgeglichenen Klassifikators, der auf verketteten Repräsentationen mit einem klassenausgeglichenen Verlust trainiert wird, was die Verzerrung zugunsten der Mehrheitsklassen reduziert und gleichzeitig vielfältige Merkmale in einer einzigen Trainingsphase nutzt.
5. Empirische Validierung: Umfassende Experimente und Ablationsstudien, die zeigen, dass der Dual-Axis-Ansatz sowohl die quadrierte Verzerrung als auch die Vorhersagevarianz gemeinsam reduziert und bestehende Multi-Expert- und CIL-Algorithmen übertrifft.

4. Experimentelle Ergebnisse

DAMEL wurde auf vier Benchmark-Datensätzen evaluiert: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT und iNaturalist2018.

• Leistung: DAMEL erzielte auf allen Datensätzen und bei allen Ungleichgewichtsverhältnissen ($\gamma = 10, 50, 100$) State-of-the-Art-Leistung. Beispielsweise erreichte DAMEL mit 4 Experten auf CIFAR-100-LT ($\gamma=100$) eine Gesamtgenauigkeit von 53,1 % und übertraf damit starke Baselines wie RIDE (49,1 %), ACE (49,6 %) und TLC (49,8 %).
• Verzerrungs-Varianz-Kompromiss: Die quantitative Analyse der quadrierten Verzerrung und Varianz zeigte, dass DAMEL beide Metriken erfolgreich gleichzeitig reduzierte. Während Umgewichtierungstechniken die Verzerrung reduzierten, aber die Varianz erhöhten, und Multi-Expert-Methoden die Varianz reduzierten, senkte der Dual-Axis-Ansatz von DAMEL beide.
• Ablationsstudien:
  • Das Entfernen der EMA-Gewichte oder der Repräsentationsverkettung verschlechterte die Leistung erheblich.
  • Die Verkettung von Repräsentationen schnitt besser ab als die Aggregation von Vorhersagen.
  • Epochen-level-EMA schnitt besser ab als Iterations-level-EMA und einfaches SWA, was die Bedeutung der Update-Häufigkeit für den Aufbau eines effektiven Ensembles der Zeitachse bestätigt.
  • Kapazitätskontrollierte Studien bewiesen, dass die Leistungsgewinne auf Experten-Vielfalt und nicht einfach auf eine erhöhte Modellkapazität oder Merkmalsdimensionalität zurückzuführen sind.
• Robustheit: Die Methode blieb effektiv, wenn sie mit starken Daten-Augmentierungstechniken (AutoAugment, Cutout) kombiniert wurde, und zeigte Stabilität über verschiedene Hyperparameter-Einstellungen hinweg (Anzahl der Experten, EMA $\beta$, Skalierung des Klassifikators).

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass DAMEL eine konzeptionell einfache, aber hochwirksame Lösung für den Verzerrungs-Varianz-Kompromiss beim Lernen bei Klassenungleichgewicht bietet. Durch die Vermeidung komplexer mehrstufiger Distillation oder Datenaufteilung erreicht DAMEL eine überlegene Genauigkeit durch einen einstufigen Trainingsprozess.

Die Arbeit betont, dass die Dual-Axis-Strategie die Kerninnovation darstellt:

• Die Repräsentationsachse stellt sicher, dass der Klassifikator Zugriff auf eine reichhaltige, vielfältige Menge von Merkmalen hat, was die Verzerrung reduziert.
• Die Zeitachse (via Epochen-level-EMA) stabilisiert das Modell und reduziert die Varianz durch das Mitteln von Gewichten aus diversen Optimierungszuständen.

Die Autoren schließen, dass ihre aktuelle Auswahl der Hyperparameter zwar heuristisch ist, das vorgeschlagene Framework jedoch einen universellen und robusten Ansatz für CIL bietet, der die Einschränkungen sowohl traditioneller Umgewichtierungstechniken als auch bestehender Multi-Expert-Algorithmen effektiv mindert.