Changing the Training Data Distribution to Reduce Simplicity Bias Improves In-distribution Generalization

Diese Arbeit stellt die Methode USEFUL vor, die durch gezieltes Upsampling von Beispielen, die auf Basis der frühen Netzwerkausgaben identifiziert werden, die Simplicity-Bias von Optimierungsalgorithmen wie GD und SAM reduziert und dadurch die Generalisierungsfähigkeit auf In-Distribution-Daten signifikant verbessert.

Das Wesentliche

Das Grundproblem: Der "faule Schüler" im Klassenzimmer

Stell dir vor, du unterrichtest einen sehr intelligenten, aber etwas faulen Schüler (das ist unser Künstliches Neuronales Netz). Du gibst ihm eine riesige Menge an Hausaufgaben (die Trainingsdaten), damit er lernt, Vögel von Autos zu unterscheiden.

Das Problem ist: Der Schüler ist extrem effizient. Er sucht sich immer den einfachsten Weg, um eine Aufgabe zu lösen.

• Wenn er ein Bild von einem Hund sieht, das auf grünem Gras liegt, merkt er sich nicht, wie der Hund aussieht. Er merkt sich nur: "Grüner Hintergrund = Hund".
• Wenn er ein Bild von einer Katze sieht, das auf rotem Teppich liegt, merkt er sich: "Roter Hintergrund = Katze".

Das nennt man Simplicity Bias (Voreingenommenheit für das Einfache). Der Schüler lernt nur die "schnellen" Merkmale (den Hintergrund), ignoriert aber die "schwierigen" Merkmale (die eigentliche Form des Tieres).

Das funktioniert super, solange die Prüfungsfragen (die Testdaten) genau so aussehen wie die Hausaufgaben (z. B. immer grüner Hintergrund für Hunde). Aber sobald der Schüler in einer echten Prüfung sitzt, wo Hunde auch auf blauem Himmel oder rotem Teppich sein können, versagt er komplett. Er hat nicht wirklich gelernt, sondern nur auswendig gelernt.

Die alte Lösung: "Schärferes Lernen" (SAM)

Wissenschaftler haben bereits eine Methode namens SAM (Sharpness-Aware Minimization) entwickelt. Man kann sich das wie einen strengen Lehrer vorstellen, der sagt: "Du darfst nicht nur die richtige Antwort geben, du musst sie auch so geben, dass sie auch funktioniert, wenn ich die Frage ein wenig verändere!"

Das zwingt den Schüler, tiefer zu graben und die echten Merkmale (die Form des Hundes) zu lernen, statt nur den Hintergrund. Das funktioniert sehr gut, kostet aber aber doppelt so viel Zeit und Energie, weil der Lehrer die Aufgaben doppelt durchgehen muss.

Die neue Lösung: "USEFUL" – Der clevere Hausaufgaben-Planer

Die Autoren dieses Papers haben sich gefragt: Können wir die Hausaufgaben selbst so umgestalten, dass der Schüler von sich aus lernt, tiefer zu graben, ohne dass wir ihn doppelt so lange quälen?

Ihre Antwort ist USEFUL (UpSample Early For Uniform Learning). Hier ist die Metapher:

1. Die Diagnose (Der erste Blick): Der Schüler lernt die ersten paar Tage. Der Lehrer schaut sich an, welche Aufgaben der Schüler sofort und leicht löst. Das sind die "einfachen" Beispiele (z. B. Hunde auf grünem Gras).
2. Die Trennung: Der Lehrer markiert diese leichten Beispiele als "Gruppe A" und die restlichen, etwas kniffligeren Beispiele (z. B. Hunde, die nur halb im Bild sind oder auf seltsamem Untergrund) als "Gruppe B".
3. Die Strategie (Das Upsampling): Der Lehrer sagt: "Okay, Gruppe A ist schon gut. Aber Gruppe B ist wichtig, damit du wirklich lernst!" Er kopiert die Aufgaben von Gruppe B und gibt sie dem Schüler zweimal so oft.
4. Das Ergebnis: Da der Schüler jetzt viel öfter mit den schwierigen, kniffligen Beispielen konfrontiert wird, muss er sich die echten Merkmale (die Form des Hundes) merken, um die Aufgaben zu lösen. Er lernt die "langsamen" Merkmale genauso schnell wie die "schnellen".

Warum ist das genial?

• Kein doppelter Aufwand: Im Gegensatz zu SAM muss der Schüler die Aufgaben nicht doppelt bearbeiten. Der Lehrer ändert nur die Zusammensetzung der Aufgabenblätter.
• Bessere Noten: Der Schüler lernt ausgewogener. Er wird nicht nur auf das Einfache trainiert, sondern versteht das Thema wirklich.
• Universell einsetzbar: Das funktioniert nicht nur mit dem strengen Lehrer (SAM), sondern auch mit dem normalen Lehrer (SGD). Und es funktioniert mit verschiedenen Architekturen (ResNet, VGG, etc.).

Zusammenfassung in einem Satz

Statt den Schüler doppelt so hart arbeiten zu lassen (wie bei SAM), ändern wir einfach die Reihenfolge und Häufigkeit der Hausaufgaben, damit er gezwungen ist, sich auch die schwierigen Dinge anzusehen, und lernt dadurch von selbst, besser zu generalisieren.

Das Paper zeigt, dass man durch eine kleine, kluge Änderung der Trainingsdaten (weniger "einfache" Beispiele, mehr "schwierige" Beispiele) die Leistung von KI-Modellen auf echten, unbekannten Daten massiv verbessern kann – und das oft sogar besser als die bisherigen State-of-the-Art-Methoden.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Frage, ob die Verteilung von sauberen Trainingsdaten gezielt verändert werden kann, um die Generalisierungsleistung von Modellen auf Daten derselben Verteilung (In-Distribution, ID) zu verbessern.

Hintergrund ist das Phänomen der Simplicity Bias (Vereinfachungsverzerrung) bei Optimierungsmethoden wie dem Gradient Descent (GD) oder Stochastic Gradient Descent (SGD). Diese Methoden neigen dazu, in frühen Trainingsphasen zunächst einfache, schnell erlernbare Merkmale („fast-learnable features") zu lernen und komplexe, langsam erlernbare Merkmale („slow-learnable features") erst später. Dies führt dazu, dass das Modell unterrepräsentierte, aber nützliche Merkmale vernachlässigt oder diese erst in späten Phasen überanpasst (overfitting), was die Generalisierungsfähigkeit beeinträchtigt.

Bisherige Ansätze konzentrierten sich entweder auf bessere Optimierer (wie Sharpness-Aware Minimization, SAM) oder auf das Filtern von verrauschten Daten. Es war jedoch unklar, ob eine Modifikation der Datenverteilung selbst, ohne Rauschen oder Verteilungsverschiebungen, die Generalisierung verbessern kann.

2. Methodik: USEFUL

Die Autoren schlagen eine Methode namens USEFUL (UpSample Early For Uniform Learning) vor. Das Ziel ist es, die Lerngeschwindigkeit verschiedener Merkmale zu vereinheitlichen, indem die Datenverteilung so angepasst wird, dass langsam erlernbare Merkmale früher und intensiver gelernt werden.

Der Algorithmus läuft in drei Schritten ab:

1. Identifikation (Clustering): Das Modell wird für eine kurze Anfangsphase (z. B. die ersten 5–10 % der Epochen) auf den Originaldaten trainiert. Anschließend werden die Ausgaben des Netzwerks für jede Klasse analysiert. Mithilfe von k-Means-Clustering werden die Beispiele in zwei Cluster unterteilt:
   • Ein Cluster mit ähnlichen, niedrigen Verlustwerten (enthält Beispiele mit schnell erlernbaren Merkmalen).
   • Ein Cluster mit höheren Verlustwerten (enthält Beispiele mit langsam erlernbaren Merkmalen).
2. Einmaliges Upsampling: Die Beispiele im Cluster mit den langsam erlernbaren Merkmalen werden einmalig hochskaliert (z. B. Faktor $k=2$). Dies erhöht deren Häufigkeit in der Trainingsverteilung.
3. Neustart: Das Training wird auf der modifizierten Datenverteilung von Grund auf neu gestartet.

Im Gegensatz zu dynamischen Re-Sampling-Methoden oder Reweighting während des gesamten Trainings, erfolgt die Anpassung hier nur einmalig zu einem frühen Zeitpunkt, um die Induktionsverzerrung des Optimierers zu korrigieren.

3. Theoretische Analyse und Beiträge

Ein wesentlicher Teil des Papers ist die theoretische Herleitung, die das Verhalten von Sharpness-Aware Minimization (SAM) im Vergleich zu GD untersucht.

• Vergleich GD vs. SAM: Die Autoren beweisen rigoros für ein zweischichtiges nichtlineares CNN, dass SAM Merkmale gleichmäßiger lernt als GD. Während GD stark von der Einfachheitsverzerrung betroffen ist und schnell erlernbare Merkmale dominiert, lernt SAM auch langsam erlernbare Merkmale in früheren Phasen mit einer gleichmäßigeren Geschwindigkeit.
• Separierbarkeit: Es wird bewiesen, dass Beispiele mit schnell erlernbaren Merkmalen früh im Training basierend auf der Modellausgabe von den restlichen Beispielen separierbar sind.
• Theorem 3.5 (Upsampling): Die Autoren zeigen theoretisch, dass das Erhöhen der Stärke langsam erlernbarer Merkmale (durch Upsampling) den Gradienten so verändert, dass er dem von SAM ähnlicher wird. Dies führt zu einer flacheren Loss-Landschaft und besseren Generalisierung.
• Neue Erkenntnis: Das Paper zeigt erstmals, dass die Reduzierung der Simplicity Bias nicht nur für Out-of-Distribution (OOD) Szenarien, sondern auch für In-Distribution (ID) Generalisierung vorteilhaft ist.

4. Experimentelle Ergebnisse

Die Methode wurde umfassend auf verschiedenen Datensätzen (CIFAR-10, CIFAR-100, STL-10, CINIC-10, Tiny-ImageNet) und Architekturen (ResNet, VGG, DenseNet, ViT, MLP) getestet.

• Leistungssteigerung: USEFUL verbessert die Testgenauigkeit sowohl bei SGD als auch bei SAM signifikant.
• State-of-the-Art (SOTA): In Kombination mit SAM und TrivialAugment (TA) erreicht das Paper SOTA-Ergebnisse für ResNet18 auf CIFAR-10, STL-10, CINIC-10 und Tiny-ImageNet sowie für ResNet34 auf CIFAR-100.
• Effizienz: Im Vergleich zu SAM, das die Trainingszeit verdoppelt, verursacht USEFUL nur einen geringen Overhead (ca. 1,3x bis 1,6x der Trainingszeit von SGD), da das Upsampling nur einmalig erfolgt.
• Vergleich mit Baselines: USEFUL übertrifft zufälliges Upsampling und andere Methoden zur Reduzierung der Simplicity Bias (wie EIIL oder JTT).
• Robustheit: Die Methode funktioniert auch bei verrauschten Labels (in Kombination mit MixUp) und zeigt Verbesserungen bei Long-Tail-Distributionen und OOD-Szenarien (z. B. Waterbirds-Datensatz), obwohl der Fokus auf ID-Generalisierung liegt.
• Analyse der Lösungseigenschaften: Modelle, die mit USEFUL trainiert wurden, weisen niedrigere $L_1$-Normen (sparsere Lösungen) und flachere Minima (niedrigere Hessian-Eigenwerte) auf, ähnlich wie bei SAM.

5. Bedeutung und Fazit

Das Paper leistet einen wichtigen Beitrag zum Verständnis der Induktionsverzerrungen in neuronalen Netzen. Die Hauptbeiträge sind:

1. Theoretischer Beweis: Der Nachweis, dass SAM Merkmale gleichmäßiger lernt als GD und dass dies durch eine gezielte Anpassung der Datenverteilung (Upsampling schwerer Beispiele) nachgeahmt werden kann.
2. Praktische Methode: Die Einführung von USEFUL, einer einfachen, recheneffizienten Technik, die die Generalisierungsfähigkeit von Standard-Optimierern (SGD) und fortschrittlichen Methoden (SAM) verbessert, ohne komplexe Architekturen oder lange Trainingszeiten zu benötigen.
3. Paradigmenwechsel: Die Erkenntnis, dass die Manipulation der Datenverteilung (selbst bei sauberen Daten) ein mächtiges Werkzeug ist, um Optimierungsverzerrungen zu korrigieren und bessere Lösungen zu finden.

Zusammenfassend demonstriert das Paper, dass durch das gezielte „Fördern" von schwierigen Beispielen in frühen Trainingsphasen die Einfachheitsverzerrung reduziert und die Generalisierungsleistung auf dem ursprünglichen Datendatensatz signifikant gesteigert werden kann. Der Code ist öffentlich verfügbar.