🤖 machine learning

Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing

Dieses Paper schlägt eine zweistufige Stichproben-Scoring-Funktion vor, welche die Lern-Dynamik von Kern- und Scheinmerkmalen entkoppelt, um informative Daten Teilmengen zu identifizieren und zu priorisieren, wodurch Standardmodelle mit nur 10 % der ursprünglichen Trainingsdaten eine überlegene Debiasing-Leistung erreichen können, ohne dass Gruppenlabels erforderlich sind.

Ursprüngliche Autoren: Arda Fazla, Abolfazl Hashemi

Veröffentlicht 2026-06-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arda Fazla, Abolfazl Hashemi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Cheat-Code“ der KI

Stellen Sie sich vor, Sie bringen einem Kind bei, Vögel zu erkennen. Sie zeigen ihm 100 Bilder.

90 Bilder zeigen Spechte, die auf Bäumen stehen.
10 Bilder zeigen Spechte, die im Wasser stehen (vielleicht angeln sie gerade).

Wenn Sie das Kind fragen: „Was ist das für ein Vogel?“, während Sie auf einen Specht auf einem Baum zeigen, wird es wahrscheinlich sagen: „Specht.“ Aber hier liegt die Falle: Das Kind schaut nicht wirklich auf den Schnabel oder die Federn des Vogels (die Kernmerkmale). Es schaut auf den Baum (das spure (scheinbare) Merkmal).

Das Kind hat einen „Cheat-Code“ gelernt: Wenn ich einen Baum sehe, ist es ein Specht.

Zeigen Sie dem Kind nun ein Bild eines Spechts auf einem See. Da das Kind sich auf den „Baum-Cheat-Code“ verlässt, wird es verwirrt sein und vielleicht sagen: „Das ist kein Specht!“ oder einen ganz anderen Vogel erraten.

In der Welt der KI nennt man das eine spure Korrelation (spurious correlation). Die KI lernt das einfache, offensichtliche Muster (den Hintergrund) anstatt des schwierigen, wichtigen Musters (das eigentliche Objekt). Dies führt dazu, dass die KI scheitert, wenn sie auf etwas stößt, das das Muster durchbricht (wie einen Vogel auf dem Wasser).

Die alte Lösung vs. das neue Problem

Forscher haben versucht, dies zu beheben, indem sie die „leichten“ Fotos wegwarfen und nur die „schwierigen“ behielten (die Vögel auf dem Wasser), um die KI zu zwingen, die echten Merkmale zu lernen.

Es gibt jedoch einen Haken: Um dies zu tun, müssen Sie normalerweise wissen, welche Fotos „schwierig“ und welche „leicht“ sind. Dies erfordert, dass ein Mensch jedes einzelne Foto mit einem geheimen Tag versieht (z. B. „Dies ist ein Vogel auf dem Wasser“). In der realen Welt verfügen wir jedoch selten über diese Labels.

Darüber hinaus argumentiert das Paper, dass die Werkzeuge, die wir normalerweise verwenden, um „schwierige“ Fotos zu finden, fehlerhaft sind. Sie betrachten die Fehler der KI und sagen: „Dieses Foto ist schwierig, weil die KI es falsch gemacht hat.“ Aber wenn die KI bereits mit dem Hintergrund schummelt, wird sie die „leichten“ Fotos (Vögel auf Bäumen) nur dann falsch machen, wenn der Hintergrund fehlt, und die „schwierigen“ Fotos durch Zufall richtig erkennen. Die alten Werkzeuge werden verwirrt und wählen die falschen Fotos aus, die man behalten sollte.

Die neue Lösung: Der „Zweistufige Detektiv“

Die Autoren schlagen eine neue Methode namens TCSL-CS vor. Betrachten Sie dies als einen zweistufigen Detektivprozess, der keine menschlichen Labels benötigt, um die „Betrüger“ zu finden.

Schritt 1: Der „Bias-Detektiv“ (Training des Spurious-Modells)

Zuerst trainieren sie eine spezielle KI, die darauf ausgelegt ist, schlecht darin zu sein, auf den Vogel zu schauen, aber großartig darin, auf den Hintergrund zu schauen.

Sie trainieren dieses Modell, geben ihm aber eine besondere Belohnung: „Wenn du die Antwort allein durch den Hintergrund richtig errätst, bekommst du einen Bonuspunkt.“
Dies zwingt das Modell dazu, den „Cheat-Code“ (den Hintergrund) so schnell wie möglich zu lernen.
Sob'n nach dem Training dieses Modells schauen sie sich die Fotos an. Wenn der „Bias-Detektiv“ bei einem Foto sehr sicher ist, bedeutet das, dass das Foto ein starkes, offensichtliches Hintergrundmuster hat. Wenn der Detektiv verwirrt ist, bedeutet das, dass der Hintergrund knifflig oder nicht vorhanden ist.

Schritt 2: Der „Wahrheits-Detektiv“ (Training des Core-Modells)

Als Nächstes trainieren sie ein zweites Modell, um die echten Vogelmerkmale zu lernen.

Hier ist der clevere Teil: Sie sagen diesem zweiten Modell: „Ignoriere den Hintergrund. Wir wissen bereits, wie der Hintergrund aussieht (aus Schritt 1), also werden wir dieses Wissen von deiner Aufgabe abziehen.“
Dies zwingt das zweite Modell, sich ausschließlich auf den Schnabel und die Federn des Vogels zu konzentrieren, da das „Rauschen“ des Hintergrunds herausgefiltert wurde.

Schritt 3: Die Bewertung (TCSL)

Nun haben die Autoren zwei Werte für jedes einzelne Foto:

Spurious Score (Scheinbarer Wert): Wie sehr hat das Foto auf den Hintergrund gesetzt? (Aus Schritt 1).
Core Score (Kern-Wert): Wie schwierig war es, den Vogel zu identifizieren, nachdem der Hintergrund ignoriert wurde? (Aus Schritt 2).

Sie verwenden diese Werte, um einen neuen, kleineren Trainingsdatensatz (einen Coreset) zu erstellen. Sie wählen Fotos aus, die:

Einen niedrigen Spurious Score haben (was bedeutet, dass der Hintergrund kein Cheat-Code ist).
Einen hohen Core Score haben (was bedeutet, dass der Vogel tatsächlich schwer zu identifizieren ist, sodass die KI ihn gut lernen muss).

Das Ergebnis: Ein kleinerer, klügerer Datensatz

Die Autoren testeten dies auf mehreren Datensätzen (wie der Identifizierung von Vögeln auf Land vs. Wasser oder Katzen vs. Hunden in verschiedenen Umgebungen).

Die Magie: Es gelang ihnen, 90 % der ursprünglichen Trainingsdaten wegzuwerfen.
Das Ergebnis: Sie nahmen die verbleibenden 10 % der „besten“ Fotos (ausgewählt durch ihren Zwei-Stufen-Detektiv) und trainierten eine Standard-KI auf diesen.
Der Sieg: Dieser winzige, kuratierte Datensatz ließ die KI besser abschneiden als komplexe, teure KI-Methoden, die menschliche Labels erfordern. Die KI hörte auf, mit Hintergründen zu schummeln, und begann, die Objekte tatsächlich zu erkennen, selbst in schwierigen Situationen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie bereiten sich auf eine Geschichtsprüfung vor.

Der alte Weg: Sie lernen jede einzelne Seite des Lehrbuchs. Sie merken sich: „Seite 50 hat ein Bild einer roten Flagge“, also raten Sie bei jeder Frage „Rote Flagge“. Sie scheitern, wenn die Frage etwas über eine blaue Flagge ist.
Der Weg des Papers: Sie engagieren einen Tutor, der Ihnen zuerst beibringt, den „Rote-Flagge-Trick“ zu erkennen (Schritt 1). Dann sagt der Tutor Ihnen: „Ignoriere jetzt die Flaggen und lerne stattdin die tatsächlichen Daten und Namen“ (Schritt 2).
Das Ergebnis: Der Tutor gibt Ihnen ein Spickzettel mit nur den 10 wichtigsten, schwierigsten Fragen (Schritt 3). Sie lernen nur diese 10 Fragen und bestehen die Prüfung mit Bravour, weil Sie die echte Geschichte kennen und nicht nur die Bilder.

Das Paper behauptet, dass man durch diesen „Zweistufigen“ Ansatz, bei dem die besten 10 % der Daten ausgewählt werden, eine robuste KI aufbauen kann, ohne die geheimen Labels zu kennen oder komplexe mathematische Tricks anzuwenden.

Technisches Resümee: Abmilderung von Scheinkorrelationen durch Gedächtnisgestützte Datensatz-Debiasing-Methoden

Problemstellung

Reale Datensätze enthalten häufig Scheinkorrelationen (spurious correlations) – Merkmale, die innerhalb einer Klasse zwar sehr konsistent sind, aber nicht kausal mit dem Ziel-Label zusammenhängen. Deep-Learning-Modelle, die mittels Empirischer Risiko-Minimierung (ERM) trainiert werden, zeigen oft einen Simplicity Bias (Einfachheits-Bias), indem sie diese einfacheren Scheinmerkmale vor den komplexeren Kernmerkmalen (core features) erlernen. Dies führt zu einer schlechten Worst-Group Accuracy (WGA) auf Testdaten, bei denen die Scheinkorrelationen nicht mehr halten, insbesondere bei Minderheitsgruppen, bei denen das Scheinattribut vom Label abweicht.

Während bestehende Ansätze zur Milderung dieser Verzerrung oft von der Standard-ERM abweichen, indem sie komplexe Optimierungstechniken verwenden oder Zugriff auf Gruppenlabels (Scheinattribute) benötigen, besteht ein Bedarf an Methoden, die die Abhängigkeit von Scheinkorrelationen reduzieren können, während sie das Standard-ERM-Training beibehalten. Eine potenzielle Lösung liegt in der Coreset-Selektion – der Konstruktion hochwertiger Teilmengen von Daten, die die volle Trainingsverteilung repräsentieren. Das Paper argumentt jedoch, dass weit verbreitete Scoring-Funktionen für Stichproben (z. B. EL2N, SelfSup) und Coreset-Selektionsalgorithmen in diesem Kontext versagen. Aufgrund des Simplicity Bias werden diese Scoring-Funktionen von Scheinmerkmalen dominiert, wodurch Stichproben mit starken Scheinkorrelationen als „einfach“ und Stichproben ohne diese als „schwierig“ klassifiziert werden. Folglich scheitern Standard-Selektionsstrategien daran, die schwierigen Kernmerkmale zu priorisieren, die für die Gruppenrobustheit notwendig sind.

Methodik

Die Autoren schlagen TCSL-CS (Two-Stage Cumulative Sample Loss-guided Coreset Selection) vor, ein Framework, das darauf ausgelegt ist, die Lernmechanismen von Kern- und Scheinmerkmalen zu entkoppeln, ohne Gruppenlabels zu benötigen.

1. Theoretische Grundlage

Das Paper liefert eine theoretische Analyse unter dem Neural Tangent Kernel (NTK)-Regime und einem Spiked-Covariance-Modell. Es zeigt auf, dass unter der Simplicity-Bias-Bedingung ( $\beta_s(2\alpha - 1) > \beta_c$ , wobei $\beta$ die Merkmalsstärke und $\alpha$ den Anteil der Mehrheitsgruppe darstellt) Scheinmerkmale während der frühen Trainingsphasen signifikant schneller gelernt werden als Kernmerkmale. Dieses schnelle Lernen führt dazu, dass die Stichprobenverluste (und damit die Standard-Scores) von dem Scheinattribut dominiert werden, was sie für die Identifizierung von Stichproben mit schwierigen Kernmerkmalen unwirksam macht.

2. Zweistufiges Modelltraining

Um diese Dynamiken zu entkoppeln, führen die Autoren ein zweistufiges Trainingsschema ein (Algorithmus 1):

Stufe 1 (Spurious Model, $f_s$ ): Ein verzerrtes Modell wird trainiert, um ausschließlich Scheinmerkmale zu lernen. Dies wird erreicht, indem Proben mit dem geringsten Verlust in jeder Epoche höher gewichtet werden, was das Lernen von Proben verstärkt, bei denen das Scheinattribut mit dem Label übereinstimmt ( $a=y$ ).
Stufe 2 (Core Model, $f_c$ ): Die Gewichte von $f_s$ werden eingefroren. Ein Kernmodell wird unter Verwendung einer modifizierten Verlustfunktion trainiert, die den Logit des Spurious-Modells als negativen Feedback-Mechanismus einbezieht:
$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$
Dies zwingt $f_c$ , die Kernmerkmale zu lernen, indem es die Vorhersagen des verzerrten Modells kompensiert.

3. Two-Stage Cumulative Sample Loss (TCSL)

Basierend auf den trainierten Modellen definieren die Autoren eine neue Scoring-Metrik, TCSL, die aus zwei Komponenten besteht:

$TCSL_s(x)$ : Der kumulative Verlust des Spurious-Modells $f_s$ . Hohe Scores deuten auf Stichproben hin, bei denen das Scheinmerkmal schwach oder mit dem Label nicht in Einklang ist.
$TCSL_c(x)$ : Der kumulative Verlust des Core-Modells $f_c$ . Dieser Score spiegelt die Schwierigkeit der Kernmerkmale wider, unabhängig vom Scheinattribut.

4. TCSL-CS Algorithmus

Der Coreset-Selektionsalgorithmus (Algorithmus 2) operiert in zwei Stufen, um eine robuste Teilmenge zu konstruieren:

Identifizierung von Proben mit hoher Spuriousität: Mittels wKMeans auf den $TCSL_s$ -Scores und Verlustkurven identifiziert der Algorithmus eine Gruppe von Stichproben ( $G_{high}$ ), die eine hohe scheinbedingte Schwierigkeit aufweisen (d. h. Stichproben, denen starke Scheinkorrelationen fehlen). Eine Teilmenge dieser wird ausgewählt, um sicherzustellen, dass das Coreset herausfordernde Minderheits-ähnliche Stichproben enthält.
Auffüllen des verbleibenden Kontingents: Die verbleibenden Plätze werden aus der Mehrheitsgruppe ( $G_{low}$ $G_{l o w}$ ) basierend auf den $TCSL_c$ $T C S L_{c}$ -Scores aufgefüllt.
- Wenn das Selektionsverhältnis $r$ hoch ist ( $r \geq \tau$ ), wählt der Algorithmus Stichproben mit den niedrigsten $TCSL_c$ -Scores (einfachste Kernmerkmale), um die Durchschnittsgenauigkeit zu maximieren.
- Wenn $r$ niedrig ist ( $r < \tau$ ), verwendet der Algorithmus eine histogrammbasierte Selektion (SelectHist), um aus Bins unterschiedlicher $TCSL_c$ -Schwierigkeit zu sampeln, wodurch die Diversität der Kernmerkmals-Schwierigkeit gewährleistet und der Ausschluss harter Kernmerkmale verhindert wird.

Zentrale Beiträge

TCSL Score: Eine neuartige Metrik, die die Lernschwierigkeit von Kern- und Scheinmerkmalen separat quantifiziert und somit das Versagen bestehender Scores unter dem Einfluss des Simplicity Bias adressiert.
TCSL-CS Algorithmus: Eine Gruppen-robuste Coreset-Selektionsmethode, die eine hohe Worst-Group Accuracy erreicht, ohne Zugriff auf Gruppenlabels zu benötigen. Sie nutzt den TCSL-Score, um Coresets zu konstruieren, die eine Balance zwischen durchschnittlicher Genauigkeit und Worst-Group-Performance herstellen.
Theoretische Analyse: Eine rigorose Analyse unter dem NTK-Regime, die beweist, dass Scheinmerkmale die frühen Lernmechanismen dominieren, was erklärt, warum Standard-verlustbasierte Scores in verzerrten Settings versagen.
Empirische Überlegenheit: Der Nachweis, dass ein Standard-ERM-Modell, das auf dem TCSL-CS Coreset trainiert wurde, die State-of-the-Art-Debiasing-Techniken (einschließlich jener, die Gruppenlabels erfordern) übertrifft, während es nur 10 % der ursprünglichen Trainingsdaten verwendet.

Experimentelle Ergebnisse

Die Autoren evaluierten TCSL-CS auf vier Datensätzen, die für Scheinkorrelationen bekannt sind: Waterbirds, cMNIST, MetaShift und UrbanCars-B.

Performance vs. Debiasing-Baselines: Auf Waterbirds verbesserte TCSL-CS die WGA eines Standard-ERM-Modells um 10,44 % und übertraf damit GroupDRO (welches Gruppenlabels benötigt) sowie andere Debiasing-Methoden wie LC, DFR und JTT. Auf cMNIST (wo Scheinkorrelationen extrem stark sind, $\alpha=0,995$ ) übertraf TCSL-CS die nächstbeste Methode um über 11 %.
Performance vs. Coreset-Selektions-Baselines: TCSL-CS übertraf Standard-Coreset-Selektionsmethoden (EL2N, SelfSup, Random, D2) auf allen Datensätzen signifikant. Beispielsweise erreichten EL2N-basierte Methoden auf Waterbirds WGA-Scores von nur 39,88 %, während TCSL-CS 91,91 % erreichte.
Dateneffizienz: Die Methode erreichte State-of-the-Art-Performance unter Verwendung von nur 10 % der Trainingsdaten.
Ablationsstudien: Experimente bestätigten, dass $TCSL_s$ und $TCSL_c$ Schein- und Kernmerkmals-Schwierigkeiten erfolgreich entkoppeln, was sich durch eine hohe Kosinus-Ähnlichkeit mit Scores zeigt, die von ausschließlich auf Schein- bzw. Kernmerkmalen trainierten Modellen abgeleitet wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass TCSL-CS einen skalierbaren und prinzipienbasierten Ansatz zur Debiasing bietet. Im Gegensatz zu vielen existierenden Methoden, die komplexe Optimierungen oder Gruppenlabels erfordern, bietet TCSL-CS folgende Vorteile:

Beibehaltung von Standard-ERM: Es ermöglicht die Verwendung von Standard-ERM-Training auf dem selektierten Coreset, wodurch spezialisierte Verlustfunktionen oder Optimierungsverfahren während der finalen Trainingsphase vermieden werden.
Reduktion des Rechenaufwands: Durch die Auswahl einer kleinen Teilmenge (z. B. 10 %) wird die Rechenlast des Trainings großer Modelle erheblich reduziert, da der aufwendige Schritt der Coreset-Selektion einmalig durchgeführt wird und die resultierende Teilmenge wiederverwendet werden kann.
Generalisierbarkeit: Die selektierten Coresets sind architekturoffensiv und liefern konsistente Leistungssteigerungen über verschiedene Modell-Backbones (ResNet, Inception, DenseNet) hinweg.

Die Autoren positionieren ihre Arbeit als den ersten Coreset-Selektionsalgorithmus, der speziell darauf ausgelegt ist, sowohl eine hohe durchschnittliche als auch eine hohe Worst-Group Accuracy in Abwesenheit von Gruppenlabels zu erreichen, wodurch der negative Einfluss des Simplicity Bias auf die Datenselektion effektiv gemildert wird.