🤖 machine learning

XMix: Combating Extremely Noisy Labels via Local Smoothness in Self-Supervised Feature Space

MixX ist ein neuartiges Framework, das die lokale Glattheit in selbstüberwachten Merkmalsräumen nutzt, um Rauschraten zu schätzen, ausgewogene saubere Proben auszuwählen und zuverlässige Pseudo-Labels zu generieren, wodurch es bestehende Methoden bei der Handhabung extrem verrauschter Labels ohne vorheriges Wissen über das Rauschen signifikant übertrifft.

Ursprüngliche Autoren: Chengqi Li, Yangdi Lu, Zhihao Shi, Wenbo He, Chamseddine Talhi, Nadjia Kara

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengqi Li, Yangdi Lu, Zhihao Shi, Wenbo He, Chamseddine Talhi, Nadjia Kara

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Erkennen von Tieren beizubringen. Sie zeigen ihm tausende Bilder, aber hier ist der Haken: Die Etiketten auf den Bildern wurden von einem müden, abgelenkten oder sogar schalkhaften Menschen geschrieben. Manchmal wird ein Bild einer Katze als „Hund“ bezeichnet und ein Bild eines Autos als „Flugzeug“. Dies ist die chaotische Realität des „Lernens mit verrauschten Etiketten“ (Learning with Noisy Labels). In der Welt der künstlichen Intelligenz benötigen Modelle normalerweise perfekte Daten, um zu lernen, aber in der realen Welt sind perfekte Daten selten und teuer. Wissenschaftler versuchen, Roboter zu bauen, die in der Lage sind, die schlechten Etiketten zu ignorieren und aus den guten zu lernen, aber wenn das Rauschen sehr hoch wird – etwa wenn 90 % der Etiketten falsch sind – geben die meisten Roboter einfach auf oder werden verwirrt.

Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem. Es stellt eine neue Methode namens XMix vor. Betrachten Sie es als einen Detektiv, der den auf den Dateien stehenden Etiketten nicht einfach blind vertraut. Stattdessen betrachtet er die Bilder selbst, um zu sehen, welche ihnen ähnlich „sehen“, also in eine Gruppe gehören könnten. Wenn ein Bild einer Katze sehr ähnlich wie andere Bilder von Katzen im Gedächtnis des Roboters aussieht, nimmt der Detektiv an, dass sie alle Katzen sind, selbst wenn die Etiketten etwas anderes sagen. Dieser Ansatz nutzt ein Konzept namens „lokale Glätte“ (local smoothness), was eine schicke Art zu sagen ist: „Dinge, die sich ähnlich sehen, gehören meistens in dieselbe Gruppe.“ Durch die Anwendung dieser Logik versucht XMix, das Chaos aufzuräumen und den Roboter viel besser zu lehren als bisherige Methoden, insbesondere wenn die Daten ein totales Desaster sind.

Das Problem: Ein Klassenzimmer voller Unruhestifter

Stellen Sie sich ein Klassenzimmer vor, in dem ein Lehrer versucht, Schülern das Identifizieren verschiedener Obstsorten beizubringen. Der Lehrer hat einen Stapel Lernkarten, aber eine Gruppe von Unruhestiflern hat die Etiketten vertauscht. Einige Äpfel sind als „Bananen“ beschriftet und einige Orangen als „Trauben“.

In der Vergangenheit hatten kluge Computerprogramme (genannt Deep-Learning-Modelle) einen Trick in der Hinterhand, den sogenannten „Memorization Effect“ (Auswendiglern-Effekt). Sie studierten die Karten und stellten fest: „Hey, ich bin wirklich gut darin, das Etikett für diese spezifische Karte zu erraten, aber bei jener bin ich schlecht.“ Sie nahmen an, dass diejenigen, die sie gut erraten konnten, die echten (sauberen) Daten waren und diejenigen, bei denen sie Schwierigkeiten hatten, die Lügen der Unruhestifter (verrauschte Daten) waren.

Aber hier liegt das Problem: Wenn die Unruhestifter völlig ausrasten und 90 % der Etiketten vertauschen, wird der Computer verwirrt. Er kann nicht mehr zwischen einem echten Apfel und einer als Apfel beschrifteten Banane unterscheiden. Zudem passiert es oft, dass der Computer nur eine einzige Obstsorte lernt und die anderen ignoriert, was ihn schlecht darin macht, die gesamte Vielfalt zu erkennen. Er benötigt eine neue Strategie, die nicht darauf angewiesen ist, genau zu wissen, wie viele Unruhestifter im Raum sind.

Die Lösung: XMix und die „Ähnlichkeits-Regel“

Hier kommt XMix, der neue Detektiv, ins Spiel. Anstatt nur auf die geschriebenen Etiketten zu schauen, nutzt XMix eine spezielle Brille (einen selbstüberwachten Merkmals-Encoder), um die visuellen Details der Frucht zu betrachten. XMix weiß, dass eine rote, runde Frucht mit einem Stiel einer anderen roten, runden Frucht mit einem Stiel sehr ähnlich sieht.

So löst XMix die drei großen Probleme:

1. Das Rauschniveau ohne Spickzettel erraten
Normalerweise müssen diese Computerprogramme genau wissen, wie viele Etiketten falsch sind (z. B. „50 % sind falsch“), um ihre Regeln festzulegen. Wenn sie falsch schätzen, scheitern sie. XMix benötigt diesen Spickzettel nicht. Es betrachtet eine Frucht und ihre engsten „ähnlichen“ Nachbarn in der Welt der Bilder. Wenn die Nachbarn alle unterschiedliche Etiketten haben, berechnet XMix: „Wow, das Rauschen muss hier wirklich hoch sein.“ Es verwendet einen mathematischen Trick namens „Maximum Likelihood“ (maximale Plausibilität), um das Rauschniveau automatisch zu schätzen. Es ist wie ein Detektiv, der einen Tatort betrachtet und sagt: „Basierend auf den vielen zerbrochenen Fenstern würde ich schätzen, dass dies ein Aufstand war“, ohne einen Polizeibericht zu benötigen.

2. Mehr gute Schüler finden (Ausgewogene & Erweiterte Auswahl)
Wenn das Rauschen extrem ist, finden die alten Methoden nur wenige „saubere“ Stichproben (gute Schüler) zum Lernen. XMix sagt: „Warte, wenn wir einen guten Apfel gefunden haben und er exakt so aussieht wie diese fünf anderen Äpfel in der Nähe, dann vertrauen wir auch diesen fünf!“ Es erweitert die Gruppe der vertrauenswürdigen Stichproben, indem es auch dessen Nachbarn einschließt.
Entscheidend ist auch, dass es das Problem des „Klassenungleichgewichts“ (class imbalance) behebt. Wenn die Unruhestifter alle „Bananen“-Etiketten versteckt haben, könnte der Computer aufhören, Bananen zu lernen. XMix bemerkt dies und sagt: „Wir brauchen mehr Bananen!“ Es sucht noch weiter nach Bananen-Ähnlichen, um sicherzustellen, dass jede Frucht eine faire Chance bekommt, studiert zu werden. Dies stellt sicher, dass der Roboter eine ausgewogene Ernährung an Wissen erhält und nicht nur eine Lieblingsfrucht lernt.

3. Besseres Raten für das Unbekannte
Für die Karten, bei denen es sich immer noch unsicher ist (die verrauschten), rät XMix nicht einfach zufällig. Es fragt die Nachbarn: „Was glaubt ihr, was das ist?“ Es nimmt die Meinungen der vertrauenswürdigsten Nachbarn (der sauberen Proben) und bildet den Durchschnitt, um ein „Pseudo-Label“ (ein Best-Guess-Etikett) zu erstellen. Dies ist vergleichbar mit der Frage an eine Gruppe von Experten, was ein mysteriöses Objekt ist. Da die Experten danach ausgewählt werden, wie sehr sie dem Objekt ähneln, ist ihre Stimme viel zuverlässiger als eine bloße Zufallswahl.

Was sie fanden: Den Widerstand brechen

Die Forscher testeten XMix auf berühmten Bilddatensätzen wie CIFAR-10 und CIFAR-100, die Bilder von Autos, Flugzeugen, Tieren und mehr enthalten. Sie haben die Etiketten absichtlich manipuliert, um extreme Szenarien zu schaffen:

90 % symmetrisches Rauschen: Stellen Sie sich vor, 90 von 100 Etiketten sind völlig zufällig.
98 % Rauschen: Fast alles ist eine Lüge.

Unter diesen brutalen Bedingungen begannen die bisherigen Methoden (wie DivideMix und ProMix) zu bröckeln. Zum Beispiel erreichte die bisher beste Methode (DivideMix) bei CIFAR-10 mit 90 % Rauschen nur etwa 76 % Genauigkeit. XMix hingegen steigerte dies auf 91,2 %. Bei CIFAR-100 mit 95 % Rauschen erreichte die alte Methode nur 19,1 %, während XMix 31,4 % erreichte.

Das Papier zeigt, dass XMix nicht nur ein kleines bisschen besser funktioniert, sondern gerade dann glänzt, wenn die Situation am verzweifeltesten ist. Es identifizierte erfolgreich viel mehr „echte saubere“ Stichproben als die alten Methoden, manchmal sogar doppelt oder dreifach so viele gute Beispiele, von denen der Roboter lernen konnte.

Das Urteil

XMix beweist, dass man nicht das exakte Ausmaß des Chaos in seinen Daten kennen muss, um es zu bereinigen. Indem es den visuellen Ähnlichkeiten zwischen Bildern vertraut – also die „lokale Glätte“ des Merkmalsraums nutzt – kann es seine Strategie automatisch anpassen, mehr gute Daten finden und den Roboter lehren, das Rauschen zu ignorieren.

Die Autoren legen nahe, dass diese Methode ein bedeutender Schritt nach vorn ist, insbesondere für reale Szenarien, in denen Daten chaotisch sind und wir keine manuelle Anleitung haben, wie schlimm sie sind. Obwohl es kein Zauberstab ist, der alles perfekt behebt (es macht immer noch einige Fehler, besonders wenn das Rauschen niedrig ist und die Erweiterung nicht nötig wäre), übertrifft es konsistent die aktuellen State-of-the-Art-Methoden in den anspruchsvollsten, hochgradig verrauschten Umgebungen. Es verwandelt ein chaotisches Klassenzimmer voller Unruhestifter in einen Ort, an dem Lernen dennoch möglich ist.

Technisches Resümee: XMix

Problemstellung

Überwachte Deep-Learning-Modelle hängen stark von großen, präzise annotierten Datensätzen ab. Annotationen sind jedoch aufgrund menschlicher Limitationen und automatisierter Systeme unvermeidlich fehlerhaft, was zum Problem der „Learning with Noisy Labels“ (LNL) führt. Während aktuelle State-of-the-Art-Methoden dies durch Stichproben-Selektionsstrategien adressieren (die den Memorierungseffekt nutzen, um saubere Daten für das semi-überwachte Lernen zu filtern), stehen sie vor signifikanten Einschränkungen:

Extremer Rauschen: Sie haben Schwierigkeiten, wenn die Rauschraten sehr hoch sind (z. B. >80 %), und scheitern oft daran, eine ausreichend große saubere Teilmenge zu identifizieren.
Klassenimbalance: Die ausgewählten sauberen Stichproben sind oft über die Klassen hinweg imbalanciert, da einige Klassen leichter zu lernen sind als andere.
Abhängigkeit von Vorwissen: Viele Methoden erfordern eine sorgfältige Hyperparameter-Optimierung oder Vorwissen über die Rauschrate/Verteilung, um effektiv zu bleiben.
Informationsvernachlässigung: Bestehende Ansätze verlassen sich auf die gemeinsame Verteilung von Bildern und verrauschten Labels und ignorieren dabei oft die reichhaltigen, rauschunabhängigen Informationen, die den Bildern selbst eigen sind (z. B. visuelle Ähnlichkeiten).

Methodik: XMix

Die Autoren schlagen XMix vor, ein Framework, das die lokale Glattheit im selbstüberwachten Merkmalsraum nutzt, um alle Phasen des Stichproben-Selektionsprozesses zu verbessern, ohne auf potenziell korrupte Labels angewiesen zu sein. Die Methode verwendet einen vortrainierten selbstüberwachten Encoder (DINOv2), um Merkmale zu extrahieren und $k$ -nächste Nachbarn für jede Stichprobe zu identifizieren.

Das Framework operiert durch drei primäre Mechanismen, die in eine Standard-Stichproben-Selektions-Baseline (z. B. DivideMix oder ProMix) integriert sind:

1. Klassenspezifische Rauschraten-Schätzung

Anstatt eine Kenntnis der Rauschrate vorauszusetzen, schätzt XMix die Rauschrate adaptiv:

Mechanismus: Es wird davon ausgegangen, dass Stichproben, die im Merkmalsraum nah beieinander liegen, dasselbe wahre Label teilen (Glattheitsannahme). Es berechnet die empirische Wahrscheinlichkeit der Label-Übereinstimmung unter den nächsten Nachbarn einer Stichprobe.
Korrektur: Da die beobachteten Labels verrauscht sind, ist die rohe Übereinstimmungsrate verzerrt. Die Autoren passen ein quadratisches Korrekturmodell an (kalibriert auf synthetischen Daten), um diese Verzerrung zu korrigieren.
Verwendung: Die resultierende Schätzung ist nicht darauf ausgelegt, eine präzise Wiederherstellung der wahren Rauschrate zu sein, aber sie ist genau genug, um den Datensatz in diskrete Rauschregime (niedrig, moderat, hoch, extrem) zu kategorisieren. Diese Kategorisierung steuert automatisch die Auswahl der Hyperparameter (Schwellenwerte und Selektionsverhältnisse) für das Baseline-Modell.

2. Balancierte und erweiterte Stichproben-Selektion

XMix erweitert den Satz der identifizierten sauberen Stichproben über das Standard-Low-Loss-Kriterium hinaus:

Erweiterung: Wenn eine Stichprobe als sauber identifiziert wird (niedriger Loss), werden auch ihre Nachbarn im Merkmalsraum ( $G^k_i$ ), die dasselbe beobachtete Label teilen, zum sauberen Satz ( $D^+_{clean}$ ) hinzugefügt.
Balancierung: Um die Klassenimbalance zu adressieren, wendet die Methode eine andere Regel für unterrepräsentierte Klassen an. Für diese Klassen werden $2k$ nächste Nachbarn statt $k$ betrachtet, was die Rückgewinnung von mehr Beispielen aus einer breiteren Nachbarschaft ermöglicht.
Effekt: Diese Strategie erhöht das Volumen der verfügbaren sauberen Stichproben für das semi-überwachte Lernen, insbesondere unter extremem Rauschen, wo Standardmethoden nicht genügend saubere Daten finden.

3. Nearest-Neighbor-Pseudo-Labeling

Während der Phase des semi-überwachten Lernens generiert XMix zuverlässigere Pseudo-Labels für die ungelabelten (verrauschten) Daten:

Mechanismus: Anstatt sich allein auf die Vorhersage des Modells zu verlassen, aggregiert es die Vorhersagen der Nachbarn im Merkmalsraum einer ungelabelten Stichprobe.
Gewichtung: Vorhersagen von Nachbarn, die als „sauber“ identifiziert wurden, werden höher gewichtet (Gewicht = 2) als die von Nachbarn, die noch als „verrauscht“ gelten (Gewicht = 1).
Integration: Diese gewichteten Pseudo-Labels werden in einem MixMatch-ähnlichen Trainingsloop verwendet, der gelabelte und pseudo-gelabelte Daten mischt, um die Robustheit zu verbessern.

Zentrale Beiträge

Das Paper skizziert vier Hauptbeiträge:

Klassenspezifische Rauschraten-Schätzung: Eine adaptive Methode zur Schätzung von Rauschpegeln innerhalb von Merkmalsnachbarschaften mittels Maximum-Likelihood, was eine automatische Hyperparameter-Anpassung ohne Vorwissen über das Rauschen ermöglicht.
Balancierte und erweiterte Stichproben-Selektion: Eine Strategie zur Erweiterung des sauberen Stichproben-Sets unter Nutzung von Merkmalsnachbarn, die mehr saubere Stichproben unter extremem Rauschen zurückgewinnt und die Klassenimbalance mildert.
Nearest-Neighbor-Pseudo-Labeling: Ein Mechanismus zur Generierung präziserer Pseudo-Labels durch Nutzung vertrauenswürdiger lokaler Informationen im Merkmalsraum.
Empirische Validierung: Nachweise, dass XMix die Leistung von Stichproben-Selektions-Baselines über mehrere LNL-Benchmarks hinweg konsistent steigert, mit besonders großen Verbesserungen unter schwerem Label-Rauschen.

Experimentelle Ergebnisse

Die Autoren evaluierten XMix sowohl auf synthetischen als auch auf realen verrauschten Datensätzen (CIFAR-10, CIFAR-100, CIFAR-10N, CIFAR-100N, ANIMAL-10N, Mini-WebVision).

Performance bei extremem Rauschen: Auf CIFAR-10 und CIFAR-100 mit symmetrischen Rauschraten von 90 % und 95 % übertrifft XMix Baselines wie DivideMix und UNICON signifikant. Beispielsweise erreichte XMix (ProMix+) auf CIFAR-10 mit 90 % Rauschen eine Genauigkeit von 92,7 % im Vergleich zu 51,3 % bei DivideMix.
Real-World-Benchmarks: XMix erreichte State-of-the-Art-Ergebnisse auf ANIMAL-10N (90,3 % Genauigkeit) und kompetitive Ergebnisse auf Mini-WebVision und ILSVRC12.
Ablationsstudien:
- Das Entfernen der Balanced & Expanded (B&E) Selektion oder des Nearest Neighbor (NN) Pseudo-Labelings führte zu einer merklichen Leistungsverschlechterung, insbesondere unter hohem Rauschen.
- Die Leistungssteigerungen wurden primsär den Clustering- und Filtermechanismen im Merkmalsraum zugeschrieben und nicht der spezifischen Stärke des Encoders (DINOv2 vs. SimCLR).
- Das Paper stellt fest, dass bei niedrigeren Rauschraten der Nutzen der Erweiterung marginal ist und die Methode gelegentlich False Positives einführen kann, der Gesamteffekt jedoch positiv bleibt.

Bedeutung und Ansprüche

Das Paper behauptet, dass XMix eine einfache, aber robuste Lösung für das LNL-Problem bietet. Seine primäre Bedeutung liegt in der Fähigkeit:

Effektiv ohne Vorwissen über die Rauschrate oder -verteilung zu operieren.
Die Stichproben-Selektion systematisch zu verbessern, indem es rauschunabhängige visuelle Muster (lokale Glattheit) statt nur auf Verlustwerten nutzt.
Eine überlegene Performance in Szenarien mit extremem Label-Rauschen zu liefern, in denen bestehende Methoden nicht konvergieren oder nicht genügend saubere Daten auswählen können.
Leicht mit bestehenden Stichproben-Selektions-Frameworks kompatibel zu sein, indem es als Plug-in-Erweiterung zur Verbesserung der Resilienz und Balance fungiert.

Die Autoren betonen, dass die Rauschraten-Schätzung zwar ein „grober“ Leitfaden für die Hyperparameter-Auswahl und keine präzise Wiederherstellung der Grundwahrheit ist, sie jedoch genau genug ist, um Datensätze in die korrekten operativen Regime einzuordnen, wodurch ein wesentlicher Engpass der aktuellen LNL-Forschung beseitigt wird.