🤖 machine learning

Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

Das Paper stellt TRACE vor, ein Framework, das die Bewertung von beobachteten Labels und Pseudo-Targets durch den Einsatz distinkter Zuverlässigkeitsmetriken entkoppelt, um die im Noisy-Label-Learning verbreitete Falle zu verhindern, bei der die Korrektur eines unzuverlässigen Signals unbeabsichtigt ein anderes verstärkt.

Ursprüngliche Autoren: Wenxiao Fan, Kan Li

Veröffentlicht 2026-08-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenxiao Fan, Kan Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Tiere zu erkennen, indem Sie ihm tausende Fotos zeigen. Aber hier ist der Haken: Ein schelmischer Kobold hat einige der Namen auf den Etiketten falsch aufgeschrieben. Ein Bild einer Katze könnte als „Hund“ beschriftet sein, und ein Hund als „Katze“. Dies ist die Welt des „Noisy-Label Learning“ (Lernen mit verrauschten Labels), eine knifflige Ecke der Informatik, in der Maschinen versuchen, die Wahrheit zu lernen, selbst wenn ihre Lehrer lügen.

Um dies zu beheben, haben Wissenschaftler eine clevere Strategie namens „Refurbishment“ entwickelt. Denken Sie an einen Schüler, der eine Prüfung schreibt. Wenn der Schüler sich bei einer Antwort unsicher ist, rät er nicht einfach; er schaut in seine eigenen Notizen (das aktuelle Wissen des Modells), um zu sehen, was er glaubt, die Antwort sein sollte. Die alte Methode bestand darin, einen einzigen „Vertrauensmesser“ sowohl für das Etikett des Lehrers als auch für die Vermutung des Schülers zu verwenden. Wenn der Meter sagte: „Vertraue dem Lehrer nicht“, sagte das System automatisch: „Großartig, vertraue stattdessen der Vermutung des Schülers!“ Es ging davon aus, dass, wenn eine Quelle schlecht war, die andere gut sein musste. Aber was, wenn die Notizen des Schülers auch falsch sind? Was, wenn der Roboter die falsche Antwort vom Lehrer gelernt hat und nun selbstbewusst denselben Fehler wiederholt? Das ist die Gefahr, die diese Arbeit untersucht.

Die Forscher hinter dieser Studie, Wenxiao Fan und Kan Li vom Beijing Institute of Technology, entdeckten, dass dieser „Alles-oder-Nichts“-Vertrauensschalter gefährlich ist. Sie nennen das Problem „Ersetzen von Rauschen durch Rauschen“. Stellen Sie sich einen Detektiv vor, der, nachdem er bemerkt hat, dass ein Zeuge lügt, sofort zu einem zweiten Zeugen wechselt, der direkt neben dem Lügner stand und dieselben Lügen gehört hat. Der zweite Zeuge sagt nicht unbedingt die Wahrheit; er könnte die erste Person nur nachahmen.

Die Arbeit zeigt, dass in der Deep-Learning-Technik, wenn ein Modell durch verrausste Labels verwirrt wird, seine „tieferen“ Schichten (die Teile des Gehirns, die komplexes Denken vollziehen) durcheinandergeraten und anfangen, die falschen Dinge zu glauben. Die „flacheren“ Schichten (die Teile, die einfache Formen und Kanten sehen) bleiben jedoch relativ ruhig und stabil. Die alten Methoden vertrauten blind den durcheinandergeratenen tiefen Schichten, um die Labels zu korrigieren, was die Fehler oft nur noch schlimmer machte.

Um dies zu lösen, schlagen die Autoren ein neues Framework namens TRACE vor. Anstatt einen einzigen Vertrauensmesser für alles zu verwenden, nutzt TRACE zwei separate, unabhängige Prüfungen.

Den Lehrer prüfen: Es betrachtet das ursprüngliche Etikett anhand von drei Hinweisen: wie gut das Modell zu den Daten passt, wie stabil die Grundformen sind (die flachen Schichten) und ob zwei verschiedene „Schüler-Modelle“ bei der Antwort übereinstimmen.
Die Vermutung des Schülers prüfen: Es betrachtet die eigene Vermutung des Modells anhand eines völlig anderen Hinweises: wie sicher sich das Modell bei dieser spezifischen Vermutung ist.

Die Magie von TRACE liegt darin, dass es nicht davon ausgeht, dass der Schüler richtig ist, wenn der Lehrer falsch liegt. Es fragt: „Ist der Lehrer falsch?“ UND „Ist der Schüler tatsächlich richtig?“ Wenn der Lehrer falsch liegt, der Schüler aber auch nur wild herumrät, sagt TRACE: „Moment mal, lassen Sie uns beiden gerade nicht vertrauen.“ Es verwendet die Vermutung des Schülers nur dann, um das Etikett zu korrigieren, wenn der Schüler wirklich selbstbewusst und zuverlässig ist.

Das Team testete diese Idee auf einer Vielzahl von unordentlichen Datensätzen, einschließlich synthetischem Rauschen (bei dem sie die Labels absichtlich verdreht haben) und echten, unordentlichen Daten wie Fotos aus dem Internet. Sie fanden heraus, dass TRACE konsistent besser abschnitt als bisherige Methoden. Beispielsweise verbesserte TRACE auf einem Datensatz namens CIFAR-100, bei dem 50 % der Labels falsch waren, die Genauigkeit der besten bestehenden Methode um etwa 1,16 Prozentpunkte. Wichtiger noch: Es reduzierte die Anzahl der „High-Confidence-Errors“ – jene Momente, in denen der Roboter sich absolut sicher ist, dass er recht hat, aber eigentlich falsch liegt.

Kurz gesagt legt diese Arbeit nahe, dass wir beim Lernen aus unordentlichen Daten nicht einfach nur eine unzuverlässige Quelle durch eine andere ersetzen sollten. Wir müssen jede Quelle unabhängig voneinander prüfen. Indem TRace das Vertrauen, das wir in die Original-Labels setzen, von dem Vertrauen trennt, das wir in die eigenen Korrekturen des Modells setzen, hilft TRACE Robotern, die Wahrheit zu lernen, ohne von ihren eigenen Fehlern getäuscht zu werden. Es ist eine Erinnerung daran, dass im Bereich der KI die beste Art, eine Lüge zu korrigieren, manchmal darin besteht, nicht davon auszugehen, dass die nächste Vermutung automatisch die Wahrheit ist.

Technische Zusammenfassung: TRACE – Zwei-Quellen-Zuverlässigkeitsbewertung zur Label-Korrektur und Stichproben-Umgewichtung

Problemstellung

Aktuelle Methoden des Lernens mit verrauschten Labels (Noisy-Label Learning), insbesondere solche, die auf der Label-Refurbishment (Label-Erneuerung) basieren (z. B. DivideMix, SELFIE, RoLR), verlassen sich auf einen „Einheitsmechanismus“. Diese Methoden interpolieren typischerweise zwischen einem beobachteten verrauschten Label und einem modellbasierten Pseudo-Ziel unter Verwendung eines einzigen, stichprobenweisen Reinheits-Scores. Dies erzeugt eine versteckte Kopplung: Die Verringerung des Vertrauens in das beobachtete Label führt automatisch zu einer Erhöhung des Gewichts des Pseudo-Ziels.

Die Autoren argumentieren, dass diese Kopplung das Risiko birgt, „Rauschen durch Rauschen zu ersetzen“. Da das Pseudo-Ziel von einem Modell generiert wird, das auf derselben korrumpierten Überwachung trainiert wurde, kann es die verrauschten Biases des Modells erben. Folglich besteht das Risiko, dass das System, wenn ein beobachtetes Label als unzuverlässig eingestuft wird, blind einem Pseudo-Ziel vertraut, das gleichermaßen oder sogar stärker fehlerhaft ist. Eine empirische Analyse auf CIFAR-100N zeigt, dass Pseudo-Ziele selbst in „High-Clean“-Bins in 99,7 % der Fälle dem verrauschten beobachteten Label folgen, während sie gleichzeitig nur bei 74,7 % der Stichproben korrekt sind – oft mit hoher Konfidenz.

Methodik: Das TRACE-Framework

Das Paper schlägt TRACE (Two-Source Reliability Assessment) vor, ein Framework, das die Zuverlässigkeitsbewertung der zwei Überwachungsquellen entkoppelt: das beobachtete Label und das Pseudo-Ziel. Anstatt eines einzelnen Skalars, der beide Zweige steuert, berechnet TRACE unabhängige Scores ( $s^{obs}_i$ und $s^{pseudo}_i$ ), um die Zweig-Gewichte zu bestimmen.

1. Vorläufige Analyse & Motivation
Die Autoren liefern Diagnosen auf Repräsentationsebene, um die Trennung der beiden Quellen zu rechtfertigen:

Tiefenabhängige Bias: Verrauschte Überwachung stört tiefere Netzwerkschichten stärker als flachere Schichten. Gradienten-Sensitivität und Prototyp-Flipping (bei dem falsch gelabelte Stichproben mit falschen Klassen-Ankern korrelieren) nehmen in tieferen Schichten mit steigender Rauschrate signifikant zu.
Flache Stabilität: Flache Relationen bleiben unter Rauschen vergleichsweise stabil und liefern Informationen über die Korrektheit des beobachteten Labels, die durch rein verlustbasierte Metriken nicht erfasst werden.
Fazit: Die Ablehnung eines beobachteten Labels rechtfertigt nicht das Vertrauen in ein Pseudo-Ziel, das aus tiefen, verrauschten Repräsentationen abgeleitet wurde. Umgekehrt kann die flache strukturelle Stabilität die Zuverlässigkeit des beobachteten Labels präzisieren, ohne das Pseudo-Ziel zu zertifizieren.

2. Der TRACE-Algorithmus
TRACE modifiziert den Standard-Refurbishment-Loss $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ durch die Einführung quellspezifischer Gewichte:
$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$
Das finale korrigierte Ziel ist $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ .

Zuverlässigkeit des beobachteten Labels ( $s^{obs}_i$ ):
Dieser Score kombiniert drei Signale, um das beobachtete Label $\hat{y}_i$ zu bewerten:
- Loss Fit ( $c^{loss}_i$ ): Die Standard-Small-Loss-Prior (Wahrscheinlichkeit, „clean“ zu sein).
- Flache Relationsstabilität ( $c^{str}_i$ ): Misst die Stabilität lokaler Relationen in flachen Schichten über die Netzwerk-Tiefe hinweg. Eine hohe Stabilität deutet darauf hin, dass die Repräsentation der Stichprobe mit sauberen Prototypen übereinstimmt, selbst wenn der Verlust hoch ist.
- Vorhersage-Übereinstimmung ( $g^{agr}_i$ ): Ein Konsistenz-Gate basierend auf der Übereinstimmung zwischen zwei Netzwerken.
  Diese werden zu einem gewichteten Score kombiniert, der den Verlust-Posterior verfeinert.
Zuverlässigkeit des Pseudo-Ziels ( $s^{pseudo}_i$ ):
Dieser Score bewertet das Pseudo-Ziel $q_i$ unabhängig. Er leitet sich ausschließlich aus der Modell-Konfidenz (maximale Wahrscheinlichkeit des Pseudo-Ziels) ab, die mit der Potenz $\rho$ erhöht wird, um Vorhersagen mit niedriger Konfidenz zu unterdrücken. Entscheidend ist: Ein niedriger Score für das beobachtete Label ( $s^{obs}_i$ ) erzeugt zwar einen Bedarf an Korrektur, aber der Pseudo-Zweig wird nur aktiviert, wenn auch $s^{pseudo}_i$ hoch ist.

3. Trainingsprozess
Das Framework passt die Überwachungsstärke $w_i$ für jede Stichprobe basierend auf der Summe der Zweig-Gewichte ( $a_i + b_i$ ) an. Stichproben, bei denen weder Quelle zuverlässig ist, erhalten geringere Gewichte, während zuverlässige beobachtete Labels dominant bleiben.

Wesentliche Beiträge

Identifizierung des Risikos „Rauschen durch Rauschen ersetzen“: Das Paper identifiziert und demonstriert formal, dass die Verwendung eines einzigen Reinheits-Scores zur Steuerung sowohl des beobachteten Labels als auch des Pseudo-Ziels zur Propagation von Rauschen führt, da das Pseudo-Ziel kein externer Oracle ist, sondern ein Produkt desselben korrumpierten Trainingsprozesses.
TRACE-Framework: Der Vorschlag eines Plug-in-Mechanismus zur Zwei-Quellen-Zuverlässigkeitsbewertung, der die Evaluierung von beobachteten Labels und Pseudo-Zielen entkoppelt. Es nutzt die flache strukturelle Stabilität für Ersteres und unabhängiges Konfidenz-Gating für Letzteres.
Empirische Validierung: Umfangreiche Experimente zeigen, dass TRACE die Leistung mehrerer State-of-the-Art-Refurbishment-Baselines unter synthetischem Rauschen, menschlich annotiertem Rauschen (CIFAR-N) und großflächigem realweltlichem Rauschen (WebVision, Food-101N, Clothing1M) verbessert.

Experimentelle Ergebnisse

Synthetisches Rauschen (CIFAR-10/100): TRACE verbessert die Performance mehrerer State-of-the-Art-Baselines (DivideMix, RoLR, DISC, ANNE) unter symmetischen, Paar- und instanzabhängigen Rausch-Settings. Beispielsweise erreicht ANNE+TRACE bei CIFAR-100 mit 40 % Paar-Rauschen eine Genauigkeit von 79,3 % im Vergleich zu 78,4 % für ANNE allein.
Realweltliches Rauschen: Auf CIFAR-10N und CIFAR-100N verbessert TRACE konsistent die Ergebnisse oder erreicht die besten berichteten Werte. Auf Clothing1M erreicht DivideMix+TRACE eine Genauigkeit von 77,6 %, was die Baseline DivideMix (74,8 %) und andere Plug-in-Methoden übertrifft.
Qualität der Pseudo-Ziele: Die Analyse zeigt, dass TRACE die Genauigkeit der für die Korrektur verwendeten Pseudo-Ziele signifikant verbessert, insbesondere bei „Low-Clean + Noisy“-Stichproben. Es reduziert High-Confidence-Fehler (z. B. von 8,93 % auf 6,16 % auf CIFAR-100) und senkt den Kalibrierungsfehler, was darauf hindeutet, dass die ausgewählten Pseudo-Ziele nicht nur häufiger, sondern auch zuverlässiger sind.
Ablationsstudien: Das Entfernen der Entkopplung (Rückkehr zu einem einzelnen Score) oder das Entfernen des Pseudo-Target-Konfidenz-Gates ( $s^{pseudo}_i$ ) führt zu messbaren Leistungsabfällen, was die Notwendigkeit der unabhängigen Bewertung bestätigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass TRACE eine sicherere Schnittstelle für das Lernen mit verrauschten Labels bietet, indem es den grundlegenden Mismatch aktueller Refurbishment-Methoden adressiert. Durch die Trennung der Evidenz, die zur Bewertung des beobachteten Labels verwendet wird, von der Evidenz für das Pseudo-Ziel, verhindert TRACE, dass das System blind ein unzuverlässiges Signal durch ein anderes ersetzt. Die Autoren betonen, dass ihr Ansatz kein neues Lernziel oder einen neuen Pseudo-Ziel-Generator erfordert, sondern als modularer Zuverlässigkeitsfilter fungiert, der bestehende Refurbishment-Pipelines verbessert. Die Ergebnisse stützen die Ansicht, dass eine quellspezifische Zuverlässigkeitsbewertung essenziell für robustes Lernen in Gegenwart von Label-Rauschen ist.