A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Technische Zusammenfassung: Relabeler – Ein datenzentriertes Framework zur Erkennung und Korrektur korrupter Labels

Problemstellung
Die Leistung von Modellen des maschinellen Lernens (ML) und des Deep Learning (DL) hängt grundlegend von der Qualität der Trainingsdaten ab. In der Praxis enthalten groß angelegte Datensätze häufig „Label-Rauschen“ (Label Noise) – Instanzen, denen aufgrund von Fehlern beim Crowdsourcing oder bei der automatisierten Annotation falsche Labels zugewiesen wurden. Die berichteten Rauschraten in realen Datensätzen bewegen sich zwischen 8 % und 38,5 %. Solches Rauschen beeinträchtigt die Genauigkeit und Zuverlässigkeit von Modellen erheblich. Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien unterteilen: modellzentriert (Verbesserung der algorithmischen Robustheit) und datenzentriert (Verbesserung der Datensatzqualität). Die meisten existierenden datenzentrierten Methoden behandeln die Label-Erkennung und die Label-Korrektur jedoch als getrennte Aufgaben. Zudem konzentrieren sich viele bestehende Lösungen primär darauf, verrauschte Instanzen zu identifizieren, um sie zu verwerfen oder neu zu gewichten, anstatt explizit die korrekten Labels zu inferieren und zu reparieren. Diese Trennung begrenzt die Fähigkeit, die intrinsischen Beziehungen zwischen Eingangsmerkmalen, verrauschten Labels und sauberen Labels innerhalb eines einheitlichen Frameworks voll auszuschöpfen.

Methodik: Das Relabeler-Framework
Die Autoren schlagen Relabeler vor, ein end-to-end datenzentriertes Framework, das darauf ausgelegt ist, korrupte Labels durch zwei integrierte Phasen zu erkennen und zu korrigieren:

1. Erkennung korrupter Labels (Corrupted Label Detection)
Diese Phase partitioniert einen verrauschten Datensatz $\tilde{D}$ in eine saubere Teilmenge ($D_{clean}$) und eine verdächtige Teilmenge ($D_{suspicious}$), indem sowohl lokale als auch globale Instanzbeziehungen genutzt werden.

• Lokale Verifizierung: Das Framework verwendet den k-Nearest-Neighbors (k-NN) Algorithmus, um die Konsistenz des Labels einer Instanz mit den Labels ihrer unmittelbaren Nachbarn im Merkmalsraum zu untersuchen. Instanzen, deren Labels mit der Mehrheit ihrer Nachbarn konsistent sind, werden vorläufig als sauber klassifiziert.
• Globale Verifizierung: Um die Einschränkungen der lokalen Analyse (z. B. nahe an Klassengrenzen) zu adressieren, trainiert Relabeler iterativ ein Klassifikationsmodell ($M_{clean}$) auf den aktuell identifizierten sauberen Instanzen. Dieses Modell erfasst breitere, globale Muster. Instanzen in der verdächtigen Menge werden neu bewertet; wenn ihre ursprünglichen Labels mit den Vorhersagen von $M_{clean}$ übereinstimmen, werden sie zu $D_{clean}$ verschoben. Dieser iterative Prozess setzt sich fort, bis keine weiteren sauberen Instanzen mehr identifiziert werden können.

2. Korrektur korrupter Labels (Corrupted Label Correction)
Für Instanzen, die in $D_{suspicious}$ verbleiben, schätzt Relabeler das wahrscheinlichste saubere Label ($y^*$), indem die posteriore Wahrscheinlichkeit $P(y | x, \tilde{y})$ maximiert wird, wobei $x$ das Eingangsmerkmal und $\tilde{y}$ das beobachtete verrauschte Label ist. Mittels Bayes'scher Inferenz wird dies so umformuliert, dass zwei komplementäre Faktoren kombiniert werden:

• Vorhersage des sauberen Labels ($P(y|x)$): Ein auf $D_{clean}$ trainiertes Modell $M_{clean}$ schätzt die Wahrscheinlichkeit eines Labels basierend auf den Eingangsmerkmalen.
• Schätzung des verrauschten Labels ($P(\tilde{y}|x, y)$): Ein Modell $M_{noisy}$ schätzt die Wahrscheinlichkeit, ein spezifisches verrauschtes Label gegeben das Eingangsmerkmal und ein Kandidaten-Sauber-Label zu beobachten.
  • Training von $M_{noisy}$: Da keine Ground-Truth-Transitionsdaten verfügbar sind, trainiert Relabeler einen „Noise Simulator“ ($M_{simulator}$) auf $D_{suspicious}$, um die spezifischen Rauschmuster des Datensatzes zu erlernen. Dieser Simulator generiert synthetische verrauschte Labels für Instanzen in $D_{clean}$ und erstellt so einen Transitions-Datensatz, der zum Training von $M_{noisy}$ verwendet wird.
• Inferenz: Das endgültige reparierte Label wird durch die Integration der Vorhersagen von sowohl $M_{clean}$ als auch $M_{noisy}$ bestimmt, wodurch sichergestellt wird, dass die Korrektur sowohl die semantische Merkmalsausrichtung als auch die statistischen Muster der Label-Korruption berücksichtigt.

Kernbeiträge

• Einheitliches Framework: Die Einführung von Relabeler, einem End-to-End-System, das Detektion und Korrektur gemeinsam durchführt und damit die Lücke schließt, in der Detektion und Korrektion typischerweise als getrennte Aufgaben behandelt werden.
• Bayes'sche Integration: Ein neuartiger Ansatz zur Label-Korrektur, der sowohl die Verteilung der sauberen Labels als auch die Rausch-Transitionswahrscheinlichkeit modelliert, anstatt sich rein auf merkmalsbasierte Vorhersage oder heuristische Abstimmung zu verlassen.
• Iterative Verfeinerung: Ein Detektionsmechanismus, der die Menge der sauberen Daten iterativ verfeinert, um ein globales Verifizierungsmodell zu trainieren, was die Präzision der Identifizierung verdächtiger Instanzen verbessert.

Experimentelle Ergebnisse
Die Autoren evaluierten Relabeler auf fünf diversen Datensätzen (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE), die Bild-, Text- und Quellcode-Klassifikation abdecken. Das Framework wurde gegen State-of-the-Art-Baselines verglichen, spezifisch Docta (mit Voting- und Ranking-Varianten).

• Präzision der Label-Korrektur: Relabeler übertraf die Baselines konsistent und erreichte eine bis zu 58 % Steigerung der Label-Korrektur-Präzision über verschiedene Datensätze und Rauschraten (20 % und 40 %) hinweg. Beispielsweise erreichte Relabeler beim Agnews-Datensatz mit 40 % Rauschen eine Präzision von 89,47 % gegenüber 61,43 % für Docta-R.
• Reduktion der Fehlerrate: Das Framework reduzierte die verbleibende Fehlerrate in den reparierten Datensätzen signifikant. Auf CIFAR-10 mit 40 % Rauschen reduzierte Relabeler die Fehlerrate auf 7,48 %, während Baselines Raten von über 23 % beibehielten.
• Robustheit: Relabeler demonstrierte eine überlegene Leistung über verschiedene Rauschtypen hinweg, einschließlich symmetrischem, asymmetrischem und instanzabhängigem Rauschen. Es behielt eine hohe Präzision und niedrige Fehlerraten selbst unter komplexen, gemischten Rauschszenarien bei, in denen Baselines Schwierigkeiten hatten.
• Downstream-Nutzen: Das Training nachgeschalteter Modelle (MLP-Klassifikatoren) auf durch Relabeler reparierten Datensätzen lieferte die höchste Genauigkeit und gewichtete F1-Scores. Auf dem Agnews-Datensatz verbesserte Relabeler die Downstream-Genauigkeit auf 75,50 %, einen relativen Gewinn von ca. 6 % gegenüber dem ursprünglichen verrauschten Datensatz, und übertraf damit sowohl den Originaldatensatz als auch die durch Docta reparierten Datensätze.
• Komponentenanalyse: Ablationsstudien bestätigten, dass die Integration des Noisy Label Estimators ($M_{noisy}$) mit dem Clean Label Predictor ($M_{clean}$) entscheidend ist und eine bis zu 50 % relative Verbesserung der Präzision im Vergleich zur alleinigen Verwendung von $M_{clean}$ liefert.

Bedeutung und Ansprüche
Das Paper behauptet, dass Relabeler eine kritische Lücke im datenzentrierten Lernen schließt, indem es über die einfache Detektion hinaus zu einer expliziten, prinzipienbasierten Label-Reparatur übergeht. Durch die Formulierung der Label-Korrektur als Bayes'sches Inferenzproblem, das sowohl die Feature-Label-Beziehungen als auch die Rausch-Transitionsmuster modelliert, stellt Relabeler einen wiederverwendbaren, hochwertigen Datensatz bereit, der jedem nachgeschalteten Lerner zugutekommt. Die Autoren behaupten, dass dieser Ansatz besonders praktisch für reale Anwendungen ist, in denen das Verwerfen von Daten nicht machbar ist und in denen das Verständnis der spezifischen Rauschverteilung für eine genaue Korrektur essenziell ist. Die Ergebnisse legen nahe, dass Relabeler nicht nur die Datensatzqualität verbessert, sondern auch eine robuste Ergänzung zu bestehenden modellzentrierten, rauschtoleranten Lernmethoden darstellt.