ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels

Die Arbeit stellt ACD-U vor, ein asymmetrisches Co-Teaching-Framework, das durch die Kombination eines CLIP-vorabtrainierten Vision-Transformers mit einem CNN sowie den Einsatz von Machine Unlearning zur aktiven Korrektur von Fehlerklassifizierungen einen neuen State-of-the-Art bei der robusten Verarbeitung von Daten mit verrauschten Labels erreicht.

Das Wesentliche

🎓 Die Geschichte von den zwei Schülern und dem vergesslichen Lehrer

Stell dir vor, du möchtest einem Computer beibringen, Bilder zu erkennen (z. B. Hunde von Katzen zu unterscheiden). Das Problem ist: Die Bilder, die du ihm zeigst, haben oft falsche Beschriftungen. Ein Bild von einem Hund ist vielleicht versehentlich mit „Katze" beschriftet. Das nennt man „verrauschte Daten".

Wenn ein normaler Computer (ein neuronales Netz) so lernt, passiert oft Folgendes: Er merkt sich zuerst die richtigen Beispiele, aber später lernt er sich die falschen Beschriftungen so fest ein, dass er sie für die Wahrheit hält. Das ist wie ein Schüler, der sich eine falsche Antwort auswendig lernt und dann glaubt, das sei die einzig richtige Lösung.

Die Forscher aus diesem Papier haben eine neue Methode namens ACD-U entwickelt, um dieses Problem zu lösen. Sie nutzen dabei zwei geniale Tricks: Zwei verschiedene Lehrer und die Fähigkeit, falsch Gelerntes wieder zu vergessen.

---

1. Die zwei Lehrer: Der erfahrene Experte und der fleißige Anfänger

Statt nur einen Computer zu benutzen, setzen die Forscher zwei verschiedene Modelle gegeneinander an, die wie zwei ganz unterschiedliche Schüler lernen:

• Der erfahrene Experte (Der ViT): Das ist ein riesiges, vorgebildetes Modell (ein „Vision Transformer"), das bereits Millionen von Bildern gesehen hat. Er ist wie ein erfahrener Professor, der schon alles weiß. Er ist sehr stabil und macht selten Fehler, aber er ist etwas stur. Wenn man ihm zu viele falsche Informationen gibt, verliert er den Bezug zur Realität. Deshalb wird er nur mit den „saubersten" Beispielen trainiert.
• Der fleißige Anfänger (Die CNN): Das ist ein klassisches, junges Modell, das bei Null anfängt. Es ist wie ein fleißiger Schüler, der alles neu lernen muss. Er lernt schnell, macht aber am Anfang viele Fehler. Er darf sowohl saubere als auch etwas unsichere Beispiele lernen.

Wie sie zusammenarbeiten (Asymmetrisches Co-Teaching):
Normalerweise helfen sich zwei Schüler gegenseitig, indem sie sich die „leichtesten" Aufgaben aussuchen. Aber hier ist es anders:

• Der Anfänger schaut auf den Experten. Wenn der Experte sagt: „Das ist sicher ein Hund", dann glaubt der Anfänger ihm.
• Der Experte schaut auf den Anfänger. Aber da der Experte so stur ist, lässt er sich nicht von den Fehlern des Anfängers verwirren. Er behält nur die Beispiele, bei denen er sich zu 100 % sicher ist.

Der Vorteil: Der Experte verhindert, dass der Anfänger zu früh falsche Dinge lernt. Der Anfänger hilft dem Experten, sich nicht zu sehr auf alte, verstaubte Regeln zu versteifen. Sie gleichen sich gegenseitig aus.

---

2. Der zweite Trick: Das „Vergessen" (Machine Unlearning)

Das größte Problem bei alten Methoden war: Wenn sich ein Computer einmal einen Fehler gemerkt hat (z. B. „Hund ist eine Katze"), konnte er diesen Fehler nicht mehr korrigieren. Es war, als hätte er den Fehler in Stein gemeißelt.

ACD-U führt hier einen neuen Begriff ein: Machine Unlearning (Maschinelles Vergessen).

Stell dir vor, der Schüler hat eine falsche Antwort in sein Heft geschrieben. Früher musste er damit leben. Bei ACD-U passiert Folgendes:

1. Die Detektive: Das System überwacht ständig, wie sicher sich der Computer bei seinen Antworten ist. Wenn er ein Bild sieht, bei dem er sich plötzlich zu sicher ist, obwohl es eigentlich falsch ist (ein „versteckter Fehler"), wird das System hellhörig.
2. Der Check: Sie fragen den „erfahrenen Experten" (der vorgebildete CLIP-Modell): „Hey, siehst du das auch so?" Wenn der Experte sagt: „Nein, das ist definitiv ein Hund, keine Katze", dann weiß das System: „Aha, wir haben uns hier etwas falsch gemerkt!"
3. Das Löschen: Jetzt kommt der magische Teil. Das System nutzt eine mathematische Formel, um den Einfluss dieses falschen Beispiels aus dem Gedächtnis des Computers zu löschen. Es ist, als würde der Lehrer dem Schüler sagen: „Vergiss diese eine falsche Seite in deinem Heft einfach wieder. Tu so, als hättest du sie nie gesehen."

Dadurch kann das System Fehler nachträglich korrigieren, anstatt sie nur zu vermeiden.

---

3. Warum ist das so wichtig?

Stell dir vor, du lernst für eine Prüfung.

• Alte Methoden: Du lernst fleißig, aber wenn du dir einmal eine falsche Formel merkst, bleibt sie drin. Am Ende der Prüfung machst du Fehler, die du nicht mehr korrigieren kannst.
• ACD-U: Du hast einen Tutor (den Experten), der dir hilft, die Basics richtig zu lernen. Und wenn du merkst, dass du etwas Falsches gelernt hast, hast du einen „Lösch-Knopf", um den Fehler sofort zu entfernen und neu anzufangen.

Das Ergebnis:
Die Forscher haben getestet, wie gut diese Methode funktioniert, selbst wenn 80–90 % der Daten falsch beschriftet waren (eine wahre Katastrophe für normale Computer).

• Bei schwierigen Aufgaben (wie 100 verschiedenen Tierarten) war ACD-U deutlich besser als alle anderen Methoden.
• Besonders bei sehr viel „Rauschen" (vielen Fehlern) glänzte die Methode, weil sie die Fehler nicht nur vermied, sondern aktiv herausfand und löschte.

Zusammenfassung in einem Satz

ACD-U ist wie ein intelligenter Lernprozess, bei dem ein erfahrener Experte und ein fleißiger Anfänger zusammenarbeiten, um Fehler zu finden, und dabei einen magischen „Vergess-Knopf" benutzen, um sich falsche Informationen wieder aus dem Kopf zu löschen, bevor sie Schaden anrichten.

Die Methode zeigt, dass wir Computern nicht nur beibringen können, was sie lernen sollen, sondern auch, wie sie lernen können, falsch Gelerntes wieder zu verwerfen.

Technische Zusammenfassung

1. Problemstellung

Deep Neural Networks (DNNs) neigen dazu, während des Trainings falsche Labels zu memorieren, was ihre Generalisierungsfähigkeit erheblich beeinträchtigt. Dies ist besonders problematisch bei Datensätzen mit verrauschten Labels (Noisy Label Learning, LNL), die durch Crowdsourcing oder Web-Scraping entstehen (Rauschquoten von 8 % bis über 35 %).

Bestehende Methoden, die auf Sample Selection und Semi-Supervised Learning (SSL) basieren (z. B. DivideMix, Co-Teaching), nutzen den sogenannten „Memorization Effect" (DNNs lernen zuerst saubere Daten, dann verrauschte). Diese Ansätze haben jedoch zwei wesentliche Schwächen:

1. Irreversible Fehler: Sobald ein verrauschter Sample fälschlicherweise als „sauber" ausgewählt wurde, kann dieser Fehler in den meisten aktuellen Frameworks nicht mehr korrigiert werden. Der Fehler wird dauerhaft im Modell verankert.
2. Symmetrisches Training: Bisherige Co-Teaching-Ansätze nutzen oft zwei identische Netzwerke, die symmetrisch trainiert werden. Dies ignoriert die unterschiedlichen Lernverhalten von vortrainierten Modellen (die früh stabil sind) und zufällig initialisierten Modellen.

2. Methodik: ACD-U Framework

Die Autoren schlagen ACD-U (Asymmetric Co-Teaching with Different architectures and Unlearning) vor, ein Framework, das zwei Kernmechanismen integriert, um die oben genannten Limitierungen zu überwinden:

A. Asymmetrisches Co-Teaching (ACD)

Statt zwei identischer Netzwerke nutzt ACD-U zwei unterschiedliche Architekturen mit komplementären Lernverhalten:

• Net V (Vision Transformer): Ein auf CLIP vortrainierter ViT. Er wird nur auf den als „sauber" identifizierten gelabelten Daten trainiert. Da er vortrainiert ist, liefert er von Anfang an stabile Vorhersagen und ist weniger anfällig für frühes Overfitting auf Rauschen.
• Net A (CNN): Ein konventionelles CNN (z. B. ResNet), das von Grund auf neu trainiert wird. Es nutzt ein SSL-Verfahren (Semi-Supervised Learning) und wird sowohl auf gelabelten als auch auf ungelabelten Daten trainiert.
• Mechanismus: Die Netzwerke unterrichten sich gegenseitig (Co-Teaching), wobei Net V als stabiler Lehrer für saubere Daten dient und Net A die SSL-Strategie nutzt. Diese Asymmetrie reduziert den „Confirmation Bias" (die Tendenz, falsche Vorhersagen zu verstärken), da die Netzwerke unterschiedliche Fehlermuster aufweisen.

B. Selektives Unlearning (Machine Unlearning)

Dies ist der innovativste Aspekt des Papers. Um bereits gemachte Auswahlfehler zu korrigieren, wird ein Machine Unlearning-Verfahren eingeführt:

• Zielerkennung: Das System identifiziert Samples, die fälschlicherweise als sauber gelernt wurden, aber tatsächlich verrauscht sind. Dies geschieht durch drei Bedingungen:
  1. Niedriger Loss: Der Sample hat einen niedrigen Loss-Wert (typisch für überangepasste verrauschte Daten).
  2. Loss-Drop: Der Loss-Wert ist im Vergleich zu einem früheren Zeitpunkt (EUP Epochen zuvor) gesunken.
  3. CLIP-Konsistenz-Check: Ein unabhängiger, vortrainierter CLIP-Modell (Zero-Shot) wird als Filter verwendet. Samples, deren Label mit der CLIP-Vorhersage übereinstimmen, werden nicht zum Vergessen ausgewählt (da sie wahrscheinlich sauber sind).
• Vergessen (Forgetting): Für die identifizierten „verrauschten" Samples wird ein KL-Divergenz-basierter Loss angewendet. Dieser Loss maximiert die Distanz zwischen der aktuellen Vorhersage des Modells und der Vorhersage eines Referenzmodells (das vor dem „Vergessen" gespeichert wurde). Dadurch wird der Einfluss der fehlerhaften Samples aktiv aus dem Modell entfernt.

Trainingsablauf

Der Prozess läuft in Phasen ab:

1. Warmup: Stabilisierung der Netzwerke (Net V nutzt Self-Supervised Learning ohne Labels).
2. Vorbereitung: Asymmetrisches Co-Teaching auf dem gesamten Datensatz.
3. Unlearning-Execution: In regelmäßigen Abständen (alle EUP Epochen) werden neue „Vergessens-Ziele" identifiziert und für EUD Epochen mittels Unlearning-Loss entfernt, parallel zum normalen Training.

3. Hauptbeiträge

1. Erste Anwendung von Machine Unlearning auf LNL: Einführung eines Mechanismus zur post-hoc Korrektur von Auswahlfehlern, was bisherige Methoden nicht leisten konnten.
2. Asymmetrische Architektur: Nutzung der komplementären Stärken eines vortrainierten ViT (Stabilität) und eines CNN (Anpassungsfähigkeit) zur Unterdrückung von Rausch-Memorierung in frühen Trainingsphasen.
3. State-of-the-Art Performance: Überlegene Ergebnisse auf synthetischen und realen verrauschten Datensätzen.
4. Synergie-Nachweis: Quantitativer Beweis, dass Unlearning und ACD komplementär wirken (Unlearning hilft bei hohem Rauschen, ACD bei moderatem Rauschen).

4. Ergebnisse

Die Methode wurde auf einer Vielzahl von Datensätzen evaluiert:

• Synthetisches Rauschen (CIFAR-10/100): ACD-U erreicht State-of-the-Art-Ergebnisse. Bei extrem hohem Rauschen (Sym. 90 % auf CIFAR-100) wurde eine relative Verbesserung von 35 % gegenüber DivideMix erzielt.
• Realwelt-Rauschen:
  • CIFAR-N: Beste Ergebnisse auf dem schwierigen CIFAR-100N-Datensatz (40 % Rauschen), mit einer Steigerung von 1,5 % gegenüber LSL und 2,3 % gegenüber Semi-RML++.
  • WebVision & Clothing1M: ACD-U erzielte die höchsten Top-5-Accuracy-Werte auf WebVision und die beste Leistung auf Clothing1M (1 Mio. Bilder, instanzabhängiges Rauschen).
  • Red Mini-ImageNet: Überlegene Robustheit über alle Rauschquoten (20–80 %).
• Ablationsstudien:
  • Ohne Unlearning bricht die Leistung bei hohem Rauschen (80 %) signifikant ein (ca. 1,7 % Verlust).
  • Ohne ACD (symmetrisches Training) sinkt die Leistung bei moderatem Rauschen (50 %) um ca. 1,9 %.
  • Die CLIP-Konsistenz-Prüfung ist der kritischste Faktor für die Auswahl der zu vergessenden Samples.

5. Bedeutung und Fazit

ACD-U stellt einen Paradigmenwechsel dar: Statt sich nur auf die Vermeidung von Fehlern durch bessere initiale Auswahl zu verlassen (was bei einmaligem Fehler fatal ist), führt das Framework eine aktive Fehlerkorrektur durch.

• Technische Innovation: Die Kombination von Machine Unlearning (ursprünglich für Datenschutz entwickelt) mit Rausch-Lernen ist neu und löst das Problem der irreversiblen Fehlermemorierung.
• Praktische Relevanz: Das Framework ist besonders robust in Szenarien mit hohem Rauschanteil und instanzabhängigem Rauschen, was für reale Anwendungen (z. B. Web-gescrapte Daten) entscheidend ist.
• Zukunftsausblick: Die Arbeit zeigt, dass die Nutzung heterogener Architekturen (Vortrainiert vs. Neu) und dynamischer Korrekturmechanismen der Schlüssel zu robusterem Deep Learning ist.

Zusammenfassend bietet ACD-U einen robusten, adaptiven Ansatz, der die Grenzen bestehender Co-Teaching-Methoden durch die Einführung eines aktiven „Vergessens" und asymmetrischer Architekturen überwindet.