🤖 machine learning

Ordinal Adaptive Correction: A Data-Centric Approach to Ordinal Image Classification with Noisy Labels

Dieser Artikel stellt ORDinal Adaptive Correction (ORDAC) vor, ein neuartiges datenzentriertes Framework, das Label Distribution Learning nutzt, um verrauschte ordinale Labels während des Trainings dynamisch anzupassen und zu korrigieren, wodurch die Robustheit und Genauigkeit von Modellen auf Datensätzen wie Adience und Diabetic Retinopathy unter verschiedenen Rauschbedingungen erheblich verbessert werden.

Ursprüngliche Autoren: Alireza Sedighi Moghaddam, Mohammad Reza Mohammadi

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alireza Sedighi Moghaddam, Mohammad Reza Mohammadi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, das Alter einer Person allein anhand ihres Fotos zu erraten. Sie zeigen ihm Tausende von Bildern, doch es gibt ein Problem: Die Personen, die die Fotos gekennzeichnet haben (dem Roboter also mitgeteilt haben: „Das ist 20", „Das ist 30"), haben Fehler gemacht. Vielleicht dachten sie, eine 25-Jährige sehe 30 aus, oder sie haben einfach die falsche Zahl eingegeben. Dies nennt man verrauschte Daten.

Normalerweise geraten Computer, wenn sie aus unordentlichen Daten lernen, in Verwirrung und performen schlecht. Die meisten bestehenden Lösungen versuchen dies zu beheben, indem sie die Fotos, von denen sie glauben, dass sie falsch gekennzeichnet sind, wegwerfen. Es ist, als würde ein Lehrer einem Schüler sagen: „Ich vertraue dieser Hausaufgabe nicht, also werde ich sie in den Müll werfen und nur die bewerten, bei denen ich mir sicher bin." Das Problem ist, dass Sie möglicherweise ein Foto wegwerfen, das tatsächlich korrekt gekennzeichnet war, oder eines, das nur leicht abwich, aber dennoch wertvolle Informationen enthielt.

Dieser Artikel stellt eine neue Methode vor, die ORDAC (Ordinal Adaptive Correction) heißt. Anstatt Daten wegzuwerfen, agiert ORDAC wie ein intelligenter Redakteur, der die Fehler behutsam korrigiert und dabei jedes einzelne Foto behält.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Konzept des „unscharfen Labels"

Beim normalen maschinellen Lernen ist ein Label eine feste Zahl (z. B. „Alter = 30").
ORDAC behandelt das Label wie eine unscharfe Wolke. Anstatt zu sagen: „Es ist definitiv 30", sagt es: „Es ist wahrscheinlich um 30 herum, aber wir sind nicht zu 100 % sicher."

Das Zentrum der Wolke: Dies ist die aktuelle Schätzung für das Alter.
Die Größe der Wolke: Dies repräsentiert, wie sehr der Computer „unsicher" ist. Eine große Wolke bedeutet, dass der Computer verwirrt ist; eine kleine Wolke bedeutet, dass er zuversichtlich ist.

2. Die Strategie der „Lerngruppe"

Um die Labels zu korrigieren, ohne durch eigene Fehler verwirrt zu werden, verwendet ORDAC eine K-Fold-Strategie. Stellen Sie sich vor, Sie haben eine Klasse von Schülern (die Daten) und teilen sie in 5 Gruppen auf.

Sie haben 5 verschiedene „Lehrer" (Modelle).
Lehrer #1 studiert die Gruppen 2, 3, 4 und 5, aber nicht Gruppe 1.
Lehrer #1 betrachtet dann Gruppe 1 und sagt: „Basierend auf dem, was ich von den anderen gelernt habe, denke ich, dass die Labels von Gruppe 1 falsch sind. Lassen Sie uns sie anpassen."
Dann macht Lehrer #2 dasselbe, studiert aber Gruppe 1 und korrigiert Gruppe 2.
Dies stellt sicher, dass kein Lehrer die Schüler korrigiert, die er gerade unterrichtet hat, was verhindert, dass sie nur ihre eigenen Fehler verstärken.

3. Der Prozess der „behutsamen Korrektur"

Wenn ein Lehrer das Label eines Schülers betrachtet, ändert er es nicht einfach durch einen Fingerknips. Er verwendet eine zweistufige Anpassung:

Schritt A: Korrektur der Verzerrung. Manchmal werden Lehrer faul und raten für alle „durchschnittliche" Alter, weil es sicherer ist. ORDAC hat eine spezielle Regel, um dies zu verhindern, und stellt sicher, dass sie nicht einfach für alle die mittlere Zahl raten.
Schritt B: Verschieben der Wolke. Wenn der Lehrer denkt, das Label sei falsch, schiebt er das „Zentrum der Wolke" behutsam in Richtung des korrekten Alters.
- Wenn der Lehrer sehr zuversichtlich ist, verschiebt er das Zentrum stark.
- Wenn der Lehrer unsicher ist, verschiebt er es nur ein wenig.
- Sie verkleinern oder vergrößern auch die „Wolkengröße" (Unsicherheit). Wenn der Lehrer zuversichtlich ist, dass das Label falsch war, machen sie die Wolke kleiner (zuversichtlicher). Wenn sie immer noch verwirrt sind, behalten sie die Wolke groß.

4. Die Ergebnisse: Aufräumen des Chaos

Die Forscher testeten dies an zwei realen Problemen:

Alter schätzen: Unter Verwendung von Fotos aus dem Internet (Adience-Datensatz), bei denen Menschen oft ihr eigenes Alter falsch schätzen.
Augenerkrankungen bewerten: Unter Verwendung von Netzhautaufnahmen (Diabetische Retinopathie-Datensatz), bei denen Ärzte möglicherweise nicht übereinstimmen, wie schwer eine Erkrankung ist.

Sie fügten absichtlich viele gefälschte Fehler (Rauschen) zu den Daten hinzu, um das System zu testen.

Der alte Weg (Daten wegwerfen): Wenn 40 % der Labels falsch waren, hatten die alten Methoden Schwierigkeiten.
Der ORDAC-Weg: Selbst wenn 40 % der Labels durcheinander waren, „redigierten" die ORDAC-Methoden die Labels erfolgreich. Sie rateten nicht nur; sie korrigierten die Daten tatsächlich.
- Beim Altersdatensatz reduzierte es den durchschnittlichen Fehler erheblich.
- Es fand und korrigierte sogar Fehler, die bereits in den ursprünglichen, „sauberen" Datensätzen vorhanden waren, bevor sie mit den Tests begannen!

Das Fazit

Der Artikel behauptet, dass wir anstatt verdächtiger Daten zu verwerfen, sie adaptiv korrigieren sollten. Indem wir Labels als flexible Wolken der Unsicherheit und nicht als starre Zahlen behandeln und indem wir Modelle in einem Rundgang-Verfahren „miteinander lehren" lassen, erstellt ORDAC einen saubereren, zuverlässigeren Datensatz. Dies ermöglicht dem Computer, besser zu lernen, selbst wenn die ursprünglichen Informationen unordentlich und voller menschlicher Fehler sind.

Kurz gesagt: Werfen Sie das Baby nicht mit dem Bade aus; waschen Sie einfach das Baby und behalten Sie das Wasser.

Technischer Überblick: Ordinale Adaptive Korrektur (ORDAC)

Problemstellung

Die Arbeit adressiert die kritische Herausforderung des Label-Rauschens bei der ordinalen Bildklassifizierung. Bei Aufgaben wie Altersschätzung und Schweregradbewertung von Krankheiten sind Klassengrenzen oft unklar, was den Labeling-Prozess fehleranfällig macht. Im Gegensatz zur nominalen Klassifizierung, bei der Fehler diskret sind, weisen ordinale Fehler eine semantische Distanz auf (z. B. ist die Fehlklassifizierung des Alters 20 als 25 weniger schwerwiegend als die Fehlklassifizierung als 60).

Bestehende Ansätze für verrauschte Labels fallen allgemein in zwei Kategorien:

Modell-zentriert: Entwicklung von rauschtoleranten Verlustfunktionen oder Regularisierungen.
Daten-zentriert (Stichprobenauswahl): Identifizierung und Verwerfung potenziell verrauschter Stichproben (z. B. CASSOR, ICDF).

Die Autoren argumentieren, dass die Stichprobenauswahl für ordinale Daten suboptimal ist, da sie potenziell wertvolle Feature-Informationen verwirft, die in falsch beschrifteten Instanzen enthalten sind. Darüber hinaus fehlen Standardmethoden der ordinalen Regression explizite Mechanismen zum Umgang mit falschen Rang-Annotationen, was zu einer verschlechterten Leistung und Zuverlässigkeit führt. Es besteht eine spezifische Lücke bei Methoden, die verrauschte Labels korrigieren können, anstatt sie zu verwerfen, indem sie die inhärente Unsicherheit ordinaler Daten adaptiv modellieren.

Methodik: Ordinale Adaptive Korrektur (ORDAC)

Die vorgeschlagene Lösung ist ORDAC, ein datenzentriertes Framework, das Label-Distribution-Learning (LDL) nutzt. Anstatt ein Label als einen einzelnen diskreten Wert zu behandeln, repräsentiert ORDAC jedes Label als eine Gaußsche Verteilung, charakterisiert durch einen Mittelwert ( $\mu$ ) und eine Standardabweichung ( $\sigma$ ). Der Mittelwert repräsentiert den Labelwert, während die Standardabweichung die Unsicherheit des Modells quantifiziert.

Kern-Workflow

Das Framework arbeitet iterativ unter Verwendung einer K-Fold-Cross-Training-Strategie, um zu verhindern, dass das Modell durch seine eigenen selbstbewussten, aber potenziell falschen Vorhersagen verzerrt wird:

Initialisierung:
- Der Datensatz wird in $K$ Folds aufgeteilt.
- $K$ identische Fixed-form LDL (FLDL)-Modelle werden initialisiert.
- Das Label jeder Stichprobe wird als Gaußsche Verteilung $N(\mu_i, \sigma_i^2)$ initialisiert, wobei $\mu_i$ das verrauschte Label und $\sigma_i$ eine feste Konstante ist, die eine einheitliche anfängliche Unsicherheit darstellt.
Warm-up-Phase:
- Alle $K$ Modelle werden für eine bestimmte Anzahl von Epochen ( $E_{corr}$ ) parallel auf ihren jeweiligen Trainingssets trainiert, um initiale Feature-Repräsentationen auf den verrauschten Daten zu erlernen.
Iterative Korrekturphase:
- Nach dem Warm-up wird der adaptive Korrekturmechanismus aktiviert.
- Für jeden Fold sagt das Modell, das auf den verbleibenden $K-1$ Folds trainiert wurde, die Labels des zurückgehaltenen Validierungsfolds vorher.
- Diese Vorhersagen werden verwendet, um die Labelverteilungen ( $\mu$ und $\sigma$ ) der Validierungsstichproben zu aktualisieren.
- Die aktualisierten Verteilungen werden dann für die nächste Epoche zurück in die Trainingssets der anderen Modelle propagiert.

Der adaptive Korrekturmechanismus

Der Aktualisierungsprozess besteht aus zwei Stufen, die auf jede Stichprobe im Validierungsfold angewendet werden:

Klassenweises Vorhersage-Debiasing:
- Ordinale Modelle entwickeln oft eine Verzerrung hin zu Klassen mittleren Rangs aufgrund von Verlustfunktionen und Datenungleichgewicht.
- Um dem entgegenzuwirken, werden die Vorhersagen des Modells verschoben, um die klassenweisen Vorhersagen um das wahre Klassenlabel neu zu zentrieren.
- Die verschobene Vorhersage $\hat{y}^{shifted}_i$ wird berechnet als: $\hat{y}^{shifted}_i = \hat{y}_i - (\text{mean}_{\mu_i} - \mu_i)$ .
Stichprobenweises Verteilungs-Update:
- Ein Korrekturkoeffizient $\lambda^{corr}_i$ wird basierend auf der Modellkonfidenz ( $\gamma_i$ ) und der Klassenhäufigkeit ( $\pi_{\mu_i}$ ) berechnet, um sicherzustellen, dass seltene Klassen vorsichtiger korrigiert werden.
- Standardabweichungs-Update ( $\sigma$ ): Wenn der Vorhersagefehler $|e_i|$ $∣ e_{i} ∣$ größer ist als die aktuelle Unsicherheit $\sigma_i$ $σ_{i}$ , wird die Unsicherheit erhöht (was auf ein wahrscheinlich verrauschtes Label hindeutet). Wenn der Fehler klein ist, nimmt die Unsicherheit ab.
  - $\sigma^{new}_i = \sigma_i + \alpha_i \times (|e_i| - \sigma_i)$
- Mittelwert-Update ( $\mu$ ): Der Mittelwert wird in Richtung der debiasierten Vorhersage verschoben.
  - $\mu^{new}_i = \mu_i + \beta_i \times e_i$
- Hierbei sind $\alpha_i$ und $\beta_i$ stichprobenspezifische Lernraten, die von Basisraten $\alpha_{base}$ und $\beta_{base}$ abgeleitet sind.

Varianten

Die Autoren stellen zwei Varianten vor, um das Verhalten des Frameworks zu analysieren:

ORDACC (Correct): Erzeugt nach dem Training einen statischen, bereinigten Datensatz. Ein neues Modell wird von Grund auf auf diesem Datensatz ohne weitere Online-Korrekturen trainiert.
ORDACR (Remove): Baut auf ORDACC auf, entfernt jedoch Stichproben, die nach der Korrektur weiterhin hochgradig unsicher sind (wo $\sigma^{new}_i \geq \sigma^{initial}_i$ ), und behandelt sie als Ausreißer.

Experimentelle Ergebnisse

Die Methode wurde auf zwei Benchmark-Datensätzen evaluiert: Adience (Altersschätzung) und Diabetic Retinopathy (DR) (Schweregrad von Krankheiten). Die Experimente umfassten das Einbringen von asymmetrischem Gaußschen Rauschen mit Raten von $\tau \in \{0.2, 0.4\}$ .

Wichtige Erkenntnisse

Leistung unter Rauschen: ORDAC und seine Varianten übertrafen signifikant Standard-Baselines (CORAL, DLDL-v2) und state-of-the-art Stichprobenauswahlmethoden (CASSOR) über alle Rauschniveaus hinweg.
- Beispiel: Auf Adience mit 40 % Rauschen reduzierte ORDACR den Mean Absolute Error (MAE) von 0,86 (DLDL-v2) auf 0,62 und erhöhte den Recall von 0,37 auf 0,49.
Intrinsische Rauschkorrektur: Selbst ohne eingebettetes Rauschen ( $\tau=0$ ) übertraf ORDAC die Baselines. Dies deutet darauf hin, dass die ursprünglichen Datensätze inhärentes Label-Rauschen enthalten (z. B. Fehler bei der Selbstauskunft in Adience), das die Methode erfolgreich identifizierte und korrigierte.
Korrektur vs. Auswahl: Während die Stichprobenauswahl (CASSOR) gut abschnitt, erzielte ORDACR allgemein bessere Ergebnisse, insbesondere bei höheren Rauschniveaus, was zeigt, dass das Korrigieren von Labels dateneffizienter ist als deren Verwerfen.
Ablationsstudien:
- Das Entfernen des Schritts des klassenweisen Debiasings führte dazu, dass der Korrekturprozess in Richtung der Mehrheitsklasse mittleren Rangs kollabierte, was die Leistung signifikant verschlechterte.
- Die Hyperparameteranalyse zeigte, dass ein kleines $\alpha_{base}$ (0,2) und ein großes $\beta_{base}$ (0,8) die besten Ergebnisse lieferten, was darauf hindeutet, dass das Modell konservativ bei der Aktualisierung der Unsicherheit, aber aggressiv bei der Korrektur des Mittelwerts sein sollte.

Bedeutung und Beiträge

Die Arbeit beansprucht folgende Beiträge:

Paradigmenwechsel: Sie schlägt einen Wechsel von der Stichprobenauswahl (Verwerfen von Daten) zur adaptiven Labelkorrektur für ordinale Aufgaben vor, um wertvolle Feature-Informationen zu erhalten.
Unsicherheitsmodellierung: Sie führt einen Mechanismus ein, um sowohl den Mittelwert als auch die Standardabweichung von Labelverteilungen dynamisch zu aktualisieren, wodurch das Modell in der Lage ist, Unsicherheit während des Trainings explizit darzustellen und zu verwalten.
Robustheit: Umfassende Experimente zeigen, dass die adaptive Korrektur unter Verwendung von Labelverteilungen eine effektive Strategie ist, um die Robustheit und Genauigkeit ordinaler Klassifizierungsmodelle in Gegenwart verrauschter Daten zu erhöhen.

Die Autoren kommen zu dem Schluss, dass ORDAC durch den Fokus auf die Verbesserung der Datenqualität auf fundamentaler Ebene durch adaptive Korrektur den Weg für genauere und zuverlässigere ordinale Klassifizierung ebnet, insbesondere in Domänen, in denen saubere Daten knapp sind und die Label-Unklarheit hoch ist. Als zukünftige Arbeit wird vorgeschlagen, nicht-parametrische Verteilungen und die automatische Anpassung von Korrekturraten zu erforschen.