🤖 machine learning

Stochastic Order Learning: An Approach to Rank Estimation Using Noisy Data

Dieses Paper schlägt Stochastic Order Learning (SOL) vor, ein Framework, das die Rangschätzung unter verrauschten ordinalen Labels als stochastisches Ordnungsproblem neu formuliert, um Label-Unsicherheit effektiv zu erfassen und durch diskriminative sowie stochastische Ordnungverluste eine zuverlässige Leistung zu erzielen.

Ursprüngliche Autoren: Chaewon Lee, Seon-Ho Lee, Chang-Su Kim

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chaewon Lee, Seon-Ho Lee, Chang-Su Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Alter von Personen in einem Fotowettbewerb zu erraten. Normalerweise würden Sie einfach eine einzige Zahl wählen: „Diese Person ist 24.“ Aber was wäre, wenn die Preisrichter etwas ungenau sind? Vielleicht denkt einer, sie sei 22, ein anderer 26 und ein dritter ist fest davon überzeugt, sie sei 30. In der realen Welt sind Labels wie Alter, Schönheitswerte oder medizinische Schweregrade nicht immer perfekte Fakten; sie sind oft eine chaotische Wolke von Möglichkeiten.

Dies ist das Problem, das die Arbeit angeht: Rangschätzung mit verrauschten Daten (Rank Estimation with Noisy Data).

Der alte Weg: Der „Alles-oder-Nichts“-Fehler

Die meisten Computerprogramme behandeln Fehler wie ein Spiel von „Hund gegen Katze“. Wenn der Computer denkt, ein Hund sei ein Bär, liegt er falsch. Wenn er denkt, ein Hund sei eine Katze, ist er ebenfalls falsch. Der Computer behandelt beide Fehler als gleich schlecht.

Aber bei der Rangschätzung (wie beim Erraten des Alters) sind nicht alle Fehler gleich.

Der alte Weg: Zu erraten, dass eine 24-jährige Person 26 ist, ist ein kleiner Patzer. Zu erraten, dass eine 24-jährige Person 59 ist, ist eine riesige Katastrophe.
Die Realität: Standard-Computerprogramme verstehen das nicht. Sie behandeln den Fehler „24 vs. 59“ genauso wie den Fehler „24 vs. 26“. Wenn die Daten verrauscht (chaotisch) sind, werden diese alten Programme verwirrt und machen wilde, schreckliche Schätzungen.

Die Autoren argumentieren, dass wir aufhören müssen, so zu tun, als wäre jedes Label ein einzelner, fester Fakt. Stattdessen sollten wir zugeben, dass ein Label eher wie eine diffuse Wolke ist. Eine 24-jährige Person könnte wirklich 24 sein, aber es besteht eine vernünftige Chance, dass das verrauschte Label eigentlich 23 oder 25 ist.

Die neue Idee: Stochastic Order Learning (SOL)

Die Autoren schlagen eine neue Methode namens Stochastic Order Learning (SOL) vor. Stellen Sie sich das wie das Lehren eines Computers vor, eine neblige Gebirgslandschaft zu navigieren, anstatt einer flachen, klaren Karte.

1. Der „Diffuse Wolken“-Ansatz
Anstatt den Computer zu zwingen zu sagen: „Diese Person ist exakt 24“, sagt SOL: „Diese Person ist wahrscheinlich 24, könnte aber auch 23 oder 25 sein.“ Es behandelt die Verbindung zwischen einem Foto und seinem Alter als probabilistisch (basierend auf Wahrscheinlichkeit) statt deterministisch (festgelegt).

2. Der Zwei-Schritte-Tanz
Um dies zu lernen, nutzt SOL zwei spezielle Bewegungen, wie ein Tanzpartner, der den Computer führt:

Die „Magnet“-Bewegung (Discriminative Loss): Diese zieht die digitale Repräsentation des Fotos näher an das „Durchschnittsalter“ (Zentroid), zu dem es gehört, aber sie stößt es auch sanft von Altern ab, die zu weit entfernt sind. Es ist wie ein Magnet, der einen in die eigene Nachbarschaft zieht, aber aus der nächsten Stadt abstößt.
Die „Ordnungs“-Bewwendung (Stochastic Order Loss): Diese stellt sicher, dass der Computer die Sequenz versteht. Sie sorgt dafür, dass, wenn Foto A jünger ist als Foto B, der Computer diese Reihenfolge beibehält, selbst wenn die Labels etwas durcheinandergebracht sind. Es ist wie das Anordnen von Büchern in einem Regal: Selbst wenn die Buchrücken verschmiert sind, weiß der Computer, dass das Buch aus den 1990er Jahren immer noch links von dem aus den 2000er Jahren stehen sollte.

3. Der „Finde den Hochstapler“-Trick
Manchmal ist ein Label einfach nur völlig falsch (wie jemanden, der 20 Jahre alt ist, als 60 zu bezeichnen). SOL hat einen speziellen Schritt, um diese „Ausreißer“ zu finden. Es betrachtet die Daten, entdeckt die seltsamen Fälle und korrigiert deren Labels sanft, bevor es erneut trainiert. Es ist wie ein Lehrer, der bemerkt, dass ein Schüler „2+2=5“ in einer Prüfung geschrieben hat, erkennt, dass es ein Tippfehler war, und den Fehler korrigiert, bevor er die ganze Klasse bewertet.

Was die Arbeit tatsächlich herausgefunden hat

Die Autoren testeten dies in vier sehr unterschiedlichen Welten:

Gesichter: Das Erraten des menschlichen Alters (MORPH II und CLAP2015 Datensätze).
Kunst: Die Bewertung, wie „schön“ ein Foto ist (AADB Datensatz).
Medizin: Die Schätzung des Knochenalters aus Röntgenbildern (RSNA Datensatz).
Text: Die Bewertung der Qualität von maschinellen Übersetzungen (WMT2020 Datensatz).

Die Ergebnisse:
In diesen Experimenten schnitt SOL konsistent besser ab als die anderen Methoden.

Auf dem MORPH II Gesicht-Datensatz, bei moderatem Rauschen, hatte SOL einen durchschnittlichen Fehler (MAE) von 2,489 Jahren, während die nächstbeste Methode bei 2,516 lag.
Auf dem AADB Schönheit-Datensatz erreichte SOL einen Wert, bei dem 92,70 % seiner Schätzungen innerhalb von 0,25 Punkten des wahren Wertes lagen, womit es die zweitbeste Methode deutlich schlug.
Selbst wenn das Rauschen stark war (simuliert durch das Hinzufügen zufälliger Fehler), hielt SOL besser stand als die anderen. Beispielsweise lag der Fehler von SOL auf dem CLAP2015 Datensatz bei hohem Rauschen bei 4,002, während der Verfolger bei 4,105 lag.

Die Arbeit legt nahe, dass der Computer viel zuverlässiger wird, indem er die „Diffusität“ der Daten anerkennt.

Was SOL NICHT ist (Die „Nein“-Liste)

Es ist wichtig zu wissen, was diese Arbeit nicht behauptet:

Es ist kein magischer Radiergummi: Die Arbeit stellt explizit klar, dass die Methode nicht davon ausgeht, dass die Labels perfekt sind. Sie versucht nicht, eine einzige „wahre“ Antwort zu erzwingen, wo keine existiert; sie akzeptiert die Unsicherheit.
Es ist nicht nur für Gesichter: Obwohl sie es bei Gesichtern getestet haben, funktioniert die Methode auch bei Schönheitswerten, medizinischen Röntgenbildern und Text. Es ist ein allgemeines Werkzeug, kein gesichtsspezifischer Trick.
Es ist nicht das „gelöste“ Problem für alles: Die Autoren geben zu, dass, wenn das Rauschen sehr spezifisch für eine einzelne Person ist (wie ein Annotator, der immer verrückt ist), das aktuelle feste Modell Schwierigkeiten haben könnte. Sie schlagen vor, dass das Lernen individueller Rauschmuster eine Aufgabe für die Zukunft ist.
Es ist nicht perfekt: In einigen Fehlerszenarien (gezeigt in den Abbildungen der Arbeit) rät das System immer noch falsch, insbesondere wenn das Foto schwer zu lesen ist (wie ein verschwommenes Gesicht oder eine gefaltete Hand in einer Röntgenaufnahme).

Wie sicher sind wir?

Die Autoren sind basierend auf ihren Experimenten maßvoll und zuversichtlich. Sie haben nicht nur geraten; sie haben tausende Tests über verschiedene Datensätze und Arten von Rauschen (Gauß, Laplace, Uniform) durchgeführt.

Sie haben durch diese Simulationen bewiesen, dass SOL bestehende Methoden in Bezug auf den mittleren absoluten Fehler (MAE) und den kumulativen Score (CS) übertrifft.
Sie legen nahe, dass dieser Ansatz deshalb funktioniert, weil er die „strukturelle Unsicherheit“ von Ordinaldaten modelliert (die Tatsache, dass 24 näher an 25 liegt als an 50).
Sie geben zu bedenken, dass die Methode zwar robust ist, aber dennoch auf einigen Einstellungen (wie der Menge an zu erwartendem „Rauschen“) beruht, die feinjustiert werden müssen, und dass sie noch nicht vollautomatisch ist.

Kurz gesagt zeigt die Arbeit, dass wenn man aufhört, unordentliche Daten als kaputtes Puzzle zu betrachten, und statet, sie als diffuse Wolke zu begreifen, der Computer viel besser darin wird, die Reihenfolge von Dingen zu erraten. Es ist eine intelligentere Art, von unperfekten Lehrern zu lernen.

Technisches Resümee: Stochastic Order Learning (SOL) zur Rangschätzung bei verrauschten Daten

1. Problemdefinition

Die Rangschätzung (Rank Estimation), die Aufgabe der Vorhersage der ordinalen Klasse (Rang) eines Objekts, ist grundlegend für Anwendungen wie die Gesichtsaltersbestimmung, die Ästhetik-Score-Regression und medizinische Beurteilungen. Eine primäre Herausforderung in diesem Bereich ist das Label-Rauschen (Label Noise). Im Gegensatz zur nominalen Klassifikation, bei der alle Fehler oft als gleichwertig behandelt werden, leidet die Rangschätzung unter strukturierter Unsicherheit. Ein Fehler, bei dem eine 43-jährige Person fälschlicherweise als 59-jährige eingestuft wird, ist signifikant schwerwiegender als die Einstufung als 45-jährige.

Bestehende robuste Methoden für Klassifikation oder Segmentierung versagen bei der Rangschätzung oft, da sie alle Label-Fehler identisch behandeln und dabei die ordinale Eigenschaft ignorieren. Umgekehrt schneiden Standard-Regressionsansätze im Vergleich zu Klassifikationsmethoden oft schlechter ab, da sie es nicht schaffen, hoch-entropische Merkmalsrepräsentationen zu lernen. Zudem setzen bestehende Methoden zum Erlernen von Ordnungen (Order Learning) typischerweise saubere, deterministische Annotationen voraus – eine Annahme, die zusammenbricht, wenn Labels korrumpiert sind. In verrauschten Umgebungen entspricht eine Instanz nicht einem einzigen, eindeutigen Rang, sondern steht in Beziehung zu mehreren benachbarten Rängen mit unterschiedlichen Graden an Plausibilität.

2. Methodik: Stochastic Order Learning (SOL)

Das Paper schlägt Stochastic Order Learning (SOL) vor, ein Framework, das die Rangschätzung unter Label-Rauschen als ein stochastisches Ordnungsproblem umformuliert. Anstatt eine deterministische Verknüpfung zwischen einer Instanz und einem einzelnen Rang anzunehmen, modelliert SOL diese Beziehung als inhärent probabilistisch.

Kernformulierung

Gegeben sei ein verrauschter Rang $r_x$ für eine Instanz $x$ . Der wahre Rang $\bar{r}_x$ wird als $r_x = \bar{r}_x + e_x$ modelliert, wobei der Fehler $e_x$ einer diskreten Gauß-Verteilung folgt. Folglich ist eine Instanz $x$ mit einer Menge plausibler Zentroiden $\{\mu_r\}$ assoziiert, deren Wahrscheinlichkeiten durch die Rauschverteilung bestimmt werden.

Das Ziel ist es, einen Einbettungsraum zu lernen, in dem die stochastische Unähnlichkeit $D_h(x, r)$ – der erwartete quadratische euklidische Abstand zwischen der Instanz-Einbettung $h(x)$ und den Rang-Zentroiden – für den beobachteten verrauschten Rang minimiert wird und mit zunehmender Rang-Distanz monoton ansteigt.

Lernziele

SOL optimiert einen Encoder $h$ und Rang-Zentroiden $\{\mu_r\}$ mittels einer Gesamtverlustfunktion $\ell_{total}$ , die aus zwei komplementären Zielsetzungen besteht:

Diskriminative Verlustfunktion ( $\ell_{disc}$ ):
Diese Verlustfunktion strukturiert die Interaktion zwischen Instanzen und Zentroiden. Sie erzwingt eine Monotonie-Beschränkung, bei der die Distanz von einer Instanz zu einem Zentroiden abnimmt, je näher der Zentroiden-Rang dem verrauschten Rang der Instanz kommt.
- Mechanismus: Sie fungiert als gewichtete Summe quadratischer Abstände. Koeffizienten, die aus der zweiten Ableitung der Gaußschen Rauschverteilung abgeleitet sind, erzeugen eine „Anziehungskraft“ zum verrauschten Rang und seinen unmittelbaren Nachbarn (innerhalb eines Schwellenwerts $\delta$ ) sowie eine „Abstoßungskraft“ gegen entfernte Ränge. Dies berücksichtigt die Label-Unsicherheit, indem es der Instanz erlaubt, nahe an mehreren plausiblen Zentroiden zu liegen.
Stochastische Ordnungslosfunktion ( $\ell_{order}$ ):
Diese Verlustfunktion erzwingt probabilistische Ordnungsrelationen zwischen Paaren von Instanzen $(x, y)$ . Da die wahren Ränge unbekannt sind, berechnet die Methode die Wahrscheinlichkeiten für drei Ordnungsfälle ( $x \prec y$ , $x \approx y$ , $x \succ y$ ) basierend auf den verrauschten Rängen und der angenommenen Rauschverteilung.
- Mechanismus: Sie verwendet Margin-basierte Verluste, die mit den berechneten Wahrscheinlichkeiten gewichtet sind. Wenn $x$ wahrscheinlich einen niedrigeren Rang als $y$ hat, ermutigt der Verlust $h(x)$ , näher an niedrigeren Rang-Zentroiden zu liegen und $h(y)$ , näher an höheren Rang-Zentroiden. Wenn sie wahrscheinlich ähnlich sind, werden ihre Einbettungen dazu angeregt, nah beieinander zu liegen.

Ausreißererkennung und Relabeling

Um das Modell weiter zu verfeinern, enthält SOL einen optionalen iterativen Schritt:

Detektion: Instanzen, bei denen der geschätzte Rang signifikant vom verrauschten Label abweicht, werden als Ausreißer identifiziert.
Relabeling: Die Labels dieser Ausreißer werden basierend auf dem mittleren absoluten Fehler des Datensatzes angepasst, um drastische Änderungen zu verhindern, während extreme Fehler korrigiert werden.
Iteration: Der Encoder wird unter Verwendung dieser verfeinerten Labels feinjustiert, und der Prozess wiederholt sich, um das Label-Rauschen schrittweise zu reduzieren.

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

Umformulierung: Es definiert die Rangschätzung unter Label-Rauschen als ein stochastisches Ordnungsproblem um und bewegt sich damit weg von deterministischen Instanz-Rang-Assoziationen hin zu probabilistischen.
Framework (SOL): Es führt ein Lernframework ein, das die ordinale Label-Unsicherheit durch zwei komplementäre Zielsetzungen erfasst: einen diskriminativen Verlust für die Instanz-Zentroid-Interaktion und einen stochastischen Ordnungslos für die relationale Konsistenz.
Empirische Validierung: Es demonstriert durch umfangreiche Experimente, dass SOL eine zuverlässige Rangschätzung über diverse Domänen hinweg (Vision, medizinische Bildgebung, Ästhetik, NLP) unter verschiedenen Rauschtypen (Gauß, Laplace, Uniform, Skewed) und Rauschgraden ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SOL auf fünf Benchmarks: MORPH II und CLAP2015 (Gesichtsalter), AADB (Ästhetik-Scores), RSNA (Knochenalter) und WMT2020 (textuelle Regression).

Performance: SOL übertraf konsistent die State-of-the-Art-Methoden für robustes Klassifizieren (z. B. SPR, ACL), Regressionsmethoden (z. B. ROR-CE, C-Mixup) und bestehende Order-Learning-Methoden (z. B. GOL, MWR).
- Auf MORPH II erreichte SOL den niedrigsten mittleren absoluten Fehler (MAE) und den höchsten Cumulative Score (CS) über alle Rauschtypen hinweg. Beispielsweise erreichte SOL unter Gauß-Rauschen ( $\kappa=0.4$ ) einen MAE von 2,826 im Vergleich zu 2,861 der nächstbesten Methode (GOL).
- Auf AADB erzielte SOL die beste Leistung in allen Settings und übertraf die zweitbeste Methode um 2,5 % im MAE bei hohem Rauschpegel.
- Auf RSNA lieferte SOL die besten Ergebnisse mit großen Margen und demonstrierte Robustheit in der medizinischen Bewertung, wo fehlerfreie Annotationen kostspielig sind.
- Auf WMT2020 (reale verrauschte Daten) erreichte SOL eine Pearson-Korrelation von 0,680 und übertraf den bisherigen Stand der Technik um 2,0 Punkte.
Ablationsstudien: Die Experimente bestätigten, dass sowohl der diskriminative Verlust als auch der stochastische Ordnungslos notwendig sind; die Verwendung nur eines der beiden führte zu einer Verschlechterung der Leistung.
Effizienz: Obwohl SOL zusätzliche Rechenschritte für Zentroid-Updates und Ausreißererkennung einführt, bleibt es praktikabel. Es zeigte zudem einen geringeren GPU-Speicherverbrauch im Vergleich zu Methoden wie GOL aufgrund der On-the-fly-Wahrscheinlichkeitsberechnung.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Bedeutung von SOL darin liegt, die der ordinalen Daten inhärente strukturelle Unsicherheit handhaben zu können, welche Standardmethoden für robustes Rauschen nicht adressieren können. Durch die Behandlung der Instanz-Rang-Beziehung als probabilistisch statt fixiert, vermeidet SOL die Fallstricke großer Schätzfehler, die bei verrauschter Rangschätzung häufig vorkommen.

Die Autoren betonen, dass SOL nicht bloß eine Erweiterung des Order Learnings mit hinzugefügten Robustheitsmechanismen ist, sondern ein grundlegender Wandel in der Art und Weise, wie verrauschte ordinale Labels modelliert werden. Die Fähigkeit des Frameworks, sowohl bei synthetischem Rauschen als auch bei realen verrauschten Annotationen (wie menschlichen Ästhetik-Scores und medizinischen Beurteilungen) gut abzuschneiden, deutet auf seine Generalisierbarkeit hin.

Einschränkungen und Bescheidenheit:
Die Autoren merken bescheiden einige Einschränkungen an:

Die Methode beruht auf einer festen stochastischen Rauschverteilung, zeigt jedoch Robustheit gegenüber verschiedenen Typen.
Das Modul zur Ausreißererkennung und zum Relabeling ist eine praktische Verbesserung statt einer theoretischen Notwendigkeit, und seine Wirksamkeit hängt von der Qualität der gelernten Einbettung ab.
Der Ansatz erfordert mehrere Hyperparameter ( $\sigma_{test}$ , $T$ , $\tau$ , $\beta$ ), und die vollautomatische Auswahl bleibt eine Aufgabe für zukünftige Arbeiten.
In Bezug auf Gesicht-Datensätze räumen die Autoren ein, dass inhärente Ungleichgewichte zu Geschlechts- oder Rassenvoreingenommenheit führen können, und empfehlen, den Algorithmus erst nach Klärung dieser Bias-Fragen zu Forschungszwecken zu verwenden.