🤖 machine learning

Contrastive Order Learning: A General Framework for Ordinal Regression

Das Papier schlägt ConOrd vor, ein neuartiges kontrastives Lernframework für die ordinale Regression, das eine globale, batchweise Probennutzung mit einer feingliedrigen ordinalen Modellierung mittels Soft-Affinitäts- und Disparitätsgewichten integriert und so eine erstklassige Leistung über verschiedene Aufgaben hinweg, wie etwa die Gesichtsalters- und Qualitätsbewertung, erzielt.

Ursprüngliche Autoren: Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt nicht nur durch das Sortieren von Dingen in Boxen (wie „Katze“ oder „Hund“) zu verstehen, sondern durch das Verständnis des Spektrums der Dinge. Denken Sie an das Alter: Ein 10-Jähriger ist einem 12-Jährigen näher als einem 60-Jährigen. Oder stellen Sie sich vor, Sie bewerten die Qualität eines Fotos: Ein leicht verschwommenes Bild ist „schlechter“ als ein scharfes, aber „besser“ als ein völlig schwarzer Bildschirm. Dies nennt man ordinale Regression – das Lernen der Ordnung und der Distanz zwischen Rängen.

Lange Zeit haben KI-Forscher versucht, dies auf zwei Hauptarten zu lehren, und beide hatten einen Logikfehler.

Die alten Wege: Das „Alles-oder-Nichts“-Prinzip und der „harte Schnitt“

Zuerst gab es das Supervised Contrastive Learning. Stellen Sie sich vor, ein Lehrer zeigt einem Schüler ein Foto eines 24-Jährigen. Der Lehrer sagt: „Das ist ein 24. Alles andere ist nicht ein 24.“ Der Schüler lernt, den 24-Jährigen von allen anderen wegzudrücken. Aber hier liegt das Problem: Der Schüler behandelt einen 25-Jährigen (der sehr ähnlich ist) genau so wie einen 75-Jährigen (der völlig anders ist). Der Lehrer ignoriert die Tatsache, dass 24 und 25 Nachbarn sind, während 24 und 75 Fremde sind.

Dann kam eine neuere Methode namens RnC (Rank-N-Contrast). Dieser Lehrer war klüger. Er sagte: „Okay, 24 ist der Anker. 25 ist ein ‚positiver‘ Freund. Aber alle, die älter als 25 sind? Sie sind alle ‚negative‘ Feinde.“ Der Lehrer zieht eine harte Linie in den Sand. Wenn du älter als 25 bist, bist du ein Feind. Aber warten Sie – dieser Lehrer behandelt einen 26-Jährigen und einen 100-Jährigen exakt gleich. Beide werden mit der gleichen Kraft weggestoßen. Der Lehrer vergisst, dass der 100-Jährige viel weiter entfernt ist als der 26-Jährige – und dass diese Distanz zählt.

Der neue Held: ConOrd (Contrastive Order Learning)

Hier kommt ConOrd, das von Chaewon Lee und ihrem Team vorgeschlagene neue Framework. Sie erkannten, dass man, um Ordnung wirklich zu verstehen, keine harten Linien oder Ignoranz gegenüber Distanzen nutzen kann. Man braucht ein sanftes, diffuses Verständnis dafür, wie weit Dinge voneinander entfernt sind.

Stellen Sie sich einen neuen Lehrer vor, der eine spezielle Art von Magnet verwendet.

Der sanfte Magnet: Wenn der Roboter auf einen 24-Jährigen blickt, drückt er nicht einfach alle anderen weg. Er sieht einen 25-Jährigen an und sagt: „Du bist nah dran, also ziehe ich dich nur ein kleines bisschen näher.“ Er sieht einen 30-Jährigen an und sagt: „Du bist etwas weiter weg, also ziehe ich dich ein wenig weniger an.“
Die Repulsion (Abstoßung): Schauen wir uns nun einen 75-Jährigen an. Der Lehrer sagt: „Du bist sehr weit weg! Ich muss dich richtig stark wegdrücken.“

Dies ist die Magie von ConOrd. Anstatt eine binäre „Freund oder Feind“-Liste zu verwenden, weist es jedem einzelnen Sample in einem Batch ein sanftes Gewicht zu, basierend darauf, wie weit sein Rang vom Anker entfernt ist.

Kleiner Abstand? Sanfte Anziehung.
Mittlerer Abstand? Moderate Repulsion.
Großer Abstand? Starke Repulsion.

ConOrd argumentiert, dass vorherige Methoden scheiterten, weil sie diese Abstände als „Alles-oder-Nichts“ behandelten. ConOrd behebt dies, indem es jedem Sample im Batch ermöglicht, zum Lernen beizutragen, jedoch mit einer Stärke, die ihrem tatsächlichen Rangunterschied entspricht. Es ist wie das Einstimmen eines Radios, bei dem man das Rauschen entfernter Sender hören kann, aber das Signal der nächsten Station kristallklar ist.

Hat es funktioniert? Der Beweis liegt im Pudding

Das Team hat nicht nur geraten; sie haben es an realen Problemen getestet, bei denen die Reihenfolge eine Rolle spielt. Sie führten Experimente zu folgenden Themen durch:

Altersschätzung: Sie testeten auf sechs verschiedenen Datensätzen, einschließlich Gesichtern aus den Datensätzen MORPH II und CLAP2015. Auf dem CLAP2015-Datensatz erreichte ihre Methode einen Mean Absolute Error (MAE) von 2,46 und schlug damit die bisher besten Methoden wie NumCLIP (das 2,55 erreichte) und OrdinalCLIP (3,20). ConOrd erzielte die beste Leistung auf allen Datensätzen außer CACD unter der MAE-Metrik, was eine starke Generalisierung über verschiedene Altersbestimmungs-Benchmarks hinweg demonstriert.
Bewertung der Fotoqualität: Sie testeten auf fünf Blind-Bildqualitäts-Datensätzen. Auf dem BID-Datensatz erreichte ConOrd einen Spearman's Rank Correlation Coefficient (SRCC) von 0,913 und einen Pearson's Linear Correlation Coefficient (PCC) von 0,925 und übertraf damit alle anderen aufgeführten Methoden, einschließlich komplexer Ansätze wie QCN und VISGA.
Bewertung der Videoqualität: Sie testeten auf Video-Datensätzen wie LSVQ und KoNViD-1k. Auf dem LSVQ-TEST-Set erreichte ConOrd einen SRCC von 0,904 und einen PCC von 0,904 und schlug damit erneut die Konkurrenz.

Die Autoren sind zuversichtlich hinsichtlich dieser Ergebnisse, weil sie die Variablen kontrolliert haben. Sie verwendeten für jede verglichene Methode exakt dasselbe „Gehirn“ (einen ViT-B Encoder). Das bedeutet, der Sieg lag nicht daran, dass sie einen schickeren Computer verwendeten; es war, weil ihr „sanfter Magnet“-Lehrstil einfach besser war.

Was sie ausgeschlossen haben

Das Paper argumentiert explizit gegen die Vorstellung, dass man harte Entscheidungen darüber treffen muss, wer ein „Positiver“ und wer ein „Negativer“ ist. Sie zeigten, dass Methoden, die auf harten Schwellenwerten (wie RnC) oder der Ignoranz von Rangdistanzen (wie Standard-Contrastive-Learning) basieren, Leistung liegen lassen. Sie testeten auch eine „naive“ Version ihrer Idee, die einen einfachen mathematischen Trick (positiven Logarithmus) verwendete, fanden jedoch heraus, dass dies das Training instabil und weniger zuverlässig machte, wes-halb sie dies zugunsten ihrer spezifischen „Soft-Weight“-Formel ausschlossen.

Das Fazit

ConOrd legt nahe, dass wir, indem wir Rangunterschiede als eine glatte, kontinuierliche Skala statt als eine Liste von Kategorien behandeln, eine KI bauen können, die die Nuancen der Welt besser versteht. Es geht nicht nur darum, die Reihenfolge zu kennen; es geht darum, zu wissen, wie weit die Dinge voneinander entfernt sind. Die Experimente legen nahe, dass dieser Ansatz konsistent zu State-of-the-Art-Leistungen führt, was ihn zu einem leistungsstarken neuen Werkzeug für Aufgaben macht, die von der Altersschätzung einer Person bis hin zur Bewertung der Qualität eines Videos reichen.

Technisches Resümee: Contrastive Order Learning (ConOrd)

Problemstellung

Die ordinale Regression zielt darauf ab, den diskreten oder kontinuierlichen Rang eines Objektinstanz zu schätzen – eine Aufgabe, die grundlegend für Anwendungen wie die Gesichtsaltersabschätzung, die Bewertung der Blind-Bild-/Videoqualität und die Bewertung des Gesundheitszustands ist. Im Gegensatz zur Standardklassifizierung erfordert die ordinale Regression die Modellierung der inhärenten Ordnung und der relativen Abstände zwischen den Labels. Bestehende Methoden weisen jedoch signifikante Einschränkungen auf:

Order Learning (Ordnungslernen): Techniken wie das Geometric Order Learning (GOL) modellieren die ordinale Natur von Labels explizit, verlassen sich jedoch oft auf lokale, margenbasierte paarweise Vergleiche. Diese Ansätze erzeugen in der Regel keinen Gradienten, sobald eine Margin erfüllt ist, wodurch sie den reichhaltigeren globalen ordinalen Kontext, der auf Batch-Ebene verfügbar ist, nicht voll ausschöpfen können.
Contrastive Learning (Kontrastives Lernen): Während überwachtes kontrastives Lernen alle Stichproben in einem Batch effektiv nutzt, behandelt es Labels typischerweise als kategorisch und ignoriert die inhärente Ordnung. Erweiterungen wie Rank-N-Contrast (RnC) führen rangbewusste Paare ein, verlassen sich jedoch auf harte Schwellenwerte, wodurch ordinale Distanzen in binäre Entscheidungen (positiv/negativ) kollabieren und Stichproben mit moderaten sowie erheblichen Rangunterschieden gleichermaßen als negativ behandelt werden.

Folglich besteht ein Bedarf an einem Framework, das feingranulare ordinale Beziehungen über alle Stichprobenpaare hinweg erfasst und gleichzeitig globale Konsistenz im Embedding-Raum aufrechterhält.

Methodik: Contrastive Order Learning (ConOrd)

Die Autoren schlagen ConOrd vor, ein Framework, das die Stärken von Order Learning und Contrastive Learning integriert. Die zentrale Innovation ist ein kontrastiver Ordnung-Loss ( $L_{ConOrd}$ ), der weiche, rangbewusste Gewichte an alle Stichprobenpaare innerhalb eines Batches vergibt, anstatt sich auf harte positive/negative Zuweisungen zu verlassen.

Kernkomponenten:

Embedding-Raum mit Referenzpunkten: Das Framework verwendet einen Encoder $h$ , der Instanzen auf Vektoren im Merkmalsraum einer Einheitssphäre abbildet. Es führt $M$ lernbare Referenzpunkte $\{\mu_m\}$ ein, wobei jedes $\mu_m$ ein Prototyp für den Rang $m$ darstellt.
Soft Affinity und Disparity Weights (Weiche Affinitäts- und Disparitätsgewichte): Im Gegensatz zu RnC, das harte Schwellenwerte verwendet, definiert ConOrd kontinuierliche Gewichte basierend auf der Rangdifferenz $|r_i - r_j|$ $∣ r_{i} - r_{j} ∣$ :
- Affinity Weight ( $a_{ij}$ ): Nimmt ab, wenn die Ranglücke größer wird, und fördert die Anziehung zwischen Stichproben mit ähnlichen Rängen. Es wird als $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$ instanziiert.
- Disparity Weight ( $b_{ij}$ ): Nimmt zu, wenn die Ranglücke größer wird, und fördert die Abstoßung zwischen Stichproben mit fernen Rängen. Es wird als $b_{ij} = (r_i - r_j)^2$ instanziiert.
Die Verlustfunktion: Der Loss wird wie folgt formuliert:
$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$
wobei $\kappa_{ij}$ $κ_{ij}$ die Ähnlichkeit (negatives quadratisches Euklidisches Distanzmaß) und $\tau$ $τ$ ein Temperaturparameter ist. Diese Formulierung stellt sicher, dass:
- Stichproben mit kleinen Rangunterschieden angezogen werden.
- Stichproben mit großen Rangunterschieden abgestoßen werden.
- Die Größenordnung der Ranglücke die Stärke von Anziehung oder Abstoßung moduliert, was eine feingranulare ordinale Überwachung ermöglicht.
Regularisierung: Ein Center Loss ( $L_{center}$ ) wird hinzugefügt, um kompakte Cluster um die Referenzpunkte $\mu_m$ für jeden Rang zu fördern.
Inferenz: Die Rangschätzung erfolgt mittels einer $k$ -Nearest-Neighbor ( $k$ -NN) Regel im Embedding-Raum, indem die Ränge der $k$ nächsten Trainingsnachbarn gemittelt werden.

Zentrale Beiträge

Framework-Integration: Einführung von ConOrd, einem allgemeinen Framework, das Order Learning und Contrastive Learning innerhalb einer einzigen Batch-weisen Formulierung vereinigt.
Neuartiges Loss-Design: Vorschlag eines kontrastiven Ordnung-Loss, der weiche Affinitäts- und Disparitätsgewichte basierend auf Rangunterschieden nutzt. Dies ermöglicht es, dass alle Stichprobenpaare in einem Batch zum Lernen beitragen, moduliert durch ihre ordinalen Beziehungen, wodurch der Informationsverlust durch hartes Thresholding vermieden wird.
State-of-the-Art Performance: Nachweis, dass ConOrd auf diversen Benchmarks für ordinale Regression, einschließlich Gesichtsaltersabschätzung, Blind Image Quality Assessment (BIQA) und Blind Video Quality Assessment (BVQA), State-of-the-Art-Ergebnisse erzielt.

Experimentelle Ergebnisse

Die Autoren evaluierten ConOrd auf mehreren Datensätzen und Aufgaben:

Gesichtsaltersabschätzung: Getestet auf sechs Datensätzen (MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience). ConOrd erreichte den besten mittleren absoluten Fehler (MAE) auf allen Datensätzen außer CACD und übertraf damit starke Baselines wie OrdinalCLIP und NumCLIP (die textuelle Anleitung nutzen) sowie SLACE (das Informationen über die Klassendistribution nutzt).
Blind Image Quality Assessment (BIQA): Evaluiert auf fünf Datensätzen (BID, CLIVE, KonIQ10k, SPAQ, FLIVE). ConOrd übertraf bestehende Methoden sowohl beim Spearman's Rank Order Correlation Coefficient (SRCC) als auch beim Pearson's Linear Correlation Coefficient (PCC) auf allen Datensätzen und übertraf damit komplexe Transformer-basierte und Mamba-basierte Architekturen.
Blind Video Quality Assessment (BVQA): Evaluiert auf fünf Benchmarks (LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC). ConOrd erreichte konsistent die besten SRCC- und PCC-Werte und übertraf dabei Methoden, die mehrere Backbone-Netzwerke verwenden (z. B. ModularBVQA), während es weniger Backbones nutzt.
Ablationsstudien:
- Vergleiche mit $L_{SupCon}$ , $L_{RnC}$ und anderen kontrastiven Losses bestätigten, dass der weich gewichtete All-Pair-Vergleich überlegen ist.
- Die Kombination aus $L_{ConOrd}$ und $L_{center}$ lieferte die besten Ergebnisse, wobei $L_{center}$ die Intra-Klassen-Kompaktheit bereitstellte.
- Die vorgeschlagenen quadratischen Gewichtungsfunktionen erwiesen sich im Vergleich zu alternativen Funktionsformen als robust und effektiv.
- Die Methode zeigte Resilienz gegenüber reduzierten Trainingsdaten und Datenkorruption.

Bedeutung und Behauptungen

Das Paper behauptet, dass ConOrd eine flexible Grundlage für das ordinale Repräsentationslernen bietet, indem es die Lücke zwischen der globalen Konsistenz des kontrastiven Lernens und der expliziten ordinalen Modellierung des Ordnungslernens schließt.

Generalisierung: Das Framework wird als allgemeine Lösung präsentiert, die für verschiedene Szenarien der ordinalen Regression anwendbar ist und nicht auf eine spezifische Domäne beschränkt ist.
Effizienz: Die Methode ist rechentechnisch effizient, da sie keine Datenaugmentation und dynamische Negativ-Sampling benötigt, wie es einige Baselines tun, was zu schnelleren Trainingszeiten führt.
Stabilität: Es wird behauptet, dass der Soft-Weighting-Mechanismus eine stabile Optimierung ermöglicht und die mit naiven logarithmischen Losses verbundene Gradienteninstabilität oder den Informationsverlust durch harte Schwellenwerte vermeidet.

Die Autoren kommen zu dem Schluss, dass ConOrd durch die Einbeziehung von rangbewusster Anziehung und Abstoßung mittels weicher Gewichte ermöglicht, dass alle Stichprobenpaare in einer prinzipiellen Weise zum Lernen beitragen, was zu robusten und leistungsstarken Modellen der ordinalen Regression führt.