🤖 machine learning

Calibrated Preference Learning: The Case of Label Ranking

Dieses Paper etabliert formal eine Hierarchie von Kalibrierungskonzepten für das probabilistische Label-Ranking, zeigt auf, dass bestehende Modelle diese Kalibrierung oft vermissen lassen, und legt dar, dass Kalibrierung als eine eigenständige und wertvolle Qualitätsmetrik für Belohnungsmodelle über die Standardgenauigkeit hinaus dient.

Ursprüngliche Autoren: Santo M. A. R. Thies, Viktor Bengs, Timo Kaufmann, Sebastian J. Vollmer, Eyke Hüllermeier

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Santo M. A. R. Thies, Viktor Bengs, Timo Kaufmann, Sebastian J. Vollmer, Eyke Hüllermeier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wetterprognostiker. Wenn Sie sagen, die Regenwahrscheinlichkeit liegt bei 70 %, und es an genau 70 % der Tage regnet, an denen Sie diese Vorhersage treffen, sind Sie kalibriert. Ihr Vertrauen entspricht der Realität. Wenn es nur an 30 % der Tage regnet, sind Sie übermäßig selbstbewusst und unzuverlässig.

In dieser Arbeit geht es darum, dieselbe Idee des „Abgleichs von Vertrauen mit der Realität“ auf eine spezifische Art von KI-Problem anzuwenden, das Label Ranking genannt wird.

Das Problem: Ranking vs. Raten

Normalerweise sind KI-Modelle gut darin, einfache Entscheidungen zu treffen: „Ist das eine Katze oder ein Hund?“ oder „Wird es regnen?“ Aber beim Label Ranking muss die KI eine ganze Liste von Dingen ordnen.

Beispiel: Stellen Sie sich vor, Sie haben fünf Filme. Die KI wählt nicht einfach nur den besten aus; sie muss die gesamte Reihenfolge vorhersagen: Film A ist Platz 1, Film B ist Platz 2, Film C ist Platz 3 und so weiter.

Die Arbeit argumentt, dass wir zwar wissen, wie man prüft, ob eine KI gut darin ist, einen einzelnen Gewinner zu wählen, aber wir noch nicht herausgefunden haben, wie man prüft, ob sie gut darin ist, die gesamte Liste mit dem richtigen Maß an Vertrauen vorherzusagen.

Der „naive“ Fehler

Ein Weg, dies zu lösen, besteht darin, jede mögliche Liste als eine separate Kategorie zu behandeln. Wenn Sie 5 Filme haben, gibt es 120 mögliche Reihenfolgen (5 x 4 x 3 x 2 x 1). Man könnte dies wie ein Spiel mit 120 verschiedenen Boxen behandeln.

Der Fehler: Dies ist so, als würde man versuchen, jedes einzelne Sandkorn an einem Strand zu zählen, um zu prüfen, ob man die richtige Menge hat. Das ist rechnerisch unmöglich für große Listen.
Das fehlende Puzzleteil: Es ignoriert auch die Struktur. Wenn die KI zuversichtlich ist, dass Film A besser als Film B ist, sollte das zählen, selbst wenn sie den Rest der Liste falsch macht. Die „naive“ Methode übersieht diese kleineren, nützlichen Hinweise.

Die Lösung: Eine Hierarchie der „Kalibrierung“

Die Autoren schlagen ein neues Framework mit verschiedenen Ebenen der Überprüfung vor, ähnlich wie das Zoomen auf einer Landkarte:

Full-Rank Calibration (Die gesamte Karte): Die KI sagt die Wahrscheinlichkeit für jede einzelne mögliche Reihenfolge voraus. Wenn sie sagt, es gibt eine 10 %ige Chance für Reihenfolge X, dann sollte Reihenfolge X auch in 10 % der Fälle eintreten. Dies ist der schwierigste Standard, den es zu erfüllen gilt.
Sub-Ranking Calibration (Hineinzoomen): Wir interessieren uns nur für kleine Abschnitte. Zum Beispiel: „Ist die KI zuversichtlich, dass Film A besser als Film B ist?“ Die Arbeit zeigt, dass man darin gut zu sein, die gesamte Karte zu beherrschen, nicht automatisch auch gut darin ist, die hineingezoomten Abschnitte zu beherrschen, und umgekehrt.
Top-K Calibration (Die Schlagzeilen): Oft interessieren wir uns nur für die obersten 3 oder 5 Artikel. „Ist die KI zuversichtlich, dass Film A unter den Top 3 ist?“ Dies ist eine andere Art der Prüfung, die ebenfalls nicht automatisch durch die anderen beiden garantiert wird.

Die große Entdeckung: Die Autoren haben mathematisch bewiesen, dass diese unabhängig sind. Man kann eine KI haben, die perfekt darin ist, die Top-3-Filme vorherzusagen, aber schlecht darin, die vollständige Liste vorherzusagen. Man kann eine KI haben, die großartig in der vollständigen Liste ist, aber bei spezifischen Paaren verwirrt ist. Es sind unterschiedliche Fähigkeiten.

Realweltliche Tests: Die „Film“- und „Politik“-Prüfungen

Die Forscher haben populäre KI-Modelle (wie Plackett-Luce und Mallows) an echten Daten getestet, wie zum Beispiel:

Filme: Das Ranking von 15 verschiedenen Filmen.
Politik: Das Ranking von 6 politischen Parteien basierend auf Nutzerpräferenzen.

Die Ergebnisse:

Die meisten dieser populären Modelle waren schlecht kalibriert. Sie waren oft übermäßig selbstbewusst oder untermäßig selbstbewusst.
Ein Modell kann großartig darin sein, die Top-2-Filme vorherzusagen, aber beim Rest der Liste völlig falsch liegen.
Sie testeten auch Modelle, die in der RLHF (Reinforcement Learning from Human Feedback) verwendet werden, welche die Technologie ist, mit der Large Language Models (wie das, mit dem Sie gerade sprechen) trainiert werden, um hilfreich und sicher zu sein. Sie fanden heraus, dass die Kalibrierung hier eine separate Qualität von der bloßen „richtigen“ Antwort ist. Ein Modell kann präzise sein, aber dennoch eine „aus dem Gleichgewicht geratene“ Kalibrierung bei seinem Vertrauen haben.

Warum das wichtig ist

Denken Sie an die Kalibrierung als den Honnesty-Meter (Ehrlichkeitsmesser) der KI.

Wenn eine KI sagt: „Ich bin mir zu 99 % sicher, dass dies der beste Film ist“, aber in 50 % der Fälle richtig liegt, lügt sie Sie an (oder vielmehr: sie ist verwirrt).
Wenn eine KI sagt: „Ich bin mir nur zu 50 % sicher“, aber in 99 % der Fälle richtig liegt, ist sie zu bescheiden.

Die Arbeit kommt zu dem Schluss, dass wir neue Werkzeuge benötigen, um diese „Ehrlichkeit“ speziell für Ranking-Aufgaben zu messen. Wir können nicht einfach die alten Werkzeuge verwenden, die für einfache „Ja/Nein“-Fragen entwickelt wurden. Indem wir diese verschiedenen Ebenen der Kalibrierung verstehen (vollständige Liste vs. Top-Artikel vs. Paare), können wir KI-Systeme bauen, die nicht nur die richtige Antwort liefern, sondern uns auch sagen, wie sicher sie sich sind – und zwar auf eine Weise, die tatsächlich der Realität entspricht.

Technisches Resümee: Kalibrierte Präferenzlernung: Der Fall des Label-Rankings

Problemstellung

Probabilistisches Label-Ranking (ProLR) zielt darauf ab, eine Wahrscheinlichkeitsverteilung über die möglichen Ordnungen einer Menge von Elementen gegeben einen Kontext vorherzusagen. Während die Kalibrierung – die Übereinstimmung von vorhergesagten Wahrscheinlichkeiten mit den wahren Ergebnishäufigkeiten – bei Klassifikation und Regression gut untersucht ist, wurde sie für ProLR bisher nicht formal adressiert.

Die Behandlung von Label-Ranking als Standard-Multiklassen-Klassifikationsproblem (wobei jede eindeutige Rangfolge eine Klasse darstellt) ist aus mehreren Gründen unzureichend:

Rechentechnische Unbehandbarkeit: Die Anzahl der Ranking-Klassen wächst faktoriell ( $m!$ ), was eine quantitative Messung der Kalibrierung selbst bei einer moderaten Anzahl von Elementen schwierig macht.
Strukturelle Ignoranz: Naive Klassifikation ignoriert die metrische Struktur des Ranking-Raums. Beispielsweise werden zwei Rankings, die eine gemeinsame Teil-Rangfolge teilen (z. B. $i_1 \succ i_2 \succ i_3$ und $i_1 \succ i_3 \succ i_2$ ), als disjunkte Klassen behandelt, wodurch versäumt wird zu erfassen, dass eine Kalibrierung auf der einen die Kalibrierung auf der anderen induzieren kann.
Praktische Modalitäten: Wichtige anwendungsspezifische Modalitäten, wie etwa paarweise Vergleiche und Top- $k$ -Vorhersagen, werden durch Metriken der vollen Ranking-Klassifikation nicht natürlich erfasst.

Diese Lücke ist besonders kritisch in Anwendungen wie dem Reinforcement Learning from Human Feedback (RLHF), bei dem Belohnungsmodelle (Reward Models) auf paarweisen Präferenzen (Teilstrukturen voller Rankings) beruhen, um Large Language Models (LLMs) mit menschlichen Präferenzen in Einklang zu bringen.

Methodik

Die Autoren formalisieren die Kalibrierung für das Label-Ranking, indem sie eine Hierarchie von Kalibrierungsbegriffen entwickeln, die über die Sichtweise der Multiklassen-Klassifikation hinausgehen. Sie definieren Kalibrierung auf verschiedenen Granularitätsstufen:

1. Full-Rank-Kalibrierung

Full-Rank-Kalibrierung: Analog zur starken Kalibrierung in der Multiklassen-Klassifikation. Ein Modell ist full-rank kalibriert, wenn für jede vorhergesagte Verteilung $p$ über alle Rankings die empirische Häufigkeit des wahren Rankings $\pi$ mit $p[\pi]$ übereinstimmt.
Rankwise-Kalibrierung: Analog zur schwachen Kalibrierung. Ein Modell ist rankwise kalibriert, wenn für jede zugewiesene Wahrscheinlichkeit $\alpha$ für ein spezifisches Ranking $\pi$ die empirische Häufigkeit von $\pi$ unter den Instanzen, bei denen $h(x)[\pi]=\alpha$ gilt, exakt $\alpha$ entspricht.

2. Marginale Kalibrierung (Teil-Rankings und Top- $k$ )

Das Paper führt die Kalibrierung für Projektionen der vollen Ranking-Verteilung ein:

Sub- $k$ -Kalibrierung: Konzentriert sich auf Teilmengen von Elementen $B$ ( $|B|=k$ ). Sie erfordert, dass die marginale Verteilung über die Rankings von $B$ kalibriert ist. Dies schließt die paarweise Kalibrierung ( $k=2$ ) ein, welche zentral für RLHF ist.
Top- $k$ -Kalibrierung: Konzentriert sich auf die obersten $k$ Positionen der Rangfolge. Sie erfordert, dass die marginale Verteilung der Top- $k$ -Elemente kalibriert ist.

3. Schwächere Varianten

Ähnlich wie bei der Unterscheidung zwischen starker und schwacher Kalibrierung definieren die Autoren Rankwise Sub- $k$ und Rankwise Top- $k$ Kalibrierung, die sich nur auf die Wahrscheinlichkeit einer spezifischen Teil-Rangfolge statt auf die gesamte marginale Verteilung bedingen.

Theoretischer Rahmen

Das Paper etabliert eine Hierarchie der Implikationen und Exklusionen zwischen diesen Begriffen (visualisiert in Abbildung 1):

Implikationen: Full-Rank-Kalibrierung impliziert sowohl Rankwise- als auch Sub- $k$ - und Top- $k$ -Kalibrierung. Sub- $k$ - (und Top- $k$ -) Kalibrierung impliziert die jeweiligen Rankwise-Varianten.
Nicht-Implikationen:
- Sub- $k$ -Kalibrierung impliziert keine Full-Rank-Kalibrierung (Modifikationen an der vollen Verteilung können sich in der Marginalen gegenseitig aufheben).
- Top- $k$ -Kalibrierung impliziert keine Full-Rank-Kalibrierung.
- Sub- $k$ - und Top- $k$ -Kalibrierung sind inkomparabel; ein Modell kann sub- $k$ -kalibriert, aber nicht top- $k$ -kalibriert sein und umgekehrt.
- Rankwise-Kalibrierung (voll oder sub- $k$ ) impliziert weder die stärkeren marginalen Kalibrierungsbegriffe noch die anderen Rankwise-Varianten.

Diese Beziehungen gelten für allgemeine Modellklassen, einschließlich der weit verbreiteten Plackett–Luce- und Mallows-Modelle.

Empirische Evaluierung

Die Autoren evaluieren populäre Label-Ranking-Modelle (Plackett–Luce, Mallows, Ranking by Pairwise Comparison und einen neuronalen RankClassifier) auf realen Datensätzen (Filme, Politik) und RLHF-Belohnungsmodellen (RewardBench2).

Metriken: Sie verwenden den Expected Calibration Error (ECE), adaptiert für das Ranking durch Binning der vorhergesagten Wahrscheinlichkeiten und den Vergleich mit empirischen Häufigkeiten. Aufgrund des faktoriellen Wachstums der Klassen beschränken sie die ECE-Berechnung auf die 95 % der am häufigsten beobachteten Rankings.
RLHF-Analyse: Sie untersuchen die Korrelation zwischen Kalibrierung (Top-1 ECE) und Benchmark-Genauigkeit in RewardBench2.

Kernergebnisse

Mangelhafte Kalibrierung in populären Modellen: Empirische Ergebnisse zeigen, dass populäre Label-Ranking-Modelle (Plackett–Luce, Mallows) oft schlecht kalibriert sind, insbesondere wenn die Anzahl der Elemente zunimmt.
Divergenz der Metriken: Es gibt erhebliche Unterschiede zwischen Sub-Ranking- und Top- $k$ -Kalibrierungsmetriken. Ein Modell kann bei einer Metrik gut abschneiden, während es bei der anderen versagt, was die theoretische Inkomparabilität bestätigt.
RLHF-Belohnungsmodelle: Im Kontext von RLHF korreliert Kalibrierung stark, aber nicht perfekt, mit der Benchmark-Genauigkeit. Dies deutet darauf hin, dass Kalibrierung eine bedeutsame Qualitätsdimension erfasst, die über die Top-1-Genauigkeit hinausgeht.
Rank-Breaking-Effekte: Modelle, die mittels „Rank Breaking“ trainiert wurden (z. B. Lernen von paarweisen Präferenzen und Aggregation dieser in eine volle Verteilung), zeigen oft eine schlechtere Kalibrierung im Vergleich zu Modellen, die direkt auf paarweisen Daten oder vollen Rankings trainiert wurden.

Bedeutung und Beiträge

Das Paper beansprucht folgende Beiträge:

Formalisierung: Es führt eine maßgeschneiderte Hierarchie von Kalibrierungsbegriffen für das probabilistische Label-Ranking ein und bewegt sich damit über die Limitationen der Betrachtung des Problems als Multiklassen-Klassifikation hinaus.
Theoretische Vereinheitlichung: Es liefert ein einheitliches theoretisches Bild der Beziehungen zwischen diesen Begriffen und beweist, dass Kalibrierung auf Teil-Rankings keine Kalibrierung auf volle Rankings impliziert, selbst für Standardmodelle wie Plackett–Luce und Mallows.
Empirische Erkenntnis: Es demonstriert, dass existierende Label-Ranking-Lerner häufig falsch kalibriert sind und dass Kalibrierung eine distinkte, wertvolle Metrik für RLHF-Belohnungsmodelle darstellt, die potenziell tiefergehende Einblicke als Standard-Genauigkeits-Benchmarks bietet.

Die Autoren kommen zu dem Schluss, dass diese Ergebnisse die Notwendigkeit für zukünftige Arbeiten unterstreichen, die sich mit den Auswirkungen von Fehlkalibrierung auf nachgelagerte Prozesse und der Entwicklung spezifischer Methoden zu deren Korrektur in Label-Ranking-Aufgaben befassen. Sie merken explizit an, dass ihre Arbeit zwar grundlegend ist, aber die Notwendigkeit von Kalibrierungstechniken aufzeigt, die speziell für das probabilistische Label-Ranking entwickelt wurden, anstatt Klassifikationsmethoden lediglich zu adaptieren.