🤖 machine learning

The Representation-Rationalizability Tradeoff in Reward Learning

Diese Arbeit rahmt die Unmöglichkeit der konsistenten Belohnungslernens aus heterogenen paarweisen Präferenzen als einen grundlegenden Zielkonflikt in modernen RLHF-Pipelines um und zeigt auf, dass reichere Antwortrepräsentationen den Repräsentationsfehler reduzieren, während sie gleichzeitig den Aggregationsfehler erhöhen, indem sie mehr inkonsistente Vergleiche offenlegen, die durch keinen Skalarwert gelöst werden können.

Ursprüngliche Autoren: Jing Dong, Yaoliang Yu, Pascal Pourpart

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jing Dong, Yaoliang Yu, Pascal Pourpart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „menschlicher Geschmack“-Problem

Stellen Sie sich vor, Sie versuchen, einen Roboter-Koch zu bauen. Um ihm beizubringen, was „gutes“ Essen ist, bitten Sie 1.000 verschiedene Menschen, zwei Gerichte zu probieren (Gericht A und Gericht B) und abzustimmen, welches sie bevorzugen.

In der Welt der KI (speziell RLHF) passiert genau das. Wir haben einen Prompt (die Rezeptanfrage) und zwei Antworten (die Gerichte). Menschen stimmen ab, welche besser ist. Das Ziel ist es, einen einzigen „Punktezähler“ (ein Belohnungsmodell) zu erstellen, der jedem Gericht eine Zahl zuweist und vorhersagt, was die Gruppe der Menschen bevorzugen würde.

Die Kernbotschaft der Arbeit:
Die Autoren argumentieren, dass die Art und Weise, wie wir diese Gerichte in Kategorien organisieren (die „Repräsentation“), eine fundamentale Falle darstellt. Wenn Sie die Kategorien zu einfach machen, verlieren Sie Details. Wenn Sie sie zu detailliert machen, erschaffen Sie ein logisches Paradoxon, das kein einzelner Wert lösen kann.

Analogie 1: Die „unscharfe vs. hyper-scharfe“ Kamera

Stellen Sie sich vor, Sie machen ein Foto von einer Menschenmenge, um zu entscheiden, wer der „beste“ Tänzer ist.

Option A: Die unscharfe Linse (Einfache Repräsentation)
Sie verwenden eine sehr unscharfe Kamera. Auf diesem Foto sehen drei unterschiedliche Tänzer (Alice, Bob und Charlie) alle wie derselbe Farbklecks aus.

Das Ergebnis: Ihr Punktezähler sieht sie als identisch an. Er gibt ihnen alle die gleiche Punktzahl.
Das Problem: Sie haben Informationen verloren. Vielleicht ist Alice eigentlich großartig, aber weil sie in Ihrem unscharfen Foto wie Bob aussieht (der schrecklich ist), können Sie den Unterschied nicht erkennen. Dies ist der Embedding Loss (Einbettungsverlust). Sie haben nützliche Details verwornt.

Option B: Die 4K-Ultra-HD-Linse (Reiche Repräsentation)
Sie wechseln zu einer super-scharfen Kamera. Jetzt können Sie jedes Muttermal und jedes Haar sehen. Alice, Bob und Charlie sehen völlig unterschiedlich aus.

Das Ergebnis: Ihr Punktezähler kann jeden klar sehen.
Das neue Problem: Weil Sie sie so deutlich sehen können, bemerken Sie einen Widerspruch in den Stimmen der Menge.
- Die Menge sagt: „Alice ist besser als Bob.“
- Die Menge sagt: „Bob ist besser als Charlie.“
- Die Menge sagt auch: „Charlie ist besser als Alice.“
Das Paradoxon: Dies wird als Condorcet-Zyklus bezeichnet (eine Abstimmungsschleife). Es ist wie Schere-Stein-Papier. Egal, welche Zahl Sie Alice, Bob und Charlie zuweisen, Sie können nicht alle drei Stimmen gleichzeitig erfüllen. Wenn Sie Alice eine hohe Punktzahl geben, widersprechen Sie der Stimme, die besagt, dass Charlie besser ist.
Der Fachbegriff der Arbeit: Dies ist der Agreement Cost (Zustimmungs-Kosten). Je mehr Details Sie zeigen, desto mehr dieser unmöglichen Schleifen legen Sie offen.

Der Tradeoff: Die „Goldlöckchen-Zone“

Die Arbeit beweist, dass Sie nicht einfach die Kamera immer schärfer stellen können, um eine perfekte Punktzahl zu erhalten.

Zu einfach: Sie übersehen die Unterschiede (Hoher Embedding Loss).
Zu komplex: Sie legen zu viele Widersprüche offen, die eine einzelne Zahl nicht lösen kann (Hoher Agreement Cost).
Genau richtig: Es gibt einen „Sweet Spot“ in der Mitte. Sie wollen genug Details, um die Tänzer voneinander zu unterscheiden, aber nicht so viele Details, dass Sie eine logische Schleife auslösen, die das Bewertungssystem sprengt.

Die überraschende Erkenntnis:
Die Arbeit zeigt, dass das „perfekte“ Maß an Detail genau davon abhängt, welche spezifische Gruppe von Menschen Sie fragen. Was für eine Gruppe von Jazz-Liebhabern funktioniert, kann für eine Gruppe von Klassik-Fans scheitern. Es gibt keine universelle „beste“ Einstellung.

Analogie 2: Der „Gruppenprojekt“-Manager

Stellen Sie sich vor, Sie sind ein Manager, der versucht, seine Mitarbeiter basierend auf dem Feedback eines Komitees einzustufen.

Der „grobe“ Manager: Sie gruppieren Mitarbeiter nach „Abteilung“. Sie sagen dem Komitee: „Wer ist besser: die Marketing-Abteilung oder die Engineering-Abteilung?“
- Vorteile: Leicht zu entscheiden.
- Nachteile: Sie ignorieren, dass der beste Marketer vielleicht schlechter sein könnte als der beste Ingenieur. Sie verlieren die Nuancen.
Der „hyper-detaillierte“ Manager: Sie gruppieren Mitarbeiter nach „Name, Schuhgröße und Lieblingsfarbe“.
- Vorteile: Sie haben perfekte Daten.
- Nachteile: Das Feedback des Komitees ist chaotisch. Sie sagen: „John (der Blau mag) ist besser als Mary“, „Mary ist besser als Steve“, aber „Steve ist besser als John“.
- Der Absturz: Sie versuchen, für jeden eine einzige Leistungsbewertung zu schreiben. Das gelingt Ihnen nicht. Die Mathematik bricht zusammen, weil die Präferenzen einen Kreis bilden. Je spezifischer Sie werden, desto mehr Kreise finden Sie.

Was ist mit dem KI-Training? (Die „Joint Training“-Falle)

In der modernen KI versuchen wir oft, die „Kamera“ (die Repräsentation) und den „Punktezähler“ (die Belohnung) gleichzeitig zu trainieren, in der Hoffnung, dass sie das perfekte Gleichgewicht von selbst finden.

Die Warnung der Arbeit:
Die Autoren zeigen, dass dieses „Joint Training“ (gemeinsame Training) nicht automatisch den Sweet Spot findet.

Stellen Sie sich vor, Sie versuchen, auf einem Seil zu balancieren, während Sie jonglieren. Die Arbeit beweist, dass wenn Sie versuchen, das Seil (die Repräsentation) und das Jonglieren (die Belohnung) gleichzeitig anzupassen, Sie am Ende vielleicht nur im Kreis drehen oder herunterfallen.
Das System kann in einen Zustand geraten, in dem der „Punktezähler“ aufhört, unterschiedliche Punktzahlen zu vergeben (zu einer Konstante wird) – er gibt die Aufgabe quasi auf, weil die Widersprüche zu chaotisch sind.

Zusammenfassung der Ergebnisse

Die Zerlegung: Der Fehler in KI-Belohnungsmodellen besteht aus zwei Teilen:
- Information Loss (Informationsverlust): Was Sie übersehen haben, weil Sie zu vage waren.
- Agreement Cost (Zustimmungs-Kosten): Der Abzug für das Aufdecken von Widersprüchen, die eine einzelne Punktzahl nicht lösen kann.
Der Tradeoff: Während Sie die KI „schlauer“ machen (detaillierter), geht der erste Fehler nach unten, aber der zweite Fehler geht nach oben.
Das Fazit: Sie können nicht einfach mehr Rechenleistung oder komplexere Modelle auf das Problem werfen. Sie müssen das spezifische Detailniveau finden, das zu dem spezifischen Datensatz passt, mit dem Sie arbeiten. Manchmal ist es tatsächlich besser, etwas „unscharf“ zu sein, als perfekt scharf, um das Endergebnis zu optimieren.

Kurz gesagt: Bei dem Versuch, einer KI menschliche Vorlieben beizubringen, ist mehr Detail nicht immer besser. Manchmal offenbart ein zu klarer Blick ein Chaos, das eine einfache Punktzahl nicht bewältigen kann.

Technisches Resümee: Der Tradeoff zwischen Repräsentation und Rationalisierbarkeit beim Reward Learning

Problemstellung

In der Reinforcement Learning from Human Feedback (RLHF) besteht die zentrale Lernaufgabe darin, heterogene paarweise Präferenzen von mehreren Annotatoren in eine einzige skalare Belohnungsfunktion $r(x, y)$ zu überführen. Die klassische Theorie der sozialen Wahl (Social Choice Theory) legt dar, dass gepoolte Präferenzen bei heterogenen Annotatorenproben Condorcet-Zyklen induzieren können (z. B. $A \succ B$ , $B \succ C$ , $C \succ A$ ), was es unmöglich macht, dass eine skalare Belohnung alle Antwortpaare konsistent rankt.

Während die jüngere Literatur RLHF unter dem Aspekt der sozialen Wahl analysiert hat, gehen diese Arbeiten typischerweise von einer festen, vorab enumerierten endlichen Menge an Alternativen aus. In modernen Pipelines hingegen werden Antworten über eine gelernte Repräsentation $\phi(x, y)$ und einen skalaren Kopf $g$ bewertet, sodass $r(x, y) = g(\phi(x, y))$ gilt. Das Embedding $\phi$ bestimmt, welche Antworten als unterscheidbare Alternativen behandelt werden und welche Vergleiche für das Belohnungsmodell sichtbar sind. Diese Arbeit untersucht die fundamentale Frage: Verbessert eine Erhöhung der repräsentativen Reichhaltigkeit von $\phi$ immer die Anpassung an die menschlichen Präferenzen?

Die Autoren argumentieren, dass die gängige Intuition – dass reichere Repräsentationen mehr Signale liefern und somit eine bessere Anpassung ermöglichen – unvollständig ist. Stattdessen verändert das Embedding selbst das Aggregationsproblem. Eine Verfeinerung von $\phi$ führt dazu, dass weniger Antworten kollabieren, wodurch ehemals ununterscheidbare Paare in distinkte Alternativen umgewandelt werden. Während dies den Informationsverlust reduziert, setzt es gleichzeitig mehr paarweise Vergleiche frei, die zyklisch sein können und die sich nicht auflösen lassen – Zyklen, die keine skalare Belohnung rationalisieren kann.

Methodik und theoretischer Rahmen

1. Dekomposition des überschüssigen Verlusts (Excess Loss)

Das Paper formalisiert das Lernproblem unter einem Random Utility Model (RUM) mit beliebiger Annotatoren-Heterogenität. Die Autoren definieren den überschüssigen Kreuzentropie-Verlust (excess cross-entropy loss) einer gelernten Belohnung $r$ relativ zum Bayes-optimalen Verlust $L^*$ (der bestmöglichen Performance bei perfekter Kenntnis der gepoolten Präferenzen).

Sie beweisen, dass sich dieser überschüssige Verlust exakt in zwei Terme zerlegt:
$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$

Embedding-Verlust ( $E_{\text{emb}}$ ): Misst die Information, die verloren geht, wenn das Embedding $\phi$ unterscheidbare Antworten auf denselben Punkt kollabieren lässt. Dieser Term sinkt, wenn $\phi$ reicher wird (höherdimensional oder expressiver).
Agreeability-Kosten ( $E_{\text{agr}}$ ): Misst die Unvereinbarkeit der gepoolten Präferenzen. Selbst wenn $\phi$ alle Unterscheidungen perfekt bewahrt (injektiv ist), können die gepoolten Präferenzen Zyklen enthalten, die verhindern, dass eine skalare Belohnung sie gleichzeitig rationalisiert. Dieser Term steigt, wenn $\phi$ reicher wird, da er mehr potenzielle Zyklen offenlegt.

2. Untergrenzen und Tradeoff-Analyse

Die Autoren leiten eine Untergrenze für den überschüssigen Verlust ab, die das Spannungsverhältnis zwischen diesen beiden Termen explizit quantifiziert:
$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$
Wobei:

$e_d$ der Embedding-Fehler ist (bezogen auf $E_{\text{emb}}$ ), welcher mit der Embedding-Dimension $d$ monoton nicht-steigend ist.
$\bar{P}_d^\delta$ die krümmungsgewichtete Wahrscheinlichkeit von Condorcet-Zyklen ist, die bei Dimension $d$ sichtbar sind, und welche mit $d$ nicht-abnehmend ist.
$\ell_\delta$ eine margenabhängige Konstante ist.

Unter moderaten Annahmen (insbesondere, dass die durch das Embedding erzeugte $\sigma$ -Algebra mit der Dimension wächst), zeigt das Paper, dass die Untergrenzen der beiden Terme in entgegengesetzte Richtungen verlaufen. Folglich können sowohl extrem grobe als auch extrem feine Repräsentationen suboptimal sein, was die Existenz einer optimalen Embedding-Dimension impliziert, die datensatzabhängig ist.

3. Erweiterungen auf DPO und gemeinsames Training (Joint Training)

Direct Preference Optimization (DPO): Die Autoren zeigen, dass dieselbe Dekomposition und die Struktur der Untergrenze auch auf DPO anwendbar sind, womit sie belegen, dass der Tradeoff zwischen Repräsentation und Rationalisierbarkeit auch das präferenzbasierte Policy-Learning steuert, selbst ohne ein explizites Belohnungsmodell.
Gemeinsames Training (Joint Training): Das Paper analysiert die Dynamik des simultanen Trainings von Embedding und Belohnungskopf. Sie beweisen, dass gemeinsame Updates nicht garantieren, dass einer der beiden Tradeoff-Terme pro Runde sinkt. Speziell verschieben die Optimierungsdynamiken den Embedding-Fehler und die Zykluswahrscheinlichkeit über Reward-Tilt-Kovarianzen. An jedem Fixpunkt des gemeinsamen Updates wird die Belohnung auf den Daten konstant, wodurch kein Präferenzsignal mehr vorhanden ist. Somit führt das gemeinsame Training nicht implizit zum „Sweet Spot“ des Tradeoffs.

Zentrale Ergebnisse

Theoretische Erkenntnisse

Exakte Dekomposition: Der überschüssige Verlust ist strikt die Summe aus einem Embedding-Verlust (Informationsverlust) und einem Agreement-Kosten-Term (Versagen der Rationalisierbarkeit).
Monotonie: Unter Standardannahmen (z. B. verschachtelte $\sigma$ -Algebren) führt eine Erhöhung der Embedding-Dimension zu einem sinkenden Embedding-Verlust, aber zu einem steigenden unteren Grenzwert der Agreement-Kosten (Zykluswahrscheinlichkeit).
Nicht-Konvexität der Optimierung: Ein gemeinsames Training von Embeddings und Belohnungen garantiert nicht, den optimalen Tradeoff zu finden; es kann in degenerierten Punkten stagnieren, an denen die Belohnung konstant ist.

Empirische Validierung

Experimente wurden durchgeführt auf:

Synthetischen Daten: Generiert mit transitiven, zyklischen und verrauschten Nutzenkomponenten.
Realen Datensätzen: Jester (Witz-Bewertungen), Sushi (Sushi-Präferenzen) und MT-Bench (LLM-Dialog-Präferenzen).

Beobachtungen:

Mit steigender Embedding-Dimension sinkt der Embedding-Verlust, während die Agreement-Kosten steigen.
Der gesamte überschüssige Verlust weist oft ein Minimum bei einer mittleren Embedding-Dimension auf, was den theoretischen Tradeoff validiert.
Diese Trends gelten sowohl für explizite Belohnungsmodellierung (RLHF) als auch für implizite Belohnungsextraktion (DPO) über verschiedene vortrainierte Encoder hinweg (z. B. all-MiniLM-L6-v2, mpnet).
Visualisierungen von synthetischen Daten zeigen, dass mit steigender Dimension der Bereich im Embedding-Raum, in dem Antworten Condorcet-Zyklen bilden, expandiert, was bestätigt, dass reichere Repräsentationen unvereinbare Präferenzen offenlegen.

Bedeutung und Behauptungen

Das Paper beansprucht, das Verständnis der Belohnungsmodellierung in RLHF von einer rein repräsentativen Herausforderung hin zu einem Aggregationsproblem zu verschieben. Die primäre Bedeutung liegt in der Identifizierung des gelernten Embeddings nicht nur als Merkmalsextraktor, sondern als strukturelle Komponente, die die Menge der verfügbaren Alternativen für den Vergleich definiert.

Zentrale Behauptungen sind:

Limitierung skalare Belohnungen: Die Unmöglichkeit einer konsistenten skalaren Rankung in Gegenwart heterogener Präferenzen ist nicht nur ein statistisches Artefakt, sondern eine steuerbare Eigenschaft, die von der Repräsentation abhängt.
Optimale Komplexität: Es gibt keine „Mehr ist besser“-Regel für die Reichhaltigkeit der Repräsentation in RLHF; die optimale Dimension ist ein Gleichgewicht zwischen der Erfassung von Präferenzunterschieden und der Vermeidung der Exponierung irreduzibler Zyklen.
Trainingsdynamik: Standardmäßige gemeinsame Trainingsverfahren navigieren nicht automatisch durch diesen Tradeoff, was darauf hindeutet, dass aktuelle RLHF-Pipelines ohne explizite Berücksichtigung dieses Spannungsverhältnisses zwischen Repräsentation und Aggregation suboptimal sein könnten.

Die Autoren nehmen eine bescheidene Haltung ein und merken an, dass ihre Arbeit primär theoretischer Natur ist und keine neuen Modelle oder einsatzbereiten Systeme vorschlägt, sondern vielmehr eine fundamentale Limitierung aktueller skalara Belohnungsmodellierungs-Ansätze unter heterogenem menschlichem Feedback klärt.