📊 statistics

Preference Learning for AI Alignment: a Causal Perspective

Dieser Beitrag schlägt einen kausalen Rahmen für das Reward-Modelling im Bereich der KI-Ausrichtung vor, um Herausforderungen wie kausale Fehlzuschreibungen und Konfundierung zu adressieren, und zeigt auf, wie kausal inspirierte Ansätze im Vergleich zu naiven Methoden die Robustheit und Generalisierung von Modellen verbessern können.

Ursprüngliche Autoren: Katarzyna Kobalczyk, Mihaela van der Schaar

Veröffentlicht 2026-05-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Katarzyna Kobalczyk, Mihaela van der Schaar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: KI beibringen, „gut" zu sein

Stellen Sie sich vor, Sie trainieren einen sehr talentierten, aber naiven Lehrling (die KI), um Geschichten zu schreiben. Um ihn zu unterrichten, zeigen Sie ihm zwei Versionen eines Story-Endes und fragen: „Welche ist besser?" Der Lehrling lernt aus Ihren Antworten. Dieser Prozess wird Reward Modeling (Belohnungsmodellierung) genannt.

Das Papier argumentiert, dass die derzeitige Art, diese Lehrlinge zu unterrichten, fehlerhaft ist, weil wir die falschen Dinge betrachten. Wir verlassen uns auf einfache Muster (Statistik), anstatt die wahren Gründe (Kausalität) zu verstehen, warum Menschen bestimmte Geschichten mögen.

Das Problem: Die Falle der „Scheinkorrelation"

Die Autoren sagen, dass aktuelle KI-Modelle wie ein Schüler sind, der bei einer Prüfung schummelt, indem er das Format des Antwortkeys auswendig lernt, anstatt den Stoff zu lernen.

Die Analogie: Stellen Sie sich vor, Sie bewerten einen Kochwettbewerb. Sie bemerken, dass die Richter jedes Mal, wenn ein Koch eine rote Schürze trägt, ihm eine hohe Punktzahl geben.
- Der naive KI: Denkt: „Aha! Rote Schürzen lassen Essen besser schmecken!" Es beginnt allen Köchen zu sagen, rote Schürzen zu tragen.
- Die Realität: Die rote Schürze hatte nichts mit dem Geschmack zu tun. Die Köche mit den roten Schürzen waren zufällig die, die an diesem Tag die köstlichsten Gerichte zubereitet hatten. Die Schürze war nur ein Zufall (eine „Scheinkorrelation").
Die Konsequenz: Wenn Sie diese KI in eine neue Küche schicken, in der Köche blaue Schürzen tragen, wird sie kläglich scheitern, weil sie die falsche Regel gelernt hat. Sie hat nicht gelernt, was Essen tatsächlich gut macht; sie hat nur ein Muster gelernt, das zufällig in den Trainingsdaten existierte.

Das Kernproblem: Confounding (Der „versteckte Kontext")

Das Papier führt ein Konzept namens Confounding (Verzerrung) ein. Dies geschieht, wenn ein versteckter Faktor sowohl die „Behandlung" (was die KI sieht) als auch das „Ergebnis" (was der Mensch mag) beeinflusst.

Die Analogie: Stellen Sie sich vor, ein Lehrer bewertet Aufsätze.
- Gruppe A: Schüler, die Experten in Biologie sind, schreiben Aufsätze über komplexe medizinische Themen. Sie schreiben lange, voller Fachjargon steckende Antworten. Der Lehrer (der ebenfalls Biologe ist) liebt diese Antworten.
- Gruppe B: Schüler, die keine Experten sind, schreiben einfache Aufsätze über Gartenarbeit. Der Lehrer findet sie langweilig.
- Der Fehler: Wenn die KI nur die Daten betrachtet, könnte sie folgern: „Lange, voller Fachjargon steckende Antworten sind immer besser."
- Die Realität: Der Grund, warum der Lehrer die erste Gruppe mochte, war nicht die Länge oder der Fachjargon; es war, dass das Thema mit der Expertise des Lehrers übereinstimmte. Das „Thema" ist der versteckte Confounder. Die KI hat es versäumt zu erkennen, dass ein Biologie-Experte bei einem Gartenarbeit-Prompt möglicherweise tatsächlich eine einfache Antwort bevorzugen würde.

Das Papier behauptet, dass KI, weil sie auf Daten trainiert wird, die „opportunistisch" gesammelt wurden (Nutzer fragen, was immer sie wollen), diese versteckten Faktoren den Lernprozess durcheinanderbringen.

Die Lösung: Eine „kausale" Perspektive

Die Autoren schlagen vor, das Problem durch die Linse der Kausalität zu betrachten. Anstatt zu fragen: „Welche Muster sehen wir?", fragen sie: „Was würde passieren, wenn wir nur eine Sache ändern?"

Die Analogie: Anstatt nur den Kochwettbewerb zu beobachten, beschließt der Richter, ein kontrolliertes Experiment durchzuführen.
- „Wenn ich dieses exakt gleiche Gericht nehme, aber es in eine blaue Schüssel statt in eine rote lege, ändert sich dann die Punktzahl?"
- „Wenn ich diese Geschichte nehme und sie kürzer mache, aber die Handlung gleich lasse, werden die Leute sie dann immer noch mögen?"

Dieser Ansatz wird Intervention (Eingriff) genannt. Er hilft der KI zu verstehen, dass die Farbe der Schüssel (oder die Länge des Textes) nicht der magische Bestandteil ist; es ist der Inhalt, der zählt.

Das „latente" Geheimrezept

Das Papier schlägt vor, dass wir den Text nicht so betrachten können, wie er geschrieben ist. Wir müssen die Latenten Faktoren finden – die unsichtbaren Zutaten, die tatsächlich die menschliche Präferenz antreiben.

Die Analogie: Denken Sie an einen Text als einen Smoothie.
- Der Text: Das fertige Getränk.
- Die Latenten Faktoren: Die spezifischen Früchte, der Zucker und das Eis darin.
- Die KI muss lernen, die Früchte (Wahrhaftigkeit, Hilfsbereitschaft, Kreativität) zu schmecken, anstatt nur die Tasse, in der sie serviert wird (die spezifisch verwendeten Wörter).
- Wenn die KI lernt, dass „Wahrhaftigkeit" eine Schlüsselzutat ist, kann sie diese Regel auf jeden Smoothie anwenden, sogar auf einen neuen Geschmack, den sie noch nie probiert hat. Dies wird Generalisierung genannt.

Das Experiment: Den Punkt beweisen

Die Forscher testeten diese Idee mit einem Datensatz, bei dem sie zwei Gruppen von Richtern erstellten:

Gruppe 1: Sorgte sich nur darum, hilfreich zu sein.
Gruppe 2: Sorgte sich nur darum, harmlos zu sein.

In der realen Welt fragten diese Gruppen oft nach verschiedenen Arten von Geschichten, was zu einer verwirrenden Mischung führte.

Der alte Weg (Basis-Modell): Die KI wurde verwirrt. Sie dachte, „hilfreiche" Geschichten seien immer besser, selbst wenn der Richter „harmlose" wollte. Sie versagte, wenn sich die Regeln änderten.
Der neue Weg (Kausales/Adversariales Modell): Die Forscher bauten ein Modell, das versuchte, die „hilfreichen" Merkmale von den „harmlosen" Merkmalen zu trennen. Es lernte, das verwirrende Hintergrundrauschen zu ignorieren.
Das Ergebnis: Das neue Modell war viel besser darin zu erraten, was ein Richter mögen würde, selbst wenn der Richter gebeten wurde, eine Story-Art zu bewerten, die er normalerweise nicht sah. Es ließ sich nicht von den versteckten Mustern täuschen.

Das Fazit

Das Papier kommt zu dem Schluss, dass wir, um KI zu bauen, die wirklich mit menschlichen Werten übereinstimmt, aufhören müssen, nur zufällige Daten zu sammeln, und beginnen müssen, zielgerichtete Experimente zu entwerfen.

Aktuelle Praxis: „Hier sind 1.000 zufällige Fragen und Antworten. Finden Sie heraus, welche die Leute mögen." (Anfällig für Schummeln bei der Prüfung).
Vorgeschlagene Praxis: „Lassen Sie uns systematisch ein Merkmal der Antwort ändern (wie Länge oder Tonfall), während wir alles andere gleich lassen, und sehen, wie sich die Präferenz ändert." (Lernen der echten Regeln).

Durch die Verwendung dieses „kausalen" Ansatzes können wir KI bauen, die robust ist, nicht durch Zufälle verwirrt wird und mit neuen Situationen umgehen kann, die sie noch nicht gesehen hat.

Technische Zusammenfassung: Präferenzlernen für die AI-Ausrichtung: Eine kausale Perspektive

Problemstellung

Die Ausrichtung von Large Language Models (LLMs) an menschlichen Werten stützt sich stark auf Reinforcement Learning from Human Feedback (RLHF), insbesondere auf die Phase der Reward-Modellierung, in der Modelle aus paarweisen Präferenzdaten lernen. Aktuelle Ansätze behandeln dies typischerweise als statistisches Regressionsproblem und gehen davon aus, dass einfache Modelle, die an beobachtungsdatenbasierte Datensätze angepasst werden, sich effektiv auf ungesehene Prompt-Antwort-Paare verallgemeinern lassen.

Die Autoren argumentieren jedoch, dass dieser Optimismus fehl am Platz ist. Beobachtungspräferenzdaten werden häufig opportunistisch gesammelt, wobei Nutzer sowohl Prompts generieren als auch Antworten bewerten. Dies erzeugt ein komplexes Zusammenspiel zwischen der Sampling-Verteilung des LLM, latenten Merkmalen des Textes und nutzerspezifischen Kontexten (z. B. Expertise, Ziele). Folglich neigen Standard-Reward-Modelle dazu, spuriose Korrelationen statt echter kausaler Faktoren zu erlernen, was zu folgenden Problemen führt:

Kausale Fehlinvestition: Modelle erkennen Artefakte wie Länge oder Formatierung statt Qualität.
Präferenzheterogenität: Das Versäumnis, variierende Nutzerziele zu berücksichtigen, führt zu suboptimaler Leistung für bestimmte Untergruppen.
Konfundierung: Nutzerspezifische Faktoren beeinflussen sowohl die Art des generierten Prompts als auch das zugewiesene Präferenzlabel, wodurch die für kausale Inferenz erforderliche Annahme der Unkonfundiertheit verletzt wird.

Methodik: Ein kausales Rahmenwerk

Das Papier stellt das Präferenzlernen neu dar, indem es das Potential-Outcomes-Rahmenwerk aus der kausalen Inferenz verwendet.

1. Formale Aufstellung

Variablen: Sei $X$ der Prompt, $Y, Y'$ die Kandidatenantworten und $L \in \{0, 1\}$ das binäre Präferenzlabel.
Potenzielle Rewards: Die Autoren führen potenzielle Rewards $R(x, y)$ und $R'(x, y')$ ein, die den hypothetischen Reward darstellen, den ein Individuum einem beliebigen Prompt-Antwort-Paar zuordnen würde.
Bradley-Terry-Luce (BTL)-Modell: Die Präferenzwahrscheinlichkeit wird modelliert als $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$ .
Grundlegende Herausforderung: Nur das Ergebnis für die beobachtete Behandlung $(X, Y, Y')$ ist sichtbar; kontrafaktische Ergebnisse für andere Paare bleiben unbeobachtet.

2. Identifizierbarkeitsannahmen

Um potenzielle Ergebnisse aus Beobachtungsdaten zu schätzen, skizziert das Papier drei Standardannahmen, die an dieses Setting angepasst sind:

Konsistenz: Das beobachtete Label entspricht dem potenziellen Ergebnis der zugewiesenen Behandlung.
Unkonfundiertheit: Es existieren keine unbeobachteten Konfundierer (d. h. $L \perp (X, Y, Y')$ ). Das Papier hebt hervor, dass dies häufig verletzt wird, wenn Nutzer ihre eigenen Prompts basierend auf ihren spezifischen Zielen ( $C$ ) verfassen, was einen Konfundierer schafft, der sowohl die Prompt-Auswahl als auch die Präferenz beeinflusst.
Positivität: Jede Behandlungskombination hat eine von Null verschiedene Wahrscheinlichkeit des Auftretens.

3. Latentes Behandlungsmodell

Um die hohe Dimensionalität natürlicher Sprache und die Verletzung der Positivität im beobachtbaren Raum zu adressieren, schlagen die Autoren ein Latentes Behandlungsmodell vor:

Latente Faktoren ( $Z$ ): Beobachtete Texte werden auf latente Merkmale $Z = \{Z_X, Z_T\}$ $Z = {Z_{X}, Z_{T}}$ abgebildet.
- $Z_X$ : Prompt-Artefakte (z. B. Thema, Aufgabentyp).
- $Z_T$ : Latente Behandlungen (z. B. Prägnanz, faktische Richtigkeit), die gemeinsam durch Prompt und Antwort bestimmt werden.
Latente Suffizienz: Der Reward hängt nur von diesen latenten Faktoren ab, nicht vom rohen Text.
Latente Positivität: Positivität wird im latenten Raum gefordert, nicht im beobachtbaren Textraum. Dies ermöglicht eine Verallgemeinerung auf ungesehene Texte, sofern sie die gleiche latente Struktur wie die beobachteten Daten teilen.

4. Minderungsstrategien

Das Papier schlägt spezifische architektonische Eingriffe vor, um Konfundierung zu handhaben und die Robustheit zu verbessern:

Multihead-Architektur: Trennt das Erlernen latenter Repräsentationen von der Vorhersage von Rewards, die auf spezifischen Zielen basieren (z. B. Hilfsbereitschaft vs. Harmlosigkeit).
Adversarielles Training: Führt ein adversarielles Ziel ein, um sicherzustellen, dass die erlernte latente Repräsentation $\hat{Z}$ invariant gegenüber dem Prompt-Typ ist (z. B. „hilfreich" vs. „harmlos"-Teilmenge), wodurch spuriose Korrelationen zwischen Prompt-Typ und Nutzerzielen entfernt werden, während kausale Merkmale erhalten bleiben.

Hauptbeiträge

Kausale Formulierung: Das Papier führt ein kausales Rahmenwerk für das Präferenzlernen ein und definiert das Problem explizit in Bezug auf Interventionen und potenzielle Ergebnisse.
Identifikation von Konfundierung: Es identifiziert und adressiert explizit Konfundierung durch nutzerspezifische Ziele (z. B. beeinflusst das Expertisniveau eines Nutzers sowohl die Komplexität des von ihm verfassten Prompts als auch seine Präferenz für detaillierte Antworten), ein Faktor, der in der bisherigen Ausrichtungsliteratur übersehen wurde.
Latentes Behandlungsrahmenwerk: Es schlägt ein Modell vor, bei dem Rewards durch latente Merkmale statt durch rohen Text bestimmt werden, was eine Verallgemeinerung unter Verteilungsverschiebungen durch die Annahme der latenten Suffizienz ermöglicht.
Empirische Validierung:
- UltraFeedback-Experiment: Zeigt, dass Standard-BTL-Modelle bei Out-of-Distribution (OOD)-Daten signifikante Leistungseinbußen erleiden, wenn latente Faktoren (Wahrhaftigkeit und Instruktionsbefolgung) in den Trainingsdaten stark korreliert sind (Verletzung der latenten Positivität).
- HH-RLHF-Fallstudie: Unter Verwendung eines erweiterten Datensatzes mit kontrafaktischen Labels zeigen die Autoren, dass naive Modelle bei perfekter Korrelation ( $\rho=1.0$ ) zwischen Prompt-Typ und Nutzerziel nicht auf inkonsistente Beispiele verallgemeinern können. Das vorgeschlagene Adversarielle Multihead-Modell übertrifft in diesen hochkonfundierten Regimen deutlich Baseline- und reine Multihead-Modelle.

Ergebnisse

Auswirkung der latenten Positivität: Im UltraFeedback-Experiment sank die Genauigkeit von Standardmodellen auf OOD-Daten (wo diese Korrelation gebrochen war) signifikant, wenn die Korrelation ( $\rho_{tr}$ ) zwischen latenten Faktoren zunahm (z. B. von ~64,5 % bei $\rho=0$ auf ~57,8 % bei $\rho=0,9$ ).
Auswirkung der Konfundierung: In der HH-RLHF-Studie versagten alle Modelle bei perfekter Ausrichtung zwischen Prompt-Typ und Nutzerziel ( $\rho=1,0$ ) bei der Verallgemeinerung auf inkonsistente Stichproben (Genauigkeit < 55 %).
Modellleistung: Das Adversarielle Modell erzielte konsistent die höchste Genauigkeit auf inkonsistenten (OOD)-Stichproben über verschiedene Konfundierungsgrade hinweg und zeigt, dass die Entflechtung latenter Repräsentationen von nutzerspezifischen Zielen die Robustheit verbessert.

Bedeutung und Behauptungen

Das Papier behauptet, dass eine robuste Reward-Modellierung den Schritt von statistischen Assoziationen zu einer kausalen Perspektive erfordert. Die Autoren argumentieren, dass:

Datensammlung ist kritisch: Die aktuelle Praxis der opportunistischen Datensammlung führt zu inhärenter Konfundierung, die die Zuverlässigkeit von Reward-Modellen einschränkt.
Interventionen sind notwendig: Um die Grenzen von Beobachtungsdaten zu adressieren, sollten zukünftige Praktiken zu zielgerichteten Interventionen übergehen (z. B. aktives Abfragen, Sammlung von Begründungen und kontrollierte Textgenerierung), um latente Überlappung sicherzustellen und echte kausale Faktoren zu identifizieren.
Verallgemeinerung: Durch die Übernahme kausalen Repräsentationslernens und die Adressierung von Konfundierung können Modelle eine bessere Verallgemeinerung auf ungesehene Prompts und diverse Nutzerpopulationen erreichen, was für eine sichere und effektive AI-Ausrichtung unerlässlich ist.

Die Autoren bleiben bescheiden und stellen fest, dass ihre Annahmen hinreichend, aber nicht strikt notwendig für die Identifizierbarkeit sind und dass reale Szenarien oft unbeobachtete Konfundierer beinhalten, die sich schwer direkt messen lassen. Sie positionieren diese Arbeit als einen grundlegenden Schritt hin zu einem rigoroseren, kausal bewussten Präferenzlernen.