🤖 AI

A Descriptive and Normative Theory of Human Beliefs in RLHF

Dieses Paper schlägt ein neues theoretisches Framework vor und validiert dieses, welches demonstriert, dass menschliche Überzeugungen über die Fähigkeiten eines KI-Agenten die Präferenzgenerierung in RLHF signifikant beeinflussen, wobei gezeigt wird, dass die Abstimmung dieser Überzeugungen mit den tatsächlichen Fähigkeiten des Agenten – anstatt Optimalität vorauszusetzen – zu leistungsfähigeren gelernten Policies führt.

Ursprüngliche Autoren: Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sylee Dandekar, Shripad Deshmukh, Frank Chiu, W. Bradley Knox, Scott Niekum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei. Sie zeigen ihm zwei Routen: eine super schnelle Abkürzung direkt am Rand einer Klippe entlang und eine langsamere, sicherere Straße weit weg vom Abgrund. In der Welt des Standard-KI-Trainings wird vom menschlichen Lehrer erwartet, dass er die Route wählt, die am besten wäre, wenn der Roboter ein perfekter Supergenie-Fahrer wäre, der niemals Fehler macht.

Aber hier kommt der Clou: Echte Roboter sind nicht perfekt. Sie können wackeln, sie können etwas missverstehen und sie sind vielleicht nicht in der Lage, die tückische Klippenkante zu bewältigen.

Dieses Paper argumentiert, dass Menschen, wenn sie diese Roboter lehren, nicht nur auf die Karte schauen; sie schauen darauf, was sie für die Fähigkeiten des Roboters halten. Wenn ein Mensch denkt: „Dieser Roboter ist ein Genie“, wählt er vielleicht die gefährliche Klippen-Abkürzung. Aber wenn der Roboter eigentlich ein wenig tollpatschig ist, könnte diese Abkürzung zu einem Unfall führen. Wenn ein Mensch denkt: „Dieser Roboter ist etwas wackelig“, wählt er vielleicht die sichere, langsamere Straße, was genau das ist, was der Roboter braucht, um erfolgreich zu sein.

Die große Idee: Überzeugungen zählen mehr als man denkt

Die Autoren, ein Team von Forschern der UMass Amherst und UT Austin, schlagen eine neue Art vor, darüber nachzudenken, wie Menschen Feedback an KI geben. Sie nennen dies das „belief-based preference model“ (auf Überzeugungen basierendes Präferenzmodell).

Stellen Sie sich das wie einen Trainer vor, der mit einem Rookie-Athleten spricht.

Der alte Weg (Der „Optimistische“ Coach): Der Coach geht davon aus, dass der Rookie bereits ein Olympiasieger ist. Er sagt: „Geh auf Gold! Lauf den schnellsten, riskantesten Spielzug!“ Wenn der Rookie das tatsächlich versucht, stolpert er und fällt, weil er noch nicht bereit dazu ist.
Der neue Weg (Der „Realistische“ Coach): Der Coach betrachtet die tatsächlichen Fähigkeiten des Rookies. Er sagt: „Okay, du bist gut, aber du lernst noch. Bleiben wir bei dem Spielzug, der dich sicher hält und Punkte bringt.“

Das Paper legt nahe, dass für eine KI, die gut lernen soll, die menschlichen Labeler (die Coaches) Überzeugungen über die Fähigkeiten der KI haben müssen, die mit der Realität übereinstimmen. Wenn der Mensch glaubt, die KI sei besser, als sie tatsächlich ist, lernt die KI die falschen Lektionen und könnte später spektakulär scheitern.

Was sie herausgefunden haben (Der Beweis)

Das Team hat nicht nur geraten; sie haben dies auf drei verschiedene Arten getestet:

Die Mathematik (Die Theorie): Sie haben komplexe mathematische Berechnungen durchgeführt, um zu beweisen, dass die KI eine „suboptimale“ Policy lernt, wenn die Überzeugung des Menschen über die Fähigkeiten des Roboters nicht mit den tatsächlichen Fähigkeiten des Roboters übereinstimmt. In einfachen Worten: Wenn der Coach den Spieler über seine Fähigkeiten anlügt, spielt der Spieler ein schlechtes Spiel. Sie zeigten, dass die Leistung des Roboters immer schlechter wird, je stärker die Überzeugung des Menschen von der Realität abweicht.
Die Simulation (Der Videospiel-Test): Sie bauten eine digitale Welt (ein Grid), in der ein Roboter von einem Startpunkt zu einem Ziel navigieren musste, während er „Klippen“ vermied, die ein Scheitern bedeuteten. Sie programmierten den Roboter so, dass er ein wenig „verrauscht“ (unperfekt) ist.
- Wenn der menschliche „Labeler“ in der Simulation glaubte, der Roboter sei perfekt (Null Rauschen), lernte der Roboter, direkt neben der Klippe zu fahren und fiel oft ab.
- Wenn der Mensch glaubte, der Roboter sei unperfekt (passend zum tatsächlichen Rauschen des Roboters), lernte der Roboter, den sichereren, breiteren Pfad zu nehmen und war erfolgreich.
- Das Ergebnis: Die besten Ergebnisse wurden erzielt, wenn die Überzeugung des Menschen mit der tatsächlichen Leistungsfähigkeit des Roboters übereinstimmte. Wenn der Mensch dachte, der Roboter sei perfekt, obwohl er es nicht war, stürzte der Roboter ab.
Die Humanstudie (Der Test mit echten Menschen): Das ist der spannendste Teil. Sie baten tatsächlich 146 echte Menschen, Videos eines selbstfahrenden Autos anzusehen und die bessere Route auszuwählen.
- Das Setup: Vor dem Ansehen der Videos wurden die Leute „geprimt“ (vorbereitet).
  - Gruppe A (Sicherheits-Priming): Sah ein Video eines Autos, das perfekt fuhr, alle Gesetze befolgte und super sicher war.
  - Gruppe B (Unsicherheits-Priming): Sah ein Video eines Autos, das driftete, krachte und rücksichtslos fuhr.
  - Gruppe C (Kontrollgruppe): Sah nichts Besonderes.
- Das Ergebnis: Die Menschen, die das „unsichere“ Video gesehen hatten (Gruppe B), begannen zu glauben, dass das Auto weniger fähig sei. Aufgrund dessen bevorzugten sie die sichereren, langsameren Routen in ihren Entscheidungen. Die Menschen, die das „sichere“ Video gesehen hatten (Gruppe A), glaubten, das Auto sei ein Genie, und bevorzugten die riskanteren, schnelleren Routen.
- Die Statistik: Der Unterschied zwischen der „Sicher“- und der „Unsicher“-Gruppe war statistisch signifikant (ein p-Wert von 0,015). Dies beweist, dass was Menschen über die KI denken, direkt beeinflusst, was sie der KI sagen sollen.

Was sie als NICHT die Antwort ansehen

Das Paper ist sehr deutlich darüber, was nicht funktioniert.

Es reicht nicht aus, einfach anzunehmen, dass die KI perfekt ist. Die Standardmethode des KI-Trainings geht davon aus, dass Menschen den „bestmöglichen“ Pfad wählen, als wäre die KI ein gottgleicher Optimierer. Die Autoren zeigen, dass dies tatsächlich eine schlechte Idee ist, wenn die KI unperfekt ist.
Es geht nicht nur darum, dass der Mensch „irrational“ oder im allgemeinen Sinne „voreingenommen“ ist. Während andere Studien über menschliche Biases wie „Anchoring“ oder „Groupthink“ sprechen, konzentriert sich dieses Paper spezifisch auf Überzeugungen über die Fähigkeiten des Agenten. Das Paper argumentt, dass Menschen bei der Beurteilung von Handlungen nicht von Optimalität ausgehen; stattdessen verlassen sie sich auf ihre spezifischen Überzeugungen über die aktuellen Fähigkeiten des Agenten. Wenn diese Überzeugungen falsch sind (z. B. wenn man glaubt, der Agent sei perfekt, obwohl er es nicht ist), sind die resultierenden Präferenzen falsch ausgerichtet, was zu schlechten Ergebnissen führt.

Die Erkenntnis für die Zukunft

Die Autoren schlagen vor, dass wir, wenn wir bessere KI wollen, das „Mismatch“ (die Diskrepanz) zwischen dem, was Menschen denken, was der Roboter kann, und dem, was der Robot tatsächlich kann, beheben müssen.

Sie schlagen zwei einfache Ideen für die Menschen vor, die diese Systeme bauen:

Sag die Wahrheit: Zeige den Labelern die tatsächlichen Einschränkungen des Roboters, bevor sie mit dem Bewerten beginnen. Wenn der Roboter nicht scharf wenden kann, sag es ihnen!
Zeigen, nicht nur sagen: Bevor du nach Feedback fragst, zeige den Labelern ein Video, wie der Roboter gerade jetzt fährt. Wenn der Roboter tollpatschig ist, zeige das tollpatschige Fahren. Wenn er gut ist, zeige das gute Fahren. Dieses Vorgehen „primt“ den Menschen, um die richtige Überzeugung zu entwickeln.

Das Paper schließt mit dem Hinweis, dass dies noch kein gelöstes Problem ist. Sie haben bewiesen, dass es in Simulationen und mit einer kleinen Gruppe von Menschen funktioniert, geben aber zu, dass die Umsetzung in einem vollwertigen, realen KI-Trainingszyklus der nächste große Schritt ist. Die Botschaft ist jedoch klar: Um einen Roboter gut zu lehren, muss man wissen, was der Roboter zu leisten glaubt, und sicherstellen, dass der Lehrer dasselbe weiß.

Technische Zusammenfassung: Eine deskriptive und normative Theorie menschlicher Überzeugungen in RLHF

Problemstellung
Reinforcement Learning from Human Feedback (RLHF) modelliert menschliche Präferenzen traditionell als Funktion der Belohnungsfunktion des Menschen oder der optimalen Zustands-Aktions-Werte ( $A^*$ ) des Agenten. Standardansätze, einschließlich ergebnisbasierter (return-based) und regret-basierter Modelle, gehen davon aus, dass Labeler Trajektorien basierend auf dem bewerten, was tatsächlich eingetreten ist oder was ein optimaler Agent erreichen könnte. Diese Arbeit postuliert jedoch, dass menschliche Labeler auch Überzeugungen über die tatsächlichen Fähigkeiten des trainierten Agenten besitzen. Wenn ein Labeler annimmt, ein Agent sei optimal, wenn dies nicht der Fall ist (oder umgekehrt), können ihre Präferenzen zu katastrophalen oder suboptimalen Post-RLHF-Policies führen. Die Arbeit untersucht zwei Kernfragen: (1) Beeinflussen die Überzeugungen menschlicher Labeler über die Fähigkeiten des Agenten deskriptiv die bereitgestellten Präferenzen? Und (2) Normativ betrachtet, welche Menge an Überzeugungen sollten Labeler idealerweise besitzen, um die Performance der resultierenden Policy zu maximieren?

Methodik
Die Autoren schlagen ein überzeugungsbasiertes Präferenzmodell vor und validieren dieses durch theoretische Analyse, synthetische Experimente und eine Untersuchung mit menschlichen Probanden.

Theoretischer Rahmen:
- Die Autoren definieren Agent Capability Belief (Überzeugung über die Agentenfähigkeiten) als eine $Q$ -Funktion ( $Q^{\pi_{belief}}$ ), die die Schätzung des Labelers bezüglich der Post-RLHF-Policy des Agenten darstellt.
- Sie führen ein neues Präferenzmodell ein (Gleichung 3), bei dem die Wahrscheinlichkeit, Trajektorie $\sigma^+$ gegenüber $\sigma^-$ zu bevorzugen, durch die Advantage-Funktion $A^{\pi_{belief}}$ bestimmt wird, anstatt durch die optimale Advantage $A^*$ .
- Normatives Ideal: Die Arbeit definiert eine normative ideale Überzeugung ( $Q^{\pi^*_{belief}}$ ) nicht als absolute Optimalität, sondern als die Überzeugung, die den höchsten erwarteten Ertrag für die bestmöglich erreichbare Post-RLHF-Policy unter Berücksichtigung der Einschränkungen des Agenten (z. B. Grenzen der Funktionsapproximation, verrauschte Aktuatoren) liefert.
- Theoretische Schranken: Die Autoren leiten eine formale Schranke (Theorem 4.3) für den Leistungsverlust der Post-RLHF-Policy als Funktion der „Agent-Labeler-Diskrepanz“ ( $\delta$ ) ab, definiert als die Größenordnung der Differenz zwischen der optimalen Überzeugung und der tatsächlichen Überzeugung des Labelers. Die Schranke zeigt, dass der erwartete Ertrag linear mit der Größenordnung dieser Diskrepanz sinkt.
Synthetische Experimente:
- Die Autoren führten Experimente in einer GridWorld-Domäne durch, in der die Fähigkeiten des Agenten durch einen $\epsilon$ -greedy Rauschparameter ( $\epsilon$ ) begrenzt waren.
- Die Überzeugungen der Labeler wurden manipuliert, indem sie den angenommenen Rauschpegel ( $\epsilon'$ ) variierten, der zur Generierung synthetischer Präferenzen verwendet wurde.
- Die Studie maß den erwarteten Ertrag der trainierten Policy über eine Matrix aus wahrem Agentenrauschen ( $\epsilon$ ) und angenommenem Labelerrauschen ( $\epsilon'$ ).
Studie mit menschlichen Probanden:
- Domäne: Eine Simulation eines selbstfahrenden Autos (CARLA).
- Intervention: Die Teilnehmer wurden drei Bedingungen zugewiesen: (1) Kontrolle (kein Priming), (2) Safe Priming (Ansehen eines Videos, in dem ein Auto sicher und kompetent fährt) und (3) Unsafe Priming (Ansehen eines Videos, in dem ein Auto driftet und crasht).
- Aufgabe: Die Teilnehmer gaben Präferenzen über Paare von Fahr-Trajektorien ab, wobei sie zwischen schnelleren/riskanteren Pfaden und langsameren/sichereren Pfaden wählten.
- Analyse: Die Studie nutzte Sentiment-Analyse (via GPT-4) auf Freitext-Feedback bezüglich der Fähigkeiten des Autos sowie statistische Tests (Kruskal-Wallis und Dunn-Test) auf Likert-Skala-Präferenzdaten, um zu bestimmen, ob Priming die Überzeugungen und die anschließenden Präferenzen verschoben hat.

Wesentliche Beiträge

Veranschaulichung von Diskrepanzen: Die Arbeit zeigt, dass eine schlechte Übereinstimmung zwischen den Überzeugungen eines Labelers und den tatsächlichen Fähigkeiten eines Agenten zu suboptimalen Policies führen kann, selbst wenn der Labeler basierend auf seinen (falschen) Überzeugungen „rational“ handelt.
Normative Theorie: Sie definiert ein normatives Ideal für Labeler-Überzeugungen, das relativ zur maximal erreichbaren Performance des Agenten steht, statt auf absoluter Optimalität zu beruhen, und liefert eine theoretische Schranke für den durch Abweichungen von diesem Ideal verursachten Regret.
Empirische Validierung des Einflusses von Überzeugungen: Die Human-Subject-Studie bestätigt, dass die Überzeugungen von Menschen über die Fähigkeiten eines Agenten die Generierung von Präferenzen signifikant beeinflussen. Insbesondere veränderte das Priming der Teilnehmer mit Informationen über die Fähigkeiten des Agenten (sicher vs. unsicher) statistisch signifikant deren Präferenzen.
Suboptimalität der Annahme von Optimalität: Synthetische Experimente zeigen, dass die Annahme eines optimalen Agenten (der Standard-Regret-basierte Ansatz) oft suboptimal ist, wenn der Agent inhärente Leistungseinschränkungen hat (z. $\epsilon$ -greedy Rauschen).

Ergebnisse

Theoretisch: Die abgeleitete Schranke (Gleichung 4) legt fest, dass der erwartete Ertrag der Post-RLHF-Policy durch den optimalen Ertrag abzüglich eines Terms, der proportional zur Agent-Labeler-Diskrepanz ( $\delta / (1-\gamma)$ ) ist, untergrenzig bestimmt wird.
Synthetisch: In den GridWorld-Experimenten wurden die höchsten Policy-Erträge erzielt, wenn das angenommene Rauschen des Labelers ( $\epsilon'$ ) eng mit dem wahren Rauschen des Agenten ( $\epsilon$ ) übereinstimmte. Die Annahme eines optimalen Agenten ( $\epsilon'=0$ ), wenn der Agent verrauscht war ( $\epsilon=0.3$ oder $0.5$), führte zu signifikant niedrigeren Erträgen, da der Agent riskante Verhaltensweisen lernte, die er nicht sicher ausführen konnte.
Human-Studie:
- Überzeugungen: Die Sentiment-Analyse der Freitext-Antworten zeigte, dass die Teilnehmer in der Gruppe „Unsafe Priming“ ein signifikant geringeres Vertrauen in die Fähigkeiten des Autos hatten als die Teilnehmer in der Gruppe „Safe Priming“.
- Präferenzen: Die statistische Analyse ergab einen signifikanten Unterschied ( $p=0.015$ ) in den Präferenzen zwischen den Gruppen „Safe Priming“ und „Unsafe Priming“. Teilnehmer, die mit unsicherem Verhalten geprimt wurden, neigten eher dazu, sicherere, langsamere Trajektorien zu bevorzugen, während Teilnehmer, die mit sicherem Verhalten geprimt wurden, eher bereit waren, riskantere, schnellere Trajektorien zu akzeptieren.
- Fazschluss: Menschliche Präferenzen sind nicht statisch; sie werden durch die Überzeugungen der Labeler über die aktuellen Fähigkeiten des Agenten beeinflusst.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Reduzierung der Diskrepanz zwischen menschlichen Überzeugungen und den Fähigkeiten eines Agenten entscheidend ist, um die RLHF-Performance zu verbessern. Sie argumentet, dass die Standardannahme der rationalen Labeler basierend auf absoluter Optimalität unzureichend ist, wenn Agenten unvollkommen sind. Die Autoren schlagen vor, dass Praktiker die Überzeugungen der Labeler aktiv steuern sollten, um sie mit den tatsächlichen Fähigkeiten des Agenten in Einklang zu bringen.

Die Autoren schlagen zwei spezifische Best Practices vor:

Informierung der Labeler: Direkte Kommunikation bekannter Einschränkungen des Agenten (z. B. Datenbeschränkungen, physikalische Grenzen) an die Labeler vor der Datenerhebung.
Intermittierendes Priming: Nutzung von Online-Preference-Collection-Loops, bei denen die Labeler kontinuierlich der aktuellen Policy des Agenten (durch Demonstrationen) ausgesetzt werden, um ihre Überzeugungen stetig zu aktualisieren.

Die Autoren betonen, dass diese Kalibrierung „wahrhaftig“ (repräsentativ für das tatsächliche On-Policy-Verhalten) sein muss, um Manipulation zu vermeiden. Sie kommen zu dem Schluss, dass, obwohl ihre theoretischen Schranken in Tabular-Settings abgeleitet wurden und ihre Human-Studie ein Proof-of-Concept ist, die Ergebnisse auf eine notwendige Verschiebung der RLHF-Best-Practices hindeuten: die Behandlung menschlicher Überzeugungen als eine Variable, die mit der Realität des Agenten abgeglichen werden muss, um sicheres und effektives Alignment zu gewährleisten.

Die große Idee: Überzeugungen zählen mehr als man denkt

Was sie herausgefunden haben (Der Beweis)

Was sie als NICHT die Antwort ansehen

Die Erkenntnis für die Zukunft

Technische Zusammenfassung: Eine deskriptive und normative Theorie menschlicher Überzeugungen in RLHF

Mehr davon