🤖 AI

Mitigating Cognitive Bias in RLHF by Altering Rationality

Dieser Artikel schlägt eine Methode vor, um kognitive Verzerrungen beim Reinforcement Learning aus menschlichem Feedback (RLHF) zu mindern, indem der Rationalitätsparameter während des Belohnungslernens dynamisch angepasst wird, wobei ein LLM als Richter eingesetzt wird, um verzerrte menschliche Vergleiche zu identifizieren und herabzustufen, wodurch robustere Modelle selbst auf unvollkommenen Datensätzen trainiert werden.

Ursprüngliche Autoren: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tiffany Horter, Andrew Markham, Niki Trigoni, Serena Booth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, gute Entscheidungen zu treffen. Der Standardweg dafür heißt RLHF (Reinforcement Learning from Human Feedback, also Verstärkungslernen durch menschliches Feedback). Sie zeigen dem Roboter zwei verschiedene Antworten auf eine Frage, fragen einen Menschen, welche besser ist, und der Roboter lernt, diese Wahl nachzuahmen.

Das Problem ist laut diesem Papier, dass Menschen keine perfekten Lehrer sind. Manchmal machen wir Fehler aufgrund der in unserem Gehirn eingebauten Abkürzungen, die als kognitive Verzerrungen bekannt sind.

Stellen Sie sich kognitive Verzerrungen wie eine verzerrte Brille vor. Wenn Sie sie tragen, sehen Sie die Welt vielleicht klar, aber manchmal sehen Sie Dinge, die nicht wirklich da sind, oder Sie übersehen wichtige Details. Ein berühmtes Beispiel ist das „Linda-Problem": Wenn Sie jemandem sagen, Linda sei eine Philosophie-Studentin mit feministischem Schwerpunkt, könnte diese Person irrationalerweise denken, es sei wahrscheinlicher, dass sie eine „feministische Bankangestellte" ist, als nur eine „Bankangestellte", obwohl mathematisch gesehen die zweite Option wahrscheinlicher sein muss. Wenn ein Mensch diese „verzerrte Brille" trägt, während er dem Roboter beibringt, lernt der Roboter, sie ebenfalls zu tragen.

Der alte Weg vs. der neue Weg

Der alte Weg (feste Brille):
Bei der traditionellen Ausbildung geht der Roboter davon aus, dass der menschliche Lehrer bei jeder einzelnen Frage gleichermaßen zuverlässig ist. Er behandelt jede Stimme „Ich mag diese Antwort" mit demselben Gewicht, wie ein Lehrer, der jedem Schüler dieselbe Note gibt, egal ob er aufmerksam war oder tagträumte. Die Forscher bezeichnen dies als festen „Rationalitätsparameter" (nennen wir ihn Beta). Es ist so, als würde man annehmen, der menschliche Lehrer sei immer zu 100 % nüchtern und konzentriert.

Der neue Weg (dynamische Brille):
Die Autoren, Tiffany Horter und ihr Team, schlagen einen intelligenteren Ansatz vor. Sie schlagen vor, dass der Roboter fragen sollte: „Ist dieser menschliche Lehrer gerade wahrscheinlich verzerrt?"

Sie haben ein System entwickelt, das wie ein Stichproben-Prüfer funktioniert. Bevor der Roboter aus einer menschlichen Wahl lernt, betrachtet eine zweite KI (ein „LLM als Richter") die Frage und die menschliche Wahl, um zu prüfen, ob sie nach einer kognitiven Verzerrung riecht.

Wenn der Prüfer denkt: „Ah, das sieht nach einer klassischen Verzerrungsfalle aus", sagt er dem Roboter, die Lautstärke dieses menschlichen Feedbacks herunterzudrehen. Er senkt den „Beta"-Wert, wodurch diese spezifische Lektion weniger wichtig wird.
Wenn der Prüfer denkt: „Das sieht nach einer soliden, rationalen Wahl aus", dreht er die Lautstärke hoch und lässt den Roboter intensiv daraus lernen.

Die Analogie: Das laute Klassenzimmer

Stellen Sie sich ein Klassenzimmer vor, in dem der Lehrer versucht, den Schülern (der KI) Mathematik beizubringen.

Das Problem: Manchmal ist der Lehrer müde, abgelenkt oder fällt auf eine Trickfrage herein. Wenn die Schüler die Fehler des Lehrers kopieren, bestehen sie die Prüfung nicht.
Die alte Methode: Die Schüler kopieren alles, was der Lehrer an die Tafel schreibt, und gehen davon aus, dass der Lehrer immer recht hat.
Die neue Methode: Die Schüler haben einen intelligenten Assistenten an ihrer Seite. Wenn der Lehrer eine Antwort schreibt, flüstert der Assistent: „Hey, ich glaube, der Lehrer macht hier einen Fehler wegen einer Trickfrage." Die Schüler ignorieren dann diese spezifische Antwort und konzentrieren sich auf diejenigen, bei denen der Lehrer scharfsinnig wirkt.

Was passierte, als sie es versuchten?

Die Forscher testeten dies an zwei Sätzen von kniffligen Fragen, die menschliche Logik austricksen sollten (wie das „Linda"-Problem und Szenarien zur medizinischen Diagnose).

Es verhinderte, dass der Roboter Fehler kopierte: Selbst wenn der Roboter mit Daten trainiert wurde, bei denen Menschen meistens falsch lagen (verzerrt waren), half die neue Methode dem Roboter, die richtige Antwort zu finden. Er lernte, die „verzerrte Brille" zu ignorieren und die Wahrheit zu finden.
Es verwechselte den Roboter nicht: Der Roboter wurde nicht verwirrt oder vergaß, wie man andere Dinge macht. Er blieb bei allgemeinen Aufgaben klug und wurde einfach besser darin, Verzerrungen zu ignorieren.
Es funktionierte auch mit einem „fehlerhaften" Prüfer: Das System benötigte keinen perfekten Prüfer, um jede einzelne Verzerrung zu erkennen. Selbst wenn der Prüfer nur zu 80 % recht hatte, lernte der Roboter besser als ohne jeden Prüfer.

Die große Erkenntnis

Das Papier argumentiert, dass wir menschliches Feedback nicht als perfektes, unveränderliches Signal behandeln sollten. Stattdessen sollten wir es wie ein rauschbehaftetes Signal behandeln, das sich je nach Kontext ändert. Indem wir dynamisch anpassen, wie viel Gewicht wir menschlichem Feedback geben, basierend darauf, wie wahrscheinlich es ist, dass es verzerrt ist, können wir KI bauen, die rationaler ist und weniger wahrscheinlich unsere menschlichen Mängel erbt.

Kurz gesagt: Hören Sie nicht nur darauf, was Menschen sagen; hören Sie darauf, wie sie es sagen, und passen Sie Ihr Lernen entsprechend an.

Technische Zusammenfassung: Minderung kognitiver Verzerrungen in RLHF durch Veränderung der Rationalität

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) basiert auf der Prämisse, dass menschliche Annotator:innen Präferenzen äußern, die ihre latenten Absichten getreu widerspiegeln. Diese Prämisse ist jedoch fehlerhaft, da menschliche Urteile häufig kognitiven Verzerrungen unterliegen (z. B. Konjunktionsfehler, Ankereffekt, Sunk-Cost-Fehlschluss). In standardmäßigen RLHF-Pipelines werden diese systematischen Abweichungen als gleichmäßiges stochastisches Rauschen behandelt. Der Lernprozess modelliert menschliche Präferenzen typischerweise mittels einer Boltzmann-rationalen Formulierung, bei der ein fester Rationalitätsparameter $\beta$ die Konsistenz zwischen latenten Belohnungsunterschieden und beobachteten paarweisen Präferenzen steuert.

Die Behandlung von $\beta$ als globale Konstante impliziert eine einheitliche Zuverlässigkeit der Annotator:innen über alle Kontexte hinweg. Folglich, wenn Trainingsdaten systematische kognitive Verzerrungen enthalten, integriert das erlernte Belohnungsmodell diese Verzerrungen, was dazu führt, dass nachgelagerte Large Language Models (LLMs) irrationales Verhalten reproduzieren oder sogar verstärken. Das zentrale Problem, das adressiert wird, besteht darin, wie RLHF gegenüber unvollkommenem menschlichem Feedback robust gemacht werden kann, bei dem Abweichungen von der Rationalität nicht zufällig, sondern kontextabhängig und systematisch sind.

Methodik

Die Autor:innen schlagen ein Framework vor, das Rationalität als kontext- und annotierungsabhängig und nicht als feststehend behandelt. Anstelle eines globalen $\beta$ führen sie einen dynamischen, instanzabhängigen Rationalitätsparameter $\beta_{new}$ ein, der das Gewicht jedes Präferenzpaares während des Belohnungslernens basierend auf der geschätzten Wahrscheinlichkeit kognitiver Verzerrungen moduliert.

1. Dynamischer Rationalitätsparameter ( $\beta_{new}$ )

Die Methode ersetzt das feste $\beta$ durch eine Funktion der geschätzten Verzerrungswahrscheinlichkeit ( $D_f$ ) für einen spezifischen Vergleich:
$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$
Wobei:

$D_f \in [0, 1]$ die geschätzte Wahrscheinlichkeit ist, dass das beobachtete Feedback von kognitiven Verzerrungen beeinflusst ist.
$\theta$ ein Schwellenwertparameter ist, der bestimmt, wann Feedback beginnt, heruntergestuft zu werden.
$k$ die Steilheit des Übergangs steuert.

Wenn $D_f$ niedrig ist (geringe Wahrscheinlichkeit für Verzerrungen), nähert sich $\beta_{new}$ 1 an und verleiht der Präferenz ein hohes Gewicht. Mit steigendem $D_f$ nimmt $\beta_{new}$ gegen 0 ab und stuft effektiv den Einfluss potenziell verzerrter Urteile auf das Belohnungsmodell herunter.

2. Verzerrungserkennung ( $D_f$ -Schätzung)

Zur Schätzung von $D_f$ wenden die Autor:innen einen „LLM-as-judge"-Ansatz an. Ein Out-of-the-Box-LLM (z. B. ChatGPT 5.2 Thinking oder Mistral-7B-Instruct) bewertet jedes Trainingsexempel (Prompt, Kandidatenantworten und die gewählte Präferenz), um die Wahrscheinlichkeit einer Verzerrung vorherzusagen.

Paarweise Evaluation: Der Richter identifiziert, welche von zwei Kandidatenantworten stärker verzerrt ist.
Kalibrierung: Ein leichter Kalibrierungsschritt korrigiert systematische Richtungsfehler über verschiedene Verzerrungstypen hinweg unter Verwendung eines minimalen zurückgehaltenen Validierungsdatensatzes.
Granularität: Entscheidend ist, dass $D_f$ in Bezug auf die gewählte Antwort innerhalb eines spezifischen Szenarios definiert ist und nicht in Bezug auf das Szenario selbst. Dies ermöglicht dem System, informative Signale aus verzerrungsauslösenden Szenarien zu bewahren, in denen die Annotator:in die Verzerrung erfolgreich vermeidet (z. B. eine statistisch geschulte Annotator:in, die den Konjunktionsfehler korrekt ablehnt).

3. Trainingspipeline

Belohnungsmodell: Ein Belohnungsmodell (initialisiert mit Mistral-7B) wird mit einer Verlustfunktion trainiert, bei der das Gewicht jedes Paares von $\beta_{new}$ abhängt.
Policy-Optimierung: Die nachgelagerte Policy wird mittels Group Relative Policy Optimization (GRPO) mit dem eingefrorenen, verzerrungsbewussten Belohnungsmodell feinabgestimmt.
Datensätze: Die Methode wird an zwei Datensätzen validiert, die entwickelt wurden, um kognitive Verzerrungen hervorzurufen: dem BRU-Datensatz (205 Fragen, 8 Verzerrungstypen) und dem CogBias-Datensatz (30.000 Fälle, 30 Verzerrungstypen). Um realistische RLHF-Ausfallmodi zu simulieren, werden die Trainingsdaten so konstruiert, dass verzerrte Antworten in einer einstellbaren Fraktion der Fälle gegenüber Ground-Truth-Antworten bevorzugt werden (z. B. im Verhältnis 3:1).

Hauptbeiträge

Kontextabhängige Rationalität: Die Arbeit hinterfragt die Standardannahme eines festen Rationalitätsparameters in RLHF und schlägt vor, dass $\beta$ basierend auf der Zuverlässigkeit spezifischer Feedback-Instanzen variieren sollte.
Dynamischer Herabstufungsmechanismus: Die Autor:innen führen einen Mechanismus ein, um $\beta$ dynamisch mittels eines LLM-basierten Verzerrungsdetektors anzupassen, wodurch das System verzerrte Vergleiche herunterstufen kann, während informative Signale aus unverzerrten Urteilen innerhalb desselben Kontexts erhalten bleiben.
Robustheit gegenüber unvollkommener Erkennung: Die Methode zeigt Wirksamkeit, selbst wenn der Verzerrungsdetektor (der LLM-as-judge) unvollkommen oder verrauscht ist, vorausgesetzt, die Genauigkeit des Detektors bleibt über einem bestimmten Schwellenwert (ca. 57–60 %).

Experimentelle Ergebnisse

Die Autor:innen evaluierten ihren Ansatz auf den BRU- und CogBias-Datensätzen und verglichen die dynamische $\beta$ -Methode mit Baselines, die feste $\beta$ -Werte (0,1; 0,5; 0,9; 1,0) und zufällige $\beta$ -Zuweisungen verwendeten.

Reduktion der Verzerrungspropagation: Auf dem CogBias-Datensatz erreichte das entzerrte Modell eine Ground-Truth-Genauigkeit von 67,6 %, eine signifikante Verbesserung gegenüber dem nicht feinabgestimmten Basismodell (42,4 %) und Baselines, die auf denselben verzerrten Daten trainiert wurden (die auf eine Genauigkeit von ca. 1,7 % kollabierten). Auf dem BRU-Datensatz verbesserte das entzerrte Modell die Genauigkeit um 8,3 % gegenüber dem Basismodell, obwohl es auf 3:1 verzerrten Daten trainiert wurde.
Robustheit gegenüber verzerrtem Feedback: Die Methode verhinderte erfolgreich den bei Baselines beobachteten „Kollaps hin zu verzerrten Präferenzen". Selbst wenn die Trainingsdaten ein Verhältnis von 5:1 verzerrter zu Ground-Truth-Präferenzen enthielten, behielt das dynamische $\beta$ -Modell eine signifikant höhere Genauigkeit als Baselines mit festem $\beta$ bei.
Erhaltung der allgemeinen Leistung: Die Evaluation auf dem TruthfulQA-Datensatz zeigte keine signifikante Verschlechterung der allgemeinen Leistung (nicht-signifikante Änderung von -0,5 %), was darauf hindeutet, dass die Intervention Verzerrungen selektiv reduziert, ohne die Gesamtfähigkeit zu beeinträchtigen.
Cross-Architektur und Übertragbarkeit: Der Ansatz erzielte statistisch signifikante Verbesserungen über verschiedene Modellarchitekturen hinweg (Mistral-7B und Qwen3-8B). Darüber hinaus übertrug ein auf dem kleinen BRU-Datensatz feinabgestimmtes Modell seine Fähigkeit, den Ankereffekt zu mindern, erfolgreich auf den größeren CogBias-Datensatz und verbesserte die Ground-Truth-Genauigkeit von 37,7 % auf 44,3 %.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass eine effektive Ausrichtung in RLHF weniger davon abhängt, idealisiertes, perfekt rationales menschliches Feedback zu erhalten, als vielmehr von der Modellierung der in diesem Feedback inhärenten Verzerrungen. Indem die Autor:innen Präferenzdaten als kontextabhängig und systematisch verzerrt neu rahmen, demonstrieren sie, dass Belohnungsmodelle so trainiert werden können, dass sie unvollkommenes Feedback nutzen, ohne in dessen Verzerrungen zu kollabieren.

Die Autor:innen behaupten, dass ihre Arbeit zu einer wachsenden Richtung in der Ausrichtungsforschung beiträgt: weg von der Annahme einer einheitlichen Rationalität hin zu Methoden, die kognitive Verzerrungen erkennen, modellieren und sich daran anpassen. Sie gehen davon aus, dass die Behandlung von $\beta$ als Signal für die Feedback-Integrität und nicht als feste Konstante es LLMs ermöglicht, deliberatives Denken zu approximieren, anstatt menschliche Heuristiken zu erben. Die Arbeit schließt, dass der Erfolg der Methode zwar teilweise von der Genauigkeit des Verzerrungsdetektors abhängt, die Intervention jedoch auch bei unvollkommenen Richtern robust bleibt, was darauf hindeutet, dass Robustheit gegenüber menschlicher Inkonsistenz keine perfekten Modelle der Kognition erfordert.