💬 NLP

Bayesian Preference Learning for Test-Time Steerable Reward Models

Dieser Artikel schlägt Variational In-Context Reward Modeling (ICRM) vor, ein neuartiges bayessches Framework, das eine Steuerbarkeit von Reward-Modellen zur Laufzeit ermöglicht, indem es sich durch kontextbezogene Demonstrationen an nicht gesehene Präferenzverteilungen anpasst, wodurch Genauigkeit, Kalibrierung und multi-objektive Ausrichtung verbessert werden, während theoretische Garantien gegen Überoptimierung bereitgestellt werden.

Ursprüngliche Autoren: Jiwoo Hong, Shao Tang, Zhipeng Wang

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiwoo Hong, Shao Tang, Zhipeng Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboterassistenten (ein Large Language Model), der lernen muss, sich so zu verhalten, wie es Menschen mögen. Um ihn zu unterrichten, verwenden wir normalerweise ein „Belohnungsmodell" (Reward Model) – stellen Sie sich dies als einen strengen Lehrer vor, der ein massives Lehrbuch menschlicher Präferenzen studiert hat. Sobald dieser Lehrer trainiert ist, steht er in Stein gemeißelt. Er kann seine Meinung nicht ändern, selbst wenn Sie in den Raum kommen und sagen: „Eigentlich ist mir heute Sicherheit wichtiger als Geschwindigkeit" oder „Ich möchte, dass Sie witzig sind, nicht ernst."

Dieser Beitrag stellt eine neue Art von Lehrer vor, die ICRM (Variational In-Context Reward Modeling) genannt wird. Anstatt ein starres Lehrbuch zu sein, ist ICRM eher wie ein Chamäleon oder ein intelligenter Übersetzer, der seinen „Geschmack" sofort anpasst, basierend auf ein paar Beispielen, die Sie ihm direkt vor Beginn der Arbeit zeigen.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „eingefrorene" Lehrer

Traditionelle Belohnungsmodelle sind wie ein Richter, der eine spezifische Reihe von Regeln auswendig gelernt hat. Wenn Sie sie darauf trainieren, „hilfreiche" Antworten zu lieben, werden sie immer hilfreiche Antworten lieben, selbst wenn Sie ihnen später Beispiele für „sichere" Antworten zeigen. Sie können ihre Perspektive nicht verschieben, ohne von Grund auf neu trainiert zu werden, was langsam und teuer ist.

2. Die Lösung: Der „Chamäleon"-Lehrer (ICRM)

Die Autoren schlagen ein System vor, das Bayessche Statistik (eine Methode, um Überzeugungen basierend auf neuen Beweisen zu aktualisieren) verwendet, um den Lehrer flexibel zu machen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Lieblingseisgeschmack eines Fremden zu erraten.
- Alter Weg: Sie raten basierend auf einer massiven Umfrage, die Sie letztes Jahr durchgeführt haben. Sie sind mit dieser Vermutung festgefahren.
- ICRM-Weg: Sie fragen den Fremden: „Mögen Sie Schokolade oder Vanille?" Er sagt „Schokolade". Dann fragen Sie: „Mögen Sie Erdbeere oder Minze?" Er sagt „Erdbeere".
- ICRM merkt sich nicht einfach nur „Schokolade". Es erstellt eine mentale Karte (eine Wahrscheinlichkeitsverteilung) dessen, was der Fremde gerade jetzt mag. Wenn Sie ihm 8 Beispiele zeigen, dass „Sicherheit" wichtig ist, verlagert der Lehrer seinen Fokus auf Sicherheit. Wenn Sie ihm 8 Beispiele für „Hilfsbereitschaft" zeigen, verlagert er sich auf Hilfsbereitschaft.

3. Wie es funktioniert: Das „Beta"-Rezept

Der Beitrag verwendet ein mathematisches Werkzeug namens Beta-Verteilung, um diese Präferenzen darzustellen. Stellen Sie sich dies als ein Regal mit zwei Knöpfen vor:

Der Richtungs-Knopf (Mittelwert): Wohin zeigt die Präferenz? (z. B. hin zu „Sicherheit" oder „Hilfsbereitschaft").
Der Vertrauens-Knopf (Konzentration): Wie sicher sind wir bei dieser Präferenz?
- Wenn Sie dem Lehrer nur ein Beispiel zeigen, bleibt der „Vertrauens-Knopf" niedrig. Der Lehrer sagt: „Ich sehe, was Sie mögen, aber ich bin noch nicht zu 100 % sicher, also werde ich vorsichtig sein."
- Wenn Sie dem Lehrer 64 Beispiele zeigen, dreht sich der „Vertrauens-Knopf" hoch. Der Lehrer sagt: „Ich erkenne hier ein klares Muster! Ich bin sehr zuversichtlich bei dieser Präferenz."

Dies verhindert, dass der Lehrer „übermäßig zuversichtlich" wird oder „überoptimiert" (zu sehr versucht, die Beispiele zu gefallen und Fehler macht). Es hält den Lehrer bescheiden und präzise.

4. Was der Beitrag fand (Die Ergebnisse)

Die Autoren testeten diesen „Chamäleon-Lehrer" auf verschiedene Weise:

Er kann gelenkt werden: Wenn Sie dem Lehrer Beispiele zeigen, bei denen „Sicherheit" oberste Priorität hat, wird er zu einem Sicherheitsexperten. Wenn Sie ihm Beispiele zeigen, bei denen „Mathematik" Priorität hat, wird er zu einem Mathe-Experten. Er kann sogar gemischte Prioritäten bewältigen (z. B. „Seien Sie hilfreich, aber seien Sie nicht unsicher").
Er wird mit mehr Beispielen besser: Je mehr Beispiele (Demonstrationen) Sie ihm im Moment des Testens geben, desto schlauer wird er beim Erraten Ihrer wahren Absicht. Ihre Genauigkeit bei einem Standardtest (RM-Bench) stieg von 60,5 % auf 70,8 %, nur durch das Hinzufügen weiterer Beispiele.
Er bewältigt Konflikte: Wenn Sie zwei Ziele haben, die sich gegenseitig bekämpfen (wie „Seien Sie hilfreich" vs. „Seien Sie sicher"), kann ICRM einen perfekten Ausgleichspunkt zwischen ihnen finden, während alte Lehrer normalerweise auf nur einer Seite stecken bleiben.
Er funktioniert für Mathematik: Sie verwendeten ICRM, um einem Modell beizubringen, mathematische Probleme zu lösen. Da ICRM im laufenden Betrieb ein paar Beispiele für „korrekte Argumentation" versus „falsche Argumentation" betrachten konnte, half es dem Modell, mathematische Probleme besser zu lösen als ein Standard-Lehrer oder sogar ein strenger „Verifizierer", der nur die endgültige Antwort prüft.

5. Das „Sicherheitsnetz" (Theoretische Garantie)

Der Beitrag beweist auch mathematisch, dass dieses System vor einem spezifischen Fehler, dem „Reward Hacking", sicher ist.

Der Fehler: Manchmal lernen KI-Modelle, das System zu manipulieren, indem sie Antworten geben, die für den Lehrer perfekt aussehen, aber tatsächlich Unsinn sind, nur um eine hohe Punktzahl zu erhalten.
Die Lösung: Das ICRM-System hat eine eingebaute „Bremse" (ein KL-Regularisierungsterm). Es stellt sicher, dass der Lehrer niemals zu schnell zu zuversichtlich wird. Es zwingt den Lehrer, innerhalb eines „sicheren Bereichs" der Wahrscheinlichkeit zu bleiben und verhindert, dass er verrückt wird und überoptimiert.

Zusammenfassung

Kurz gesagt, stellt dieser Beitrag eine neue Art vor, KI-Richter zu trainieren. Anstatt einen Richter zu trainieren, der einen festen Satz von Werten hat, trainierten sie einen Richter, der Ihren Gedanken lesen kann, basierend auf ein paar Beispielen, die Sie ihm direkt vor dem Start zeigen. Er ist flexibel, wird mit mehr Beispielen, die Sie ihm geben, schlauer, und er hat ein mathematisches Sicherheitsnetz, um ihn davon abzuhalten, vom Kurs abzukommen.

Technische Zusammenfassung: Bayes'sches Präferenzlernen für steerbare Belohnungsmodelle zur Laufzeit

Problemstellung

Belohnungsmodelle (Reward Models, RMs) sind zentral für die Ausrichtung von Sprachmodellen auf menschliche Präferenzen mittels Reinforcement Learning from Human Feedback (RLHF). Traditionell werden classifier-basierte RMs als statische Schätzer der Parameter des Bradley-Terry-Modells (BT) unter Verwendung eines festen Datensatzes trainiert. Sobald diese Modelle trainiert sind, fehlt ihnen die Anpassungsfähigkeit; sie können sich ohne erneutes Training nicht an unbekannte Präferenzverteilungen oder dynamische Zielkonflikte (z. B. Abwägung zwischen Hilfsbereitschaft und Sicherheit) anpassen. Darüber hinaus neigen Standard-classifier-RMs zu „Überoptimierung", bei der Präferenzwahrscheinlichkeiten gegen 1 konvergieren, was zu lokalen Optima führt, die die wahre Komplexität menschlicher Präferenzen nicht erfassen. Während Ansätze mit „LLM-as-a-Judge" Flexibilität bieten, verlassen sie sich oft auf proprietäre Modelle mit hohen Rechenkosten. Die Arbeit adressiert die Notwendigkeit eines effizienten, classifier-basierten RM, das zur Laufzeit anpassungsfähig bleibt und Überoptimierung vermeidet.

Methodik: Variational In-Context Reward Modeling (ICRM)

Die Autoren schlagen Variational In-Context Reward Modeling (ICRM) vor, ein Bayes'sches Framework, das die Belohnungsmodellierung als amortisierte variationale Inferenz über eine latente Präferenzwahrscheinlichkeit behandelt.

Grundlegende Formulierung

Definition der latenten Variable: Das Modell führt eine latente Zufallsvariable $z \in [0, 1]$ ein, die die Wahrscheinlichkeit darstellt, dass eine ausgewählte Antwort $y_w$ gegenüber einer abgelehnten Antwort $y_l$ gegeben einem Prompt $x$ und einem Satz von In-Context-Demonstrationen $C$ bevorzugt wird.
Beta-Prior und Posterior:
- Das BT-Modell wird für $N=2$ (ein Paar) spezialisiert, wobei die Likelihood des Präferenzergebnis einer Bernoulli-Verteilung folgt, parametrisiert durch $z$ .
- Ein Beta-Prior $p(z) = \text{Beta}(\alpha_0, \beta_0)$ wird auf $z$ gelegt. Die Autoren verwenden typischerweise einen uniformen Prior $(\alpha_0, \beta_0) = (1, 1)$ , um einen uninformierten Startpunkt darzustellen.
- Der approximative Posterior $q_\theta(z | x, y_w, y_l, C)$ wird durch ein neuronales Netz mit einem zweidimensionalen Projektionskopf parametrisiert, der einen Nutzen-Score $u_\theta$ und einen Konfidenz- (Evidenz-) Score $s_\theta$ ausgibt.
- Der Posterior wird als $\text{Beta}(\alpha_q, \beta_q)$ $Beta (α_{q}, β_{q})$ reparametrisiert, wobei:
  - $\mu = \sigma(u_w - u_l)$ den Posterior-Mittelwert (Präferenzwahrscheinlichkeit) darstellt.
  - $\tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$ die Konzentration (Konfidenz) darstellt.
  - $\alpha_q = \mu\tau$ und $\beta_q = (1-\mu)\tau$ .

Lernziel

Das Modell wird durch Maximierung der Evidence Lower Bound (ELBO) trainiert, indem der negative ELBO-Verlust minimiert wird:
$\mathcal{L}_{ICRM} = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) D_{KL}(q_\theta(z|\cdot) \parallel p(z))$

Rekonstruktions-Term: Der erste Term misst, wie gut der Posterior das beobachtete Präferenzverhalten erklärt. Für eine Beta-Verteilung hat dies eine geschlossene Form, die die Digamma-Funktion $\psi$ beinhaltet. Die Minimierung dieses Terms drängt $\mu$ für die ausgewählte Antwort gegen 1.
Regularisierungsterm: Der zweite Term ist die KL-Divergenz zwischen dem gelernten Posterior und dem festen Prior. Der Hyperparameter $\lambda(N)$ $λ (N)$ ist eine monoton fallende Funktion der Anzahl der In-Context-Demonstrationen $N$ $N$ .
- Wenn $N$ klein ist, ist $\lambda(N)$ groß und zwingt den Posterior, nahe am Prior zu bleiben (hohe Unsicherheit).
- Wenn $N$ zunimmt, nimmt $\lambda(N)$ ab, sodass der Rekonstruktions-Term dominiert und das Modell einen konfidenten, datengesteuerten Posterior bilden kann.

Theoretische Garantien

Die Autoren beweisen, dass das KL-regularisierte Ziel die „Überoptimierungs"-Fehlermodi verhindert, die bei Standard-BT-Modellen üblich sind.

Lemma 3.1: Wenn die Präferenzwahrscheinlichkeit $\mu \to 1$ strebt, wird der Gradient des Verlusts bezüglich des Nutzen-Scores durch einen Faktor proportional zu $1/\epsilon$ (wobei $\epsilon = 1-\mu$ ) bestraft, was eine unkontrollierte Maximierung verhindert.
Theorem 3.2: Der globale Minimierer der Verlustfunktion liegt garantiert im Inneren des Definitionsbereichs ( $0 < \mu^* < 1$ und $0 < \tau^* < \infty$ ), was sicherstellt, dass das Modell nicht in Randlösungen kollabiert.

Hauptbeiträge

Prinzipielles variationales Präferenzlernen: ICRM ermöglicht es RMs, Präferenzen zur Laufzeit aus Few-Shot-In-Context-Stichproben zu inferieren. Das KL-regularisierte Ziel garantiert ein globales Inneres-Optimum und dämpft eine übermäßige Maximierung der Präferenzmittelwerte.
Einzel- und Multi-Objective-Steerability: Das variationale Design ermöglicht sowohl gerichtete Steerability (Anpassung an spezifische Präferenzrichtungen) als auch kalibrierte Steerability (Kodierung des Ausmaßes der Präferenzverschiebung). Es erstreckt sich auf Multi-Objective-Szenarien, indem es dem Modell erlaubt, Zielkonflikte (z. B. Sicherheit vs. Hilfsbereitschaft) durch das Mischen von In-Context-Demonstrationen zu navigieren.
Parametrisierung verifizierbarer Belohnungen: Das Framework wird auf Reinforcement Learning with Verifiable Rewards (RLVR) angewendet. Das Modell interpretiert die Nutzen- und Konfidenzscores, um ein Belohnungssignal zu generieren, das sowohl gerichtet als auch an die Zuverlässigkeit des Kontexts kalibriert ist und Standard-Verifizierer sowie BT-Modelle bei mathematischen Schlussfolgerungsaufgaben übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten ICRM mit Qwen3-4B- und Llama-3.2-3B-Backbones gegen Baselines, darunter Standard-classifier-RMs (BTRM, ArmoRM, GRM) und generative Richter (LLM-as-a-Judge, GRAM-r2).

Kalibrierte Steerability: Bei moralischen Dilemma-Präferenzpaaren zeigte ICRM die Fähigkeit, dem Grad der Präferenzverschiebung zu folgen, der durch die Zusammensetzung der In-Context-Demonstrationen spezifiziert wurde. Wenn die Anzahl der Demonstrationen ( $N$ ) von 8 auf 64 stieg, sank der Expected Calibration Error (ECE) von 0,099 auf 0,076 und übertraf die LLM-as-a-Judge-Baseline.
Gerichtete Steerability: Bei Benchmarks wie SafeRLHF und HHH-Alignment passte sich ICRM mit hoher Genauigkeit (bis zu 89 %) an „umgekehrte" Präferenzlabels an (bei denen schädliche Antworten als ausgewählt gekennzeichnet waren), während statische Baselines keine Anpassung zeigten.
RM-Bench-Leistung: Eine Erhöhung der Anzahl der In-Context-Demonstrationen verbesserte die RM-Bench-Genauigkeit erheblich. Mit $N=64$ erreichte ICRM eine durchschnittliche Genauigkeit von 70,8 %, im Vergleich zu 60,5 % bei $N=1$ , und übertraf die LLM-as-a-Judge-Baseline (70,3 %).
Multi-Objective-Zielkonflikte: Im RM-Bench-Sicherheitsbereich erzeugte ICRM glatte Pareto-Fronten zwischen „Should Respond" und „Should Refuse"-Verhalten. Das Hypervolumen (HV) dieser Fronten nahm mit $N$ zu, was zeigt, dass ICRM den erreichbaren Zielkonfliktbereich erweitern kann, eine Fähigkeit, die statischen RMs fehlt.
RLVR-Anwendung: Bei mathematischen Schlussfolgerungsaufgaben mit dem INTELLECT-MATH-Datensatz erreichte eine mit ICRM-Belohnungen trainierte Policy eine Genauigkeit von 53,8 % auf MATH-500 und übertraf Policies, die mit einem Gold-Verifizierer (50,4 %) bzw. einem Standard-BT-Belohnungsmodell (51,4 %) trainiert wurden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ICRM einen theoretisch fundierten und praktisch effektiven Weg zu Belohnungsmodellen bietet, die sich nach dem Training an unbekannte Präferenzstandards anpassen können. Indem ICRM Präferenzen als latente Wahrscheinlichkeiten mit Beta-Posteriors behandelt, die auf In-Context-Demonstrationen konditioniert sind, vereint es Bayes'sche Regularisierung mit In-Context-Steerability.

Die Autoren betonen, dass dieser Ansatz:

Die statische Natur traditioneller classifier-RMs ohne den Rechenaufwand proprietärer generativer Richter löst.
Einen prinzipiellen Mechanismus zur Minderung der Belohnungs-Überoptimierung durch KL-Regularisierung bietet.
Eine dynamische, zur Laufzeit steuerbare Kontrolle über Multi-Objective-Ausrichtung ermöglicht und eine kontinuierliche Navigation durch Präferenzräume anstelle fester Betriebspunkte erlaubt.

Die Arbeit legt nahe, dass sich die zukünftige Belohnungsmodellierung über feste Datensätze hinaus zu einer dynamischen, demonstrationsgesteuerten Ausrichtung bewegen kann, wobei die Autoren jedoch Einschränkungen hinsichtlich der Kontextlängenbeschränkungen und die Notwendigkeit von Sicherheitsvorkehrungen gegen das Lenken von Modellen in schädliches Verhalten anmerken.