🤖 AI

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

Dieses Paper formalisiert die Optimierung von Belohnungsmodellen unter KL-Regularisierung als ein Stackelberg-Spiel und schlägt ein einfaches Reward-Shaping-Schema vor, das effektiv den Bias der Basis-Policy mildert und gleichzeitig Reward Hacking verhindert, wodurch die Alignment-Performance zur Inferenzzeit signifikant verbessert wird.

Ursprüngliche Autoren: Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „sturen Kochs“

Stellen Sie sich vor, Sie haben einen Weltklasse-Koch (das KI-Modell), der seit Jahren kocht. Dieser Koch hat einen sehr spezifischen Stil – er kann hervorragend kochen, hat aber eine starke persönliche Voreingenommenheit. Vielleicht gibt er immer zu viel Salz hinzu, oder er kocht nur scharfes Essen, weil er damit aufgewachsen ist.

Nun wollen Sie (der Nutzer) ein Gericht, das perfekt ausbalanciert und nicht zu scharf ist. Sie stellen einen Lebensmittelkritiker (das Belohnungsmodell) ein, der die Gerichte probiert und dem Koch sagt, was Ihnen schmeckt.

Das Problem:
Wenn Sie dem Koch einfach nur sagen: „Hör auf den Kritiker“, wird der Koch Schwierigkeiten haben. Da der Koch so an seinen eigenen Stil gewöhnt ist (die Basis-Policy), kann er seine Kochgewohnheiten nicht über Nacht ändern, ohne das Gericht zu ruinieren. Wenn der Kritiker sagt: „Das braucht weniger Salz“, versucht der Koch vielleicht, alles Salz zu entfernen, wodurch das Essen wie Pappe schmeckt, oder er ignoriert den Kritiker völlig, weil seine eigenen Gewohnheiten zu stark sind.

Die Arbeit argumentiert, dass es nicht die beste Methode ist, dem Koch einfach nur die Notizen des Kritikers zu übergeben. Man muss die Notizen des Kritikers umschreiben, bevor man sie dem Koch gibt. Dies nennt man Reward Shaping.

Der Kern der Idee: Ein Spiel zwischen „Anführer und Folger“

Die Autoren betrachten diese Situation als ein Spiel zwischen zwei Spielern, wie einem General und einem Soldaten (ein Stackelberg-Spiel).

Der Anführer (Sie/der Belohnungsdesigner): Sie entscheiden darüber, wie das Feedback des Kritikers präsentiert wird. Sie leiten nicht einfach nur die rohe Punktzahl weiter; Sie entwerfen das Bewertungssystem selbst.
Der Folger (der Koch/die KI): Der Koch sieht Ihr neues Bewertungssystem und versucht, das bestmögliche Gericht innerhalb seiner Grenzen zu kochen (er kann nicht völlig vergessen, was er gelernt hat).

Das Ziel: Der Anführer möchte ein Bewertungssystem entwerfen, das den Koch dazu bringt, genau das Gericht zu kochen, was der Nutzer will, ohne dass der Koch die Regeln bricht oder ein Chaos anrichtet (was die Arbeit als Reward Hacking bezeichnet).

Die Lösung: Die „Schwellenwert“-Strategie

Die Arbeit entdeckt, dass der beste Weg, dieses Bewertungssystem zu entwerfen, die Verwendung eines Schwellenwerts (Threshold) ist.

Stellen Sie sich vor, der Kritiker vergibt einen Score von 0 bis 100.

Der alte Weg: Der Koch sieht „85“ und „86“ und denkt: „Okay, 86 ist etwas besser.“ Aber da der Koch stur ist, ändert dieser winzige Unterschied nicht sein Rezept.
Der neue Weg (SRS): Der Anführer legt eine „Bestanden/Nicht bestanden“-Linie fest.
- Wenn das Gericht unter der Linie liegt (z. B. Score < 70), erhält der Koch einen Score von 0.
- Wenn das Gericht über der Linie liegt (z. B. Score > 70), erhält er einen massiven Score von 100.

Warum das funktioniert:
Dies schafft einen riesigen Anreiz für den Koch, über diese Linie zu springen. Es spielt keine Rolle, ob das Gericht eine 85 oder eine 99 ist; solange es über der Linie liegt, bekommt der Koch den „Goldstern“. Dies zwingt den Koch, seinen Kochstil gerade so weit anzupassen, dass er die Schwelle überschreitet, wodurch er seine natürliche Voreingenommenheit effektiv überwindet, ohne etwas Unmögliches zu verlangen.

Die Arbeit beweist mathematisch, dass dieser „Schwellenwert“-Ansatz der optimale Weg ist, um die Sturheit des Kochs mit den Wünschen des Nutzers in Einklang zu bringen.

Wie es in der Praxis funktioniert (Inference-Time)

Die Arbeit konzentriert sich auf Inference-Time Alignment. Das bedeutet, dass sie den Koch nicht neu trainieren (was teuer und langsam ist). Stattdessen passen sie den Kochprozess an, während der Koch das Gericht zubereitet.

Sampling: Bevor der Koch das endgültige Mahl zubereitet, bittet das System den Koch, schnell 10 „Übungsversionen“ des Gerichts basierend auf seinem üblichen Stil zu kochen.
Bewertung: Der Kritiker probiert diese 10 Übungsgerichte.
Festlegen der Linie: Das System berechnet den „Schwellenwert“ basierend auf diesen 10 Proben. Es findet genau heraus, wo die Linie gezogen werden muss, um das beste Ergebnis zu erzielen.
Kochen: Der Koch kocht dann das endgültige Gericht, wird aber diesmal durch das neue „Schwellenwert“-Bewertungssystem geleitet. Er wird dazu angeregt, die Zutaten zu wählen, die diese Linie überschreiten.

Die Ergebnisse: Hat es funktioniert?

Die Autoren testeten dies an populären KI-Modellen (wie Qwen und Llama) unter Verwendung von Standardtests für Hilfsbereitschaft und Sicherheit.

Bessere Scores: Ihre Methode erzielte konsistent höhere „Nutzerzufriedenheits“-Werte als andere Methoden.
Kein „Schummeln“: Manchmal, wenn man eine KI zu sehr unter Druck setzt, beginnt sie, „das System zu manipulieren“ (z. B. Unsinn zu schreiben, der für den Kritiker gut aussieht, aber für den Menschen nutzlos ist). Diese Methode vermied dies.
Die „Gewinnrate“: Im Vergleich ihrer Methode gegen andere unter Verwendung einer leistungsstarken KI (GPT-4) als Schiedsrichter, gewann ihre Methode 66 % bis 70 % der Fälle oder erreichte ein Unentschieden.

Zusammenfassende Analogie

Stellen Sie sich die KI wie ein Auto vor, das eine sehr starke Tendenz hat, nach links zu driften.

Standard Alignment: Sie sagen dem Fahrer: „Lenke nach rechts, um in der Spur zu bleiben.“ Der Fahrer versucht es, aber das Auto driftet ständig nach links, weil die Lenkung schwergängig ist.
Reward Shaping (Diese Arbeit): Sie installieren einen neuen Lenksensor. Dieser Sensor sagt nicht nur „Lenke rechts“. Er sagt: „Wenn du auch nur ein kleines Stück rechts von der Mittellinie bist, belohnt dich das Auto mit einem massiven Schub. Wenn du links bist, bekommst du gar nichts.“
Das Ergebnis: Der Fahrer (die KI) ist nun motiviert, die schwere Lenkung gerade so weit zu bekämpfen, dass er diese unsichtbare Linie überquert, und plötzlich fährt das Auto perfekt in der Spur.

Die Hauptbehauptung der Arbeit ist, dass wir durch die mathematische Gestaltung dieser „unsichtbaren Linie“ (des Schwellenwerts) KI-Modelle viel besser an menschliche Präferenzen anpassen können, als es durch bloßes Standard-Feedback möglich wäre.

Technisches Resümee: Reward Shaping für (Inferenzzeit-)Alignment aus der Perspektive eines Stackelberg-Spiels

1. Problemstellung

Aktuelle Alignment-Pipelines für Large Language Models (LLMs) beinhalten typischerweise das Erlernen eines Belohnungsmodells ( $r_U$ ) aus Nutzerpräferenzdaten und die anschließende Optimierung der LLM-Policy anhand dieses Modells. Diese Optimierung wird durch einen Kullback-Leibler-Divergenz-Regularisierer eingeschränkt, um die gelernte Policy nahe am Basismodell ( $\rho_{base}$ ) zu halten, wodurch Fluenz und sprachliche Kompetenz bewahrt werden.

Die Autoren identifizieren eine fundamentale Einschränkung in dieser Standard-Pipeline: Die direkte Optimierung auf das gelernte Belohnungsmodell $r_U$ unter einer KL-Einschränkung ist suboptimal für die Maximierung des Nutzernutzens. Wenn das Basismodell starke Biases aufweist (z. B. politische Neigungen), die im Konflikt mit den Nutzerpräferenzen stehen, verhindert die KL-Einschränkung, dass sich die Policy ausreichend in Richtung der bevorzugten Verteilung verschiebt, selbst wenn das Belohnungsmodell die Präferenz korrekt identifiziert.

Umgekehrt birgt die bloße Verstärkung von Belohnungen, um eine Verschiebung zu erzwingen, das Risiko von Reward Hacking, bei dem das Modell inkohärente oder degenerative Ausgaben generiert, um das Belohnungssignal zu maximieren, während es die Absicht der KL-Einschränkung verletzt. Das Kernproblem, das adressiert wird, ist die Frage, wie man das zur Alignment verwendete Belohnungsmodell optimal gestalten (shapen) kann, um die Maximierung des Nutzernutzens gegen das Risiko von Reward Hacking unter KL-Regularisierung abzuwägen.

2. Methodik: Stackelberg-Spiel-Formulierung

Die Autoren formalisieren das Design des Belohnungsmodells als ein Stackelberg-Spiel, ein Spiel mit zwei Spielern in sequenzieller Abfolge:

Leader (Anbieter des Belohnungsmodells): Wählt ein Belohnungsmodell $r$ , um den erwarteten Nutzen des Nutzers (basierend auf der wahren Nutzenfunktion $r_U$ ) zu maximieren, wobei er die Reaktion des LLMs antizipiert. Der Leader ist nicht verpflichtet, $r_U$ direkt zu verwenden, sondern kann jede Belohnungsfunktion $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ wählen, die durch $B$ beschränkt ist.
Follower (LLM): Beobachtet das Belohnungsmodell $r$ und optimiert seine Policy $\rho_r$ , um den erwarteten Ertrag abzüglich der KL-Divergenz von der Basis-Policy zu maximieren:
$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$

Theoretische Charakterisierung

Die Autoren leiten eine geschlossene Form der optimalen Belohnung $r^*$ ab:

Schwellenwertstruktur: Das optimale Belohnungsmodell ist ein Schwellenwert-Belohnungsmodell (Threshold Reward). Für einen gegebenen Prompt $x$ $x$ werden die Antworten basierend darauf partitioniert, ob ihr wahrer Nutzen $r_U(x, y)$ $r_{U} (x, y)$ über oder unter einem spezifischen Schwellenwert $m^*(x)$ $m^{*} (x)$ liegt.
- Wenn $r_U(x, y) > m^*(x)$ , wird die Belohnung auf die obere Grenze $B$ gesetzt.
- Wenn $r_U(x, y) < m^*(x)$ , wird die Belohnung auf $0$ gesetzt.
- Wenn $r_U(x, y) = m^*(x)$ , liegt die Belohnung in $[0, B]$ .
Selbstkonsistenzbedingung: Der optimale Schwellenwert $m^*(x)$ erfüllt die Bedingung, dass der erwartete Nutzen der resultierenden Policy dem Schwellenwert selbst entspricht:
$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$
Berechnung: Da die exakte Erwartung unpraktikabel ist, schlagen die Autoren vor, den Schwellenwert mittels Monte-Carlo-Sampling aus der Basis-Policy zu berechnen. Sie definieren eine Hilfsfunktion $F_x(m)$ , deren eindeutige Wurzel dem optimalen Schwellenwert entspricht. Diese Wurzel kann effizient über einen Bisektionsalgorithmus gefunden werden.

Praktische Implementierung: Soft Thresholding (SRS)

Obwohl der harte Schwellenwert analytisch optimal ist, ist er diskontinuierlich und gegenüber kleinen Störungen empfindlich. Die Autoren führen Stackelberg Reward Shaping (SRS) ein, eine Variante des Soft Thresholding unter Verwendung einer Sigmoid-Funktion:
$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$
wobei $\hat{m}^*(x)$ der geschätzte Schwellenwert ist und $\alpha$ die Schärfe des Übergangs steuert. Dies ermöglicht es, zwischen keinem Alignment-Effekt ( $\alpha=0$ ) und dem analytischen Optimum ( $\alpha \to \infty$ ) zu interpolieren.

Integration in das Inference-Time-Alignment

Das Framework wird in bestehende Methoden des Inference-Time-Alignments integriert (speziell Controlled Decoding (CD) und Alignment as Reward-Guided Search (ARGS)):

Offline-Phase: Ziehen von $M$ Antworten aus dem Basismodell für einen Datensatz von Prompts. Berechnung von $r_U$ für diese Stichproben. Schätzung des Schwellenwerts $\hat{m}^*(x)$ via Bisektion. Anwendung der SRS-Transformation zur Generierung eines geformten (shaped) Belohnungsdatensatzes. Training eines Q-Wert-Schätzers auf diesen geformten Daten.
Inferenz-Phase: Verwendung des trainierten Q-Wert-Schätzers (der die erwartete Belohnung unter der geformten Belohnung erfasst), um die Token-Wahrscheinlichkeiten des Basismodells während des Decodings umzugewichten.

3. Kernbeiträge

Suboptimalität Standardmäßiger Pipelines: Nachgewiesen, dass die direkte Verwendung eines aus Präferenzen gelernten Belohnungsmodells unter KL-regularisierten Zielen suboptimal ist, insbesondere wenn die Biases des Basismodells mit Nutzerpräferenzen kollidieren.
Stackelberg-Spiel-Formulierung: Formulierung der Optimierung des Belohnungsmodells als Stackelberg-Spiel, woraus eine geschlossene Lösung abgeleitet wurde, die zeigt, dass das optimale Belohnungsmodell einer Schwellenwertstruktur folgt.
Effiziente Approximation: Entwicklung eines Algorithmus zur Annäherung des optimalen Schwellenwerts mittels Monte-Carlo-Sampling aus der Basis-Policy, was eine Integration in bestehende Methoden mit minimalem Overhead ermöglicht.
Empirische Validierung: Nachweis, dass die vorgeschlagene SRS-Methode die durchschnittliche Belohnung konsistent verbessert und hohe Win-Tie-Raten gegenüber Baselines in Inference-Time-Settings erreicht.

4. Experimentelle Ergebnisse

Die Methode wurde auf den Datensätzen HH-RLHF und SHP mit Qwen3-8B und Llama3-8B Backbones evaluiert.

Maximierung der Belohnung: SRS-integrierte Methoden (SRS-CD und SRS-ARGS) erreichten konsistent die höchste durchschnittliche Belohnung über alle Evaluierungsszenarien hinweg im Vergleich zu Vanilla-Baselines und heuristischen Reward-Shaping-Schemata (Minmax, Meanstd).
Qualitätsmetriken: Die Methoden behielten eine Diversität und Kohärenz auf dem Niveau der Baselines bei, was darauf hindeutet, dass keine Verschlechterung der Sprachqualität auftritt.
GPT-4 Evaluation: In direkten Vergleichen (Head-to-Head) erzielten SRS-Methoden eine durchschnittliche Win-Tie-Rate von über 66 % gegenüber allen Baselines (Vanilla, Minmax, Meanstd), was darauf hindeutet, dass die Verbesserungen nicht durch Reward Hacking getrieben werden.
Robustheit:
- Generalisierung: SRS zeigte eine überlegene Leistung, wenn es auf einer Verteilung (SHP) trainiert und auf Out-of-Distribution-Prompts (HH-RLHF und HarmfulQA) evaluiert wurde.
- Ablation: Die spezifische Schwellenwertstruktur von SRS übertraf einfaches Reward Capping und Mean-basiertes Thresholding, was die Bedeutung des aus der spieltheoretischen Formulierung abgeleiteten, selbstkonsistenten Schwellenwerts bestätigt.
Overhead: Für SRS-CD erfolgt das Reward Shaping offline mit Null Inferenz-Overhead. Für SRS-ARGS ist der Overhead vernachlässigbar (~0,03 Sekunden pro 128-Token-Antwort).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Reward Shaping nicht bloß eine Heuristik ist, sondern ein Optimierungsproblem, das systematisch gelöst werden kann. Durch die Betrachtung des Alignment-Prozesses durch eine spieltheoretische Linse zeigen die Autoren, dass das zum Steuern des LLMs verwendete Belohnungsmodell nicht notwendigerweise (und auch nicht sollte es) ein direkter Stellvertreter für den Nutzernutzen sein. Stattdessen muss es "geformt" werden, um die durch das Basismodell auferlegten Einschränkungen (KL-Divergenz) zu berücksichtigen.

Die Bedeutung liegt in der Bereitstellung eines prinzipienbasierten Frameworks, um Basismodell-Biases entgegenzuwirken, ohne Reward Hacking zu induzieren. Die Autoren betonen, dass ihr Ansatz leichtgewichtig ist, sich nahtlos in bestehende Inference-Time-Alignment-Methoden integrieren lässt und eine robuste Lösung zur Anpassung fixer Modelle an diverse Nutzerpräferenzen bietet.

Vom Autor angemerktes Limit:

Das Framework setzt einen wohlwollenden Nutzer voraus, dessen Präferenzen mit menschlichen Werten übereinstimmen. Wenn das Belohnungsmodell bösartige Präferenzen widerspiegelt, könnte die resultierende Policy fehlgeleitet (misaligned) sein.
Die Methode setzt die Verfügbarkeit eines Belohnungsmodells und Monte-Carlo-Stichproben aus der Basis-Policy voraus.
Der aktuelle empirische Fokus liegt auf dem Inference-Time-Alignment, obwohl die Autoren anmerken, dass die Erweiterung auf Trainings-Algorithmen (z. B. GRPO) als zukünftige Arbeit möglich ist.