💬 NLP

REAR: Test-time Preference Realignment through Reward Decomposition

Dieses Paper führt REAR ein, ein trainingsfreies Test-Time-Framework, das große Sprachmodelle durch die Dekomposition von Belohnungsfunktionen zur selektiven Skalierung von Belohnungskomponenten mit vielfältigen Nutzerpräferenzen in Einklang bringt und dadurch die effiziente Test-Time-Skalierung über verifizierbare Domänen hinaus auf komplexe Präferenz-Alignment-Aufgaben ausweitet.

Ursprüngliche Autoren: Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut trainierten Roboter-Assistenten (ein Large Language Model). Dieser Roboter hat gelernt, hilfreich, höflich und präzise zu sein, basierend auf der riesigen Menge an Daten, mit denen er trainiert wurde. Manchmal haben Sie jedoch eine sehr spezifische, persönliche Anfrage. Vielleicht möchten Sie, dass der Roboter Mathematik auf eine Weise erklärt, die „lustig, aber nicht wie ein Videospiel“ ist, oder Sie möchten, dass er wie ein „griesgrämiger alter Detektiv“ agiert.

Das Problem ist, dass die Standardeinstellung des Roboters vielleicht nicht perfekt zu Ihrer spezifischen Stimmung oder Präferenz passt. Normallich müssten Sie den Roboter zurück in die „Schule“ schicken (erneut trainieren), um das zu beheben, was teuer, langsam und ressourcenintensiv ist.

Dieses Paper stellt einen cleveren Trick namens REAR (Realignment through Reward Decomposition) vor, mit dem Sie das Verhalten des Roboters direkt während des Gesprächs anpassen können, ohne ihn zurück in die Schule zu schicken.

So funktioniert es, unterteilt in einfache Analogien:

1. Das Problem: Der „Standard“ des Roboters vs. Ihr „Wunsch“

Stellen Sie sich das Gehirn des Roboters als zwei verschiedene Stimmen vor, die gleichzeitig sprechen:

Stimme A (Die Frage): „Wie beantworte ich dieses mathematische Problem korrekt?“
Stimme B (Die Präferenz): „Wie beantworte ich dies, während ich griesgrämig bin und Videospiel-Metaphern vermeide?“

Wenn der Roboter trainiert wird, lernt er eine Mischung aus diesen beiden Stimmen. Aber wenn Sie eine spezifische Frage stellen, kann diese Mischung falsch sein. Vielleicht konzentriert er sich zu sehr darauf, „korrekt“ zu sein, und ignoriert Ihren Wunsch, „griesgrämig“ zu sein.

2. Die Lösung: Der „Lautstärkeregler“ (Reward Decomposition)

Die Autoren haben erkannt, dass man diese beiden Stimmen mathematisch trennen kann. Sie behandeln die interne „Belohnung“ (das Gefühl, eine gute Arbeit geleistet zu haben) des Roboters als zwei getrennte Zutaten:

Die Frage-Zutat: Wie gut beantwortet er die Aufforderung?
Die Präferenz-Zutat: Wie gut folgt er Ihrem spezifischen Stil?

REAR ist wie ein Lautstärkeregler, den Sie während des Gesprächs drehen können.

Wenn Sie den Regler aufdrehen, hört der Roboter mehr auf Ihre „Präferenz“-Stimme.
Wenn Sie ihn leiser drehen, hört er mehr auf die „Frage“-Stimme.

Die Magie besteht darin, dass sie herausgefunden haben, wie man diesen Lautstärkeregler allein unter Verwendung der internen Wahrscheinlichkeitswerte des Roboters berechnen kann. Sie benötigen keinen neuen Lehrer oder einen neuen Datensatz; Sie nutzen einfach das bestehende Gehirn des Roboters, um sich selbst neu auszubalancieren.

3. Die Strategie: „Versuch es, versuch es, versuch es nochmal“ (Test-Time Scaling)

Da der Roboter nicht sofort wissen kann, welche Antwort perfekt ist, nutzt REAR eine Strategie namens Test-Time Scaling. Stellen Sie sich das so vor:

Der „Best of N“-Ansatz: Stellen Sie sich vor, Sie bitten den Roboter, eine Geschichte zu schreiben. Anstatt nur den ersten Entwurf zu akzeptieren, bitten Sie ihn, 16 verschiedene Versionen zu schreiben – in der Zeit, die er normalerweise für eine einzige benötigt.
Die Bewertungstabelle: Für jede dieser 16 Versionen fungiert REAR als Richter. Es nutzt die Mathematik des „Lautstärkereglers“, um sie zu bewerten. Es fragt: „Welche dieser 16 Geschichten beantwortet die Frage am besten UND folgt dem Stil des griesgrämigen Detektivs?“
Der Gewinner: Der Roboter wählt die Version mit der höchsten Punktzahl aus und gibt diese an Sie weiter.

Sie verwenden auch eine fortgeschrittenere Version namens Tree Search (ähnlich wie ein Detektiv, der verschiedene Pfade in einem Labyrinth erkundet). Anstatt einfach 16 ganze Geschichten zu schreiben, erkundet der Roboter verschiedene Satzoptionen Schritt für Schritt und prüft dabei ständig die Bewertung, um sicherzustellen, dass er auf dem richtigen Weg bleibt.

4. Warum das eine große Sache ist

Kein Training nötig: Sie müssen den Roboten nicht neu trainieren. Es ist, als würde man einen Radiosender abstimmen, während man zuhört, anstatt ein neues Radio zu kaufen.
Funktioniert für alles: Sie haben gezeigt, dass es nicht nur für „griesgrämige Detektive“ funktioniert, sondern auch für komplexe mathematische Probleme und sogar visuelle Aufgaben (wie etwa ein Bild genau zu beschreiben, ohne Dinge zu erfinden).
Effizient: Da es die eigene interne Mathematik des Roboters nutzt, muss es kein separates, schweres „Richter-Programm“ laden, um die Antworten zu prüfen. Es ist schneller und kostengünstiger als bisherige Methoden.

Zusammenfassung

RE_AR ist ein Werkzeug, mit dem Sie die Persönlichkeit oder den Fokus einer intelligenten KI sofort anpassen können, während sie arbeitet. Dies geschieht, indem die „Beantwortung der Frage“ mathematisch von der „Verfolgung Ihres Stils“ getrennt wird, und indem anschließend eine „Versuche viele Optionen und wähle die beste aus“-Strategie verwendet wird, um die perfekte Antwort zu finden. Es ist wie eine Fernbedienung für die Persönlichkeit der KI, die sofort funktioniert, ohne dass man die KI von Grund auf neu bauen muss.

Technisches Resümee: REAR: Test-Time Preference Realignment durch Reward-Dekomposition

Problemstellung

Die Ausrichtung von Large Language Models (LLMs) an den vielfältigen und personalisierten Präferenzen der Nutzer ist eine kritische Herausforderung. Während Post-Training-Methoden wie Reinforcement Learning from Human Feedback (RLHF) effektiv sind, erfordern sie eine kostspielige Kuratierung von Daten und zusätzliches Training, was sie unflexibel für dynamische oder spezifische Nutzerbedürfnisse macht. Test-Time Scaling (TTS) bietet eine trainingsfreie Alternative, indem zusätzliche Rechenleistung während der Inferenz genutzt wird, um die Ausgabequalität zu verbessern. Bisherige TTS-Methoden beschränkten sich jedoch weitgehend auf verifizierbare Domänen (z. B. Mathematik, Programmierung), in denen die Korrektheit leicht beurteilt werden kann. Die Anwendung von TTS auf die Präferenz-Ausrichtung (Preference Alignment) ist schwierig, da die Qualität einer Antwort ganzheitlich ist und sich nicht auf eine einfache, verifizierbare Antwort reduzieren lässt. Aktuelle Ansätze zur Test-Time-Ausrichtung erlegen oft feste Rechen-Overheads auf oder erfordern das Training von Value-Heads, was die Skalierbarkeit und Effizienz einschränkt.

Methodik

Das Paper führt REAR (REAlignment Reward) ein, ein neuartiges Framework, das die Test-Time-Präferenz-Ausrichtung als ein Realignment-Problem (Neu-Ausrichtungsproblem) formuliert. Die zentrale Erkenntik ist, dass das Trainingsziel eines Basismodells die spezifischen Präferenzen eines Nutzers zum Zeitpunkt der Inferenz möglicherweise nicht optimal erfüllt. REAR adresset dies, indem die zugrunde liegende Belohnungsfunktion (Reward Function) in zwei Komponenten zerlegt und deren Wichtigkeit dynamisch skaliert wird.

1. Reward-Dekomposition

Die Autoren formalisieren die Reward-Struktur eines vortrainierten LLMs innerhalb des Maximum Entropy RL Frameworks. Sie postulieren, dass der Reward $r(s \oplus x_p)$ für einen Zustand $s$ (Frage) und eine Präferenz $x_p$ als folgt dekomponiert werden kann:

Fragebezogener Reward ( $r_0$ ): Der implizite Reward, den das Basismodell maximiert, um die Frage korrekt zu beantworten.
Präferenzbezogener Reward ( $r_p$ ): Die Reward-Komponente, die erfasst, wie gut die Antwort die Präferenz $x_p$ erfüllt.

Der zusammengesetzte Reward wird als $r(s \oplus x_p, a) = r_0(s, a) + \alpha r_p(s \oplus x_p, a)$ modelliert, wobei $\alpha$ ein inhärenter Ausgleichskoeffizient ist.

2. Realignment Reward (REAR)

Um das Modell für einen spezifischen Nutzer neu auszurichten, führt REAR einen steuerbaren Koeffizienten $\hat{\alpha}$ (oder $\lambda = \hat{\alpha}/\alpha$ ) ein, um die Präferenz-Komponente während der Inferenz zu skalieren:
$r_{REAR}(s \oplus x_p, a) = r_0(s, a) + \hat{\alpha} r_p(s \oplus x_p, a)$

Entscheidend ist, dass die Autoren eine recheneffiziente Formulierung für diesen Reward herleiten. Durch die Nutzung der Beziehung zwischen optimalen Policies und Value-Funktionen in MaxEnt RL zeigen sie, dass $r_{REAR}$ als Linearkombination der Token-level Policy Log-Wahrscheinlichkeiten ausgedrückt werden kann:
$S_{REAR}(\tau) = \sum_{t=0}^{T} \gamma^t \left( (1-\lambda) \log \pi(a_t|s_t) + \lambda \log \pi(a_t|s_t \oplus x_p) \right)$
Diese Score-Funktion hängt ausschließlich von den Log-Wahrscheinlichkeiten des Basismodells unter zwei Kontexten ab: dem Prompt nur mit der Frage und dem vollständigen Prompt inklusive der Präferenzen. Sie erfordert weder das Training eines separaten Reward-Modells noch das Generieren zusätzlicher Tokens für das Scoring.

3. Integration mit Test-Time Scaling

Der REAR-Score wird in zwei TTS-Algorithmen integriert:

Best-of-N (BoN) Sampling: Generiere $N$ Antworten und wähle diejenige mit dem höchsten $S_{REAR}$ -Score aus.
Diverse Verifier Tree Search (DVTS): Ein Tree-Search-Algorithmus, der REAR-Scores nutzt, um die Branch-Expansion und -Selektion zu steuern, wodurch Diversität gefördert und gleichzeitig die Präferenz-Ausrichtung optimiert wird.

Zentrale Beiträge

Formalisierung von Realignment: Das Paper formalisiert die Test-Time-Präferenz-Ausrichtung als ein Realignment-Problem und schlägt REAR als effiziente Reward-Funktion vor, die aus einem dekomponierten Ziel abgeleitet ist.
Trainingsfreies Scoring: REAR wird ausschließlich aus den internen Wahrscheinlichkeiten des Basismodells abgeleitet und erfordert kein zusätzliches Training, kein Training eines Reward-Modells und keine Schritte zur spekulativen Generierung.
Skalierbare Algorithmen: Die Autoren entwickeln zwei skalierbare Test-Time-Algorithmen (BoN und DVTS), die durch REAR geleitet werden und die Generierungsleistung mit variierenden Sample-Budgets verbessern können.
Generalisierbarkeit: Es wird gezeigt, dass die Methode über die explizite Präferenz-Ausrichtung hinaus auf mathematische Aufgaben und visuelle Aufgaben generalisiert, indem task-spezifischer Präferenz-Text injiziert wird.

Experimentelle Ergebnisse

Die Autoren evaluierten REAR auf mehreren Benchmarks unter Verwendung von Qwen- und Llama-Modellen:

Benchmarks für Präferenz-Ausrichtung: Auf PrefEval (deckt explizite/implizite Präferenzen und Entscheidungen ab), Multifaceted Bench und Ping-Pong (Rollenspiel) übertrafen REAR-gestützte Methoden (sowohl BoN als auch DVTS) konsistent die Baselines, einschließlich Greedy Decoding, Amulet, Linear Alignment (LA) und Best-of-N mit Generative Reward Models (GenRM). Beispielsweise verbesserte DVTS mit REAR die Leistung gegenüber Greedy Decoding im Durchschnitt um 11,6 % über alle Metriken hinweg.
Robustheit bei langen Kontexten: REAR zeigte eine überlegene Robustheit in Long-Context-Szenarien (bis zu 16k Tokens) im Vergleich zu GenRM, welches mit zunehmender Kontextlänge signifikant an Leistung verlor.
Mathematische Argumentation: Bei der Anwendung auf mathematische Aufgaben (MATH500, AIME, AMC) mit angemessenem Präferenz-Text (z. B. „Agieren Sie als strenger Mathematiker“) übertraf die REAR-gestützte Selektion das Majority Voting und zeigte konsistente Skalierungsgewinne.
Visuelle Aufgaben: Auf MMHal-Bench zur Detektion visueller Halluzinationen verbesserte REAR die Gesamtscores und reduzierte die Halluzinationsraten im Vergleich zu Greedy Decoding und GenRM.
Cross-Model Transfer: Die Methode generalisierte auf Llama-3.1-8B-Instruct ohne per-Modell-Tuning, was bestätigt, dass die Reward-Dekomposition nicht spezifisch für die Qwen-Familie ist.
Effizienz: REAR-gestützte Methoden waren signifikant schneller als Baselines, die externe Reward-Modelle oder iterative Optimierung erfordern (wie Amulet), da sie das Laden separater Modelle vermeiden und auf einem einzigen Forward Pass für das Scoring basieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass REAR eine skalierbare und allgemeine Lösung bietet, um LLMs zur Test-Time an Nutzerpräferenzen auszurichten, ohne den Overhead durch Training oder externe Reward-Modelle. Durch die Dekomposition des Rewards in Frage- und Präferenzkomponenten ermöglicht REAR eine dynamische Kontrolle über den Trade-off zwischen der Beantwortung der Frage und der Einhaltung der Präferenzen.

Die Autoren betonen, dass REAR es ermöglicht, dass Test-Time-Scaling auch auf subjektive, offene Domänen (wie Präferenz-Ausrichtung und Rollenspiele) ausgeweitet werden kann, in denen traditionelle Verifier versagen. Sie merken an, dass während ein Standard- $\lambda = 20$ bei vielen Aufgaben robust funktioniert, die Methode die Möglichkeit zur Feinabstimmung der Stärke des Realignments bietet. Die Arbeit positioniert sich als Schritt, um die Test-Time-Ausrichtung zugänglicher und effizienter zu machen und die Lücke zwischen dem Erfolg von TTS in verifizierbaren Domänen und der Komplexität subjektiver Präferenz-Ausrichtung zu schließen.

Anerkannte Limitationen: Die Autoren merken an, dass REAR dem Nutzer einen abstimmbaren Hyperparameter ( $\lambda$ ) offenlegt, der für Aufgaben mit signifikant unterschiedlichen Präferenzverteilungen kleine Validierungs-Sweeps erfordern kann. Zudem bleibt die Identifizierung des optimalen Rechenbudgets eine Richtung für zukünftige Arbeiten, obwohl TTS leichter als Fine-Tuning ist.