💬 NLP

ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training

Der Artikel stellt ConsistRM vor, ein selbsttrainierendes Framework für generative Belohnungsmodelle, das durch konsistenzbewusste Belohnungen und Pseudo-Labels ohne menschliche Annotationen eine stabilere und leistungsfähigere Ausrichtung von Sprachmodellen ermöglicht.

Ursprüngliche Autoren: Yu Liang, Liangxin Liu, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Liang, Liangxin Liu, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas verwirrten Assistenten (eine große KI), der lernen soll, die besten Antworten auf Fragen zu finden. Normalerweise braucht dieser Assistent einen menschlichen Lehrer, der ihm sagt: „Das war eine gute Antwort, das war eine schlechte." Das ist aber teuer und langsam, weil man viele Menschen braucht.

Die Forscher von Baidu haben nun eine neue Methode namens ConsistRM entwickelt. Das Ziel? Den Assistenten so zu trainieren, dass er sich selbst verbessert, ohne dass ein Mensch ihm ständig auf die Schulter klopfen muss.

Hier ist die Idee, einfach erklärt mit ein paar Bildern:

1. Das Problem: Der verwirrte Assistent

Stell dir vor, der Assistent muss zwei Antworten vergleichen (Antwort A und Antwort B).

Das alte Problem: Wenn er sich selbst bewertet, neigt er dazu, sich zu täuschen. Er könnte denken: „Ich mag Antwort A, weil sie länger ist" (obwohl sie Unsinn ist) oder er vergisst, was er vor fünf Minuten gedacht hat. Das nennt man „Reward Hacking" – er lernt, das System zu manipulieren, statt wirklich klug zu werden.
Die Lösung: ConsistRM gibt ihm einen Spiegel und ein Gedächtnis.

2. Die zwei Geheimwaffen von ConsistRM

A. Der „Zeit-Konsistenz-Spiegel" (Consistency-Aware Answer Reward)

Stell dir vor, der Assistent muss eine Entscheidung treffen.

Ohne ConsistRM: Er schaut nur auf den Moment. „Heute finde ich Antwort A toll!"
Mit ConsistRM: Er schaut in zwei Richtungen:
1. Der aktuelle Blick: Was sagt er jetzt?
2. Das Gedächtnis: Was hat er in den letzten Tagen bei ähnlichen Fragen gedacht?
Wenn er heute sagt „A ist besser" und gestern auch „A ist besser", dann ist er sich sicher. Das ist wie ein Richter, der nicht nur auf das aktuelle Urteil schaut, sondern auch auf seine früheren Urteile, um sicherzustellen, dass er nicht launisch ist. Wenn seine Meinungen schwanken, sagt das System: „Moment mal, da bin ich mir nicht sicher, lass uns das nicht als feste Regel nehmen." Das verhindert, dass er sich in falsche Pfade verirrt.

B. Der „Einheits-Check" für Kritik (Consistency-Aware Critique Reward)

Der Assistent soll nicht nur sagen, welche Antwort besser ist, sondern auch warum (eine Kritik schreiben).

Das Problem: Manchmal schreibt er fünf verschiedene Kritiken zu derselben Frage. In einer sagt er „A ist gut wegen der Länge", in der anderen „B ist gut wegen der Länge". Das ist verwirrend.
Die Lösung: ConsistRM schaut sich alle diese Kritiken an. Wenn sie alle ähnlich klingen und denselben Punkt treffen (z. B. alle sagen „A ist präziser"), dann gibt es einen Bonus.

Die Analogie: Stell dir vor, du hast eine Jury aus 100 Menschen. Wenn 99 von ihnen sagen „Das Gerichtsurteil ist fair", dann ist es wahrscheinlich fair. Wenn die Jury aber zerstritten ist, ist das Urteil unsicher. ConsistRM belohnt den Assistenten nur dann, wenn seine „innere Jury" (seine verschiedenen Kritiken) sich einig ist. Das zwingt ihn, klare und stabile Argumente zu finden.

3. Das Ergebnis: Ein stabilerer, kürzerer und fairerer Assistent

Durch diese beiden Tricks passiert Magie:

Keine menschlichen Lehrer nötig: Der Assistent lernt aus sich selbst heraus, indem er seine eigene Konsistenz prüft.
Weniger „Position-Bias": Normalerweise bevorzugen KIs oft die Antwort, die zuerst genannt wird, nur weil sie zuerst da steht. ConsistRM lernt, sich auf den Inhalt zu konzentrieren, egal ob Antwort A oder B zuerst kommt.
Kürzere Antworten: Der Assistent lernt, nicht zu viel zu schwafeln. Da er für klare, konsistente Kritik belohnt wird, wird er auch kürzer und prägnanter.

Zusammenfassung in einem Satz

ConsistRM ist wie ein strenger, aber fairer Coach, der einem KI-Assistenten sagt: „Sei nicht launisch, vergiss nicht, was du gestern gesagt hast, und stelle sicher, dass alle deine Argumente auf demselben Standpunkt stehen – dann wirst du der beste Richter der Welt, ohne dass ein Mensch dir dabei helfen muss."

Das Paper zeigt, dass diese Methode funktioniert: Die KIs wurden in Tests besser, stabiler und fairer als mit herkömmlichen Methoden.

1. Problemstellung

Generative Belohnungsmodelle (Generative Reward Models, GRMs) haben sich als vielversprechende Alternative zu traditionellen skalaren Belohnungsmodellen etabliert, um Large Language Models (LLMs) besser an menschliche Präferenzen anzupassen. GRMs bieten eine höhere Repräsentationsfähigkeit und Flexibilität, da sie nicht nur einen Score, sondern strukturierte Kritiken und Präferenzlabels generieren.

Trotz ihrer Vorteile stehen GRMs vor zwei wesentlichen Herausforderungen:

Abhängigkeit von teuren menschlichen Annotationen: Das Training erfordert große Mengen hochwertiger, menschlich annotierter Daten, was die Skalierbarkeit einschränkt und kostspielig ist.
Instabilität bei Selbsttraining (Self-Training): Bestehende Ansätze, die auf unüberwachtem Lernen oder Selbsttraining basieren, leiden oft unter Instabilität und sind anfällig für „Reward Hacking" (das Ausnutzen von Schwachstellen im Belohnungssystem). Da die Belohnungssignale oft stark mit dem aktuellen Policy-Modell korreliert sind, neigen diese Methoden zu vorzeitigem Overfitting auf verrauschte Pseudo-Labels.

Das Ziel der Arbeit ist es, ein robustes Selbsttrainings-Framework für GRMs zu entwickeln, das ohne menschliches Feedback auskommt und gleichzeitig Stabilität sowie Zuverlässigkeit gewährleistet.

2. Methodik: ConsistRM

Die Autoren schlagen ConsistRM vor, ein Selbsttrainings-Framework, das interne Konsistenzsignale nutzt, um stabile Pseudo-Labels zu generieren. Der Ansatz basiert auf zwei komplementären Modulen:

A. Konsistenzbewusste Antwort-Belohnung (Consistency-Aware Answer Reward, CAAR)

Dieses Modul zielt darauf ab, zuverlässige Pseudo-Labels für die Präferenzentscheidung ( $y \in \{-1, 1\}$ ) zu erstellen, indem es zwei Arten von Konsistenz kombiniert:

Online-State Preference: Misst die Konsistenz der Präferenzvorhersagen innerhalb der aktuellen Trainingsiteration. Das Modell führt $K$ Rollouts durch, und die durchschnittliche Vorhersage dieser Rollouts bildet das Online-Signal.
Memory-Driven Preference: Nutzt einen dynamisch aktualisierten Erfahrungspuffer (Memory), der Pseudo-Labels aus vorherigen Iterationen speichert. Dies verhindert, dass das Modell in suboptimale lokale Minima konvergiert, indem es historische Stabilität berücksichtigt.

Das finale Pseudo-Label $\hat{y}$ wird durch die Kombination dieser Signale gebildet:
$\hat{y}^{(n)} = \text{sgn}(s^{(n)}_{\text{online}} + s^{(n)}_{\text{memory}})$
Ein ternäres Labeling-System wird verwendet: Wenn die Signale inkonsistent sind, wird $\hat{y} = 0$ zugewiesen, um unsichere Supervision von der Optimierung auszuschließen. Die Belohnung $r^{(a)}$ wird basierend auf der Übereinstimmung zwischen der generierten Antwort und diesem konsistenten Pseudo-Label berechnet.

B. Konsistenzbewusste Kritik-Belohnung (Consistency-Aware Critique Reward, CACR)

Anstatt sich nur auf das Endergebnis zu verlassen, bewertet dieses Modul die semantische Konsistenz der generierten Texte (Kritiken).

Generierte Kritiken werden in Vektoren codiert (mittels Embedding-Modell).
Die semantische Ähnlichkeit (Cosine-Similarity) zwischen den Kritiken wird berechnet.
Nur Kritiken mit hoher semantischer Konsistenz (Top- $p$ ) erhalten eine positive Belohnung.
Dieser Ansatz stabilisiert den Analyseprozess, da stark konsistente Kritiken auf eine zuverlässigere semantische Region hindeuten und das Modell dazu anregen, stabile und repräsentative Bewertungen zu liefern.

C. Finale Belohnungsfunktion

Die endgültige Belohnung $r^{(n)}$ kombiniert Formatvalidierung, CAAR und CACR:

Invalid: -5 (bei Formatfehlern).
Inkonsistentes Signal ( $\hat{y}=0$ ): 0 (keine Belohnung, um Rauschen zu vermeiden).
Konsistentes Signal: Summe aus Antwort-Belohnung und Kritik-Belohnung.

3. Wichtige Beiträge

Neues Selbsttrainings-Framework: Einführung von ConsistRM, das GRMs ermöglicht, durch konsistenzbasierte Mechanismen ohne menschliche Annotationen zu lernen.
Robuste Pseudo-Label-Erstellung: Entwicklung einer Methode zur Konstruktion von Pseudo-Labels durch die Integration von aktuellen (Online-State) und historischen (Memory-Driven) Konsistenzsignalen, was die Zuverlässigkeit der Lernsignale erhöht.
Verbesserte Output-Qualität: Nachweis, dass ConsistRM nicht nur die Leistung steigert, sondern auch die Konsistenz der Ausgaben verbessert, die Länge der Antworten optimiert (weniger Wortgeplänkel) und Verzerrungen durch die Eingabereihenfolge (Position Bias) signifikant reduziert.

4. Ergebnisse

Die Methode wurde auf fünf Benchmark-Datensätzen (RewardBench, PPE, RM-Bench, RMB, JudgeBench) mit vier verschiedenen Basis-Modellen (Qwen3-4B, 8B, 14B und LLaMA-3.1-8B) evaluiert.

Leistungssteigerung: ConsistRM übertrifft das herkömmliche Reinforcement Fine-Tuning (RFT) im Durchschnitt um 1,5 %. Auf dem Qwen3-8B-Modell wurde eine Gesamtverbesserung von +2,6 % gegenüber dem Basis-RFT erzielt.
Vergleich mit State-of-the-Art: Die Methode erreicht Ergebnisse, die mit großen, menschlich annotierten Modellen (wie DeepSeek-GRM-27B) konkurrieren können, obwohl sie ohne menschliche Daten trainiert wurde.
Robustheit gegen Position Bias: Ein entscheidender Befund ist die signifikante Reduktion des Position Bias. Während Standard-RFT nur eine geringe Verbesserung (+1,4 %) zeigte, erreichte ConsistRM eine Steigerung von +5,3 % in der Konsistenz bei vertauschter Eingabereihenfolge.
Effizienz: Im Vergleich zu RFT erzeugt ConsistRM kürzere, präzisere Antworten, ohne an Leistung einzubüßen (Reduktion der durchschnittlichen Antwortlänge auf RewardBench von ~1924 auf ~1717 Tokens).
Generalisierung: Die Methode funktioniert stabil über verschiedene Modellgrößen und Architekturen hinweg.

5. Bedeutung und Fazit

ConsistRM adressiert eine der größten Hürden bei der Entwicklung von Reward Models: die Abhängigkeit von teuren menschlichen Daten. Durch die Nutzung interner Konsistenzsignale (sowohl zeitlich als auch semantisch) schafft das Framework einen stabilen Selbsttrainingszyklus, der Reward Hacking effektiv unterdrückt.

Die Arbeit zeigt, dass Konsistenz ein starkes Signal für die Qualität von Belohnungsmodellen ist. Dies ermöglicht die Skalierung von GRMs auf massive Datenmengen ohne menschliche Kosten und verbessert gleichzeitig die Zuverlässigkeit und Fairness der Modelle (durch Reduktion von Position Bias). Die Ergebnisse legen nahe, dass konsistenzbewusste Selbsttrainingsansätze ein vielversprechender Weg für die zukünftige Ausrichtung von LLMs sind.