💬 NLP

AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

AdaJudge ist ein vereinheitlichtes Framework, das die Belohnungsmodellierung verbessert, indem es die Backbone-Repräsentationen gemeinsam in einen diskriminierungsorientierten Raum adaptiert und statisches Pooling durch ein adaptives Multi-View-Aggregationsmodul ersetzt, wodurch es bestehende Modelle auf wichtigen Benchmarks übertrifft.

Ursprüngliche Autoren: Yongliang Miao, Yangyang Liang, Mengnan Du

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongliang Miao, Yangyang Liang, Mengnan Du

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Richter ein, der entscheiden soll, welche von zwei Geschichten besser ist. In der Welt der Künstlichen Intelligenz wird dieser „Richter“ als Reward Model (Belohnungsmodell) bezeichnet. Seine Aufgabe ist es, eine Frage und zwei mögliche Antworten zu betrachten und dann eine Punktzahl zu vergeben, um zu sagen, welche davon Menschen bevorzugen würden.

Lange Zeit haben diese KI-Richter eine sehr starre Einheitsmethode verwendet, um ihre Arbeit zu erledigen. Das Paper AdaJudge argumentiert, dass diese alte Methode fehlerhaft ist, und schlägt einen klügeren, flexibleren Weg vor, um diese Richter aufzubauen.

Hier ist die Aufschlüsselung des Problems und der Lösung, unter Verwendung einfacher Analogien:

Das Problem: Der „Ein-Trick“-Richter

Stellen Sie sich einen Richter vor, der nur zwei Möglichkeiten hat, ein Buch zu lesen:

Der „Letzte-Seite“-Richter: Dieser Richter liest nur den allerletzten Satz der Geschichte, um zu entscheiden, ob sie gut ist.
Der „Durchschnittliche-Seite“-Richter: Dieser Richter liest jede einzelne Seite, bildet den Durchschnitt der Qualität und trifft eine Entscheidung basierend darauf.

Das Paper weist darauf hin, dass beide Richter einen erheblichen blinden Fleck haben:

Der „Letzte-Seite“-Richter ist großartig darin, eine Geschichte mit einem schrecklichen Ende zu entlarven (wie ein Matheproblem mit einer falschen Antwort), aber er übersieht, wenn die Mitte der Geschichte voller Lügen oder schlechter Logik war.
Der „Durchschnittliche-Seite“-Richter ist großartig darin, zu bemerken, ob die ganze Geschichte sicher und höflich wirkt, aber wenn die Geschichte 100 Seiten lang ist, könnten die „schlechten“ Teile durch die vielen „guten“ Teile verwässert werden, was eine gefährliche Geschichte sicher aussehen lässt.

Die Analogie: Es ist wie der Versuch, eine komplexe Mahlzeit zu bewerten.

Wenn man nur den letzten Bissen schmeckt (Last Token), bemerkt man vielleicht nicht, dass die Suppe durchgehend salzig war.
Wenn man einen Löffel aus der Mitte nimmt (Mean Pooling), bemerkt man vielleicht nicht, dass der Nachtisch am Ende angebrannt war.
Die alten KI-Richter waren gezwungen, sich für eine dieser Verkostungsmethoden zu entscheiden und dabei zu bleiben, egal welche Art von Essen (Aufgabe) sie bewerteten. Dies führte zu Fehlern.

Die Lösung: AdaJudge (Der adaptive Richter)

Die Autoren haben AdaJudge entwickelt, ein neues Framework, das wie ein schlauer, vielperspektivischer Detektiv agiert. Anstatt die KI zu zwingen, nur einen Weg zu wählen, um den Text zu lesen, ändert AdaJudge seine Strategie basierend auf der spezifischen Frage, die es beantwortet.

Es arbeitet in zwei Phasen:

Phase 1: Das Objektiv schärfen (Adaptive Representation Refinement)

Bevor der Richter überhaupt mit dem Lesen des Textes beginnt, gibt AdaJudge dem Gehirn der KI ein „Training“.

Die Analogie: Stellen Sie sich vor, das Gehirn der KI ist eine unscharfe Kamera. Bevor die Kamera ein Bild der Antwort macht, nutzt AdaJudge einen speziellen Filter, um das Bild zu schärfen. Es hebt die subtilen Hinweise hervor (wie einen winzigen Logikfehler oder einen versteckten Sicherheitsverstoß), die die Kamera normalerweise übersieht.
Wie es funktioniert: Es führt den Text durch einige zusätzliche, leichte Schichten, die die Informationen „verfeinern“, wodurch es einfacher wird, die Unterschiede zwischen einer guten und einer schlechten Antwort zu erkennen.

Phase 2: Das dynamische Gremium (Multi-Perspective Aggregation)

Dies ist die Kerninnovation. Anstatt eines einzelnen Richters setzt AdaJudge ein Gremium aus drei Experten ein, und es gibt einen schlauen Manager, der entscheidet, wie viel er jedem einzelnen zuhört.

Experte A (Das Letzte Token): Konzentriert sich auf das abschließende Fazit.
Experte B (Der Mittelwert): Achtet auf die allgemeine Stimmung und Konsistenz.
Experte C (Die Aufmerksamkeit/Attention): Scannt den gesamten Text nach spezifischen, verstreuten Hinweisen (wie einem versteckten Sicherheitsverstoß in Absatz 3).

Der schlaue Manager (Der Router):
Wenn eine Frage eingeht, sieht sich der Manager den Prompt an und fragt: „Was für eine Art von Aufgabe ist das?“

Wenn es ein Matheproblem ist: Sagt der Manager: „Wir müssen die Endantwort sorgfältig prüfen!“ und hört hauptsächlich auf Experte A.
Wenn es eine Sicherheitsfrage ist: Sagt der Manager: „Wir müssen den gesamten Text nach versteckten Gefahren scannen!“ und hört hauptsächlich auf Experte C.
Wenn es eine kreative Schreibaufgabe ist: Sagt der Manager: „Lassen Sie uns auf den Fluss und den Ton achten“, und hört hauptsächlich auf Experte B.

Dies geschieht augenblicklich für jede einzelne Frage. Die KI wählt nicht nur eine Strategie; sie adaptiert ihre Strategie im laufenden Betrieb.

Die Ergebnisse

Das Paper hat diesen neuen Richter gegen die alten „Ein-Trick“-Richter und einige sehr große, teure KI-Modelle getestet.

Bessere Genauigkeit: AdaJudge erzielte konsistent höhere Werte bei schwierigen Benchmarks (RM-Bench und JudgeBench).
Effizienz: Selbst wenn ein kleineres, günstigeres KI-Modell als Basis verwendet wurde, schnitt AdaJudge besser ab als viel größere, teurere Modelle, die die alten, starren Methoden verwendeten.
Flexibilität: Es löste den „Mathe vs. Sicherheit“-Konflikt. Es konnte sowohl streng bei der mathematischen Logik sein als auch gründlich bei Sicherheitsprüfungen, während die alten Richter gezwungen waren, entweder das eine oder das andere zu opfern.

Zusammenfassung

AdaJudge ist wie ein Upgrade von einem Richter, der immer eine Lupe auf die letzte Seite hält, zu einem Richter, der ein Team von Spezialisten und einen schlauen Manager besitzt. Der Manager betrachtet den Fall, entscheidet, welcher Spezialist am meisten benötigt wird, und kombiniert deren Erkenntnisse, um die fairste und genaueste Entscheidung zu treffen, die möglich ist. Dies macht das KI-Alignment (das Lehren von KI, menschliche Präferenzen zu folgen) wesentlich zuverlässiger.

Technisches Resümee: AdaJudge

Problemstellung

Die Modellierung von Belohnungen (Reward Modeling) ist entscheidend für die Ausrichtung von Large Language Models (LLMs) an menschlichen Präferenzen, doch aktuelle Architekturen stehen vor zwei grundlegenden strukturellen Einschränkungen:

Statischer induktiver Bias: Vorherrschende Belohnungsmodelle verlassen sich auf feste Pooling-Strategien (z. B. Last-Token- oder Mean-Pooling), um Sequenzrepräsentationen in skalare Scores zu verdichten. Dies erzeugt eine Diskrepanz zur aufgabenspezifischen Natur von Präferenzsignalen. Beispielsweise erfordern Denkaufgaben oft lokalisierte terminale Hinweise (was Last-Token-Pooling begünstigt), während Sicherheits- oder Kohärenzaufgaben ganzheitliche, verteilte Evidenzen erfordern (was Mean-Pooling begünstigt). Eine einzige statische Strategie erzwingt einen Kompromiss und scheitert oft daran, die für spezifische Domänen erforderliche räumliche Verteilung von Evidenzen zu erfassen.
Repräsentations-Mismatch: Backbone-LLMs sind auf die Next-Token-Vorhersage (generative Aufgaben) optimiert, wohingegen das Reward Modeling eine feingliedrige paarweise Diskriminierung erfordert. Infolgedessen können die rohen Hidden States des Backbones die notwendigen Merkmale fehlen, um subtile Präferenzhinweise – wie logische Inkonsistenzen oder geringfügige Verstöße gegen Constraints – ohne weitere Anpassung zu unterscheiden.

Bestehende Lösungen verlassen sich oft auf die Skalierung von Daten oder Modellgröße oder nutzen rechenintensive Ensembles mehrerer Modelle, um Adaptivität zu erreichen, wodurch die fundamentale architektonische Rigidität einzelner Reward-Heads ungelöst bleibt.

Methodik: AdaJudge

Die Autoren schlagen AdaJudge (Adaptive Multi-Perspective Judging) vor, ein einheitliches zweistufiges Framework, das darauf ausgelegt ist, Repräsentation und Aggregation gemeinsam anzupassen, ohne eine Token- oder Prozessüberwachung zu erfordern.

Stufe I: Adaptive Repräsentationsverfeinerung (Representation Refinement)

Um den Repräsentations-Mismatch zu adressieren, führt AdaJudge ein leichtgewichtiges iteratives Verfeinerungsmodul ein, das nach dem Backbone-LLM angewendet wird.

Mechanismus: Das Modul besteht aus $K$ sequentiellen Transformer-Blöcken.
Depth-Gating: Ein globaler Sequenz-Kontextvektor (abgeleitet via Mean-Pooling der Backbone-Features) wird durch ein Gating-Netzwerk geleitet, um Mischkoeffizienten $\alpha$ zu erzeugen.
Verfeinerung: Die finale verfeinerte Repräsentation $\tilde{H}$ ist eine konvexe Kombination aller intermediären Hidden States ( $H^{(1)}$ bis $H^{(K)}$ ). Dies ermöglicht es dem Modell, je nach Komplexität der Eingabesequenz dynamisch flache Cues zu betonen oder tiefere Denkspuren zu akkumulieren.

Stufe II: Multi-Perspektivische Aggregation

Um den statischen induktiven Bias zu adressieren, ersetzt AdaJudge den festen Readout durch einen domänenspezifischen Gated Mixture-of-Pooling Head.

Parallele Experten: Die verfeinerte Repräsentation $\tilde{H}$ $\tilde{H}$ wird durch drei parallele Pooling-Experten verarbeitet:
1. Last-Token Pooling ( $z_L$ ): Erfasst konklusionssensitive Signale.
2. Mean Pooling ( $z_M$ ): Erfasst globale stilistische und kohärente Attribute.
3. Attention Pooling ( $z_A$ ): Erkennt spärliche Anomalien an beliebiger Stelle in der Sequenz.
Prompt-konditioniertes Routing: Eine separate Prompt-Repräsentation ( $z_P$ ) wird via Mean-Pooling der Prompt-Tokens abgeleitet. Ein Routing-Netzwerk nimmt den konkatenierten Vektor $[z_L; z_M; z_A; z_P]$ und gibt Mischgewichte $\pi$ via Softmax aus.
Dynamische Bewertung: Der finale Reward-Score $r(x, y)$ ist eine Gated-Mischung der Scores aus den drei Perspektiven ( $s_L, s_M, s_A$ ), gewichtet durch $\pi$ . Dies erlaubt dem Modell, die Aggregationsstrategie adaptiv zu wählen, die am besten mit der räumlichen Verteilung der durch den spezifischen Prompt geforderten Evidenz übereinstimmt.

Optimierung

Das Modell wird unter Verwendung einer Focal Bradley–Terry-Objektivfunktion trainiert. Die Verlustfunktion enthält einen Focal-Term, um schwierige Proben zu betonen, sowie einen Entropie-Regularisierungsterm, um zu verhindern, dass die Routing-Verteilung auf eine einzige Perspektive kollabiert, wodurch sichergestellt wird, dass das Modell eine diverse Menge an Aggregationsstrategien beibehält.

Zentrale Beiträge

Identifikation struktureller Mismatches: Die Arbeit identifiziert formal, dass generative Backbones an feingliedrigen Diskriminierungsmerkmalen mangeln und dass festes Pooling die multigranulare Natur von Präferenz-Evidenzen nicht erfassen kann.
Einheitliches Framework: Die Einführung von AdaJudge, welches die Repräsentationsverfeinerung (via Depth-Gated Blocks) und die Evidenz-Aggregation (via Domain-Aware Routing) ohne externe Überwachung gemeinsam anpasst.
Empirische Überlegenheit: Nachgewiesene konsistente Outperformance gegenüber starken Off-the-shelf Reward-Modellen und kontrollierten Baselines (gleicher Backbone, andere Heads) über diverse Domänen und Modellskalen hinweg.

Experimentelle Ergebnisse

Die Experimente wurden auf RM-Bench und JudgeBench durchgeführt, unter Verwendung der Basismodelle Phi-3.5-mini-instruct, Qwen3-4B und Qwen3-8B, die auf dem HelpSteer3-Datensatz trainiert wurden.

Leistungssteigerungen: AdaJudge übertraf traditionelle Pooling-Baselines signifikant. Bemerkenswert ist, dass ein Qwen3-8B Modell mit AdaJudge (71,1 insgesamt auf RM-Bench) ein wesentlich größeres 27-Parameter Skywork-Reward-Gemma-2 Modell (70,5) übertraf, was eine hohe Parametereffizienz demonstriert.
Lösung von Trade-offs: Statische Baselines zeigten widersprüchliche Leistungsprofile (z. B. war Last-Token-Pooling exzellent in Sicherheit, aber schwach in Mathematik; Mean-Pooling war das Gegenteil). AdaJudge erreichte eine „Pareto-Verbesserung“, indem es gleichzeitig die Leistung in Mathematik (80,4), Sicherheit (87,5) und Robustheit auf harten Subsets (43,0) maximierte.
Ablationsstudien:
- Das Entfernen der Verfeinerungsstufe führte zu signifikanten Einbußen bei denkintensiven Aufgaben (Mathematik und Code), was die Notwendigkeit der Anpassung des Repräsentationsraums bestätigt.
- Statische Single-View-Baselines (Last-Token, Mean, Attention) unterperformten konsistent die adaptive Mischung, insbesondere bei den „Hard“-Subsets der Benchmarks.
Analyse interner Mechanismen:
- Alignment: Die iterative Verfeinerung erhöhte die Cosine-Alignment zwischen der Scoring-Richtung und der wahren Präferenzdifferenz, insbesondere für die Mean- und Attention-Pooling-Ansichten.
- Routing-Verhalten: Der Gating-Mechanismus lernte distinkte Aggregationsmuster pro Domäne (z. B. höheres Gewicht auf Attention-Pooling für Code/Math und Mean-Pooling für Sicherheit), was die Fähigkeit des Modells validiert, sich an domänenspezifische Evidenzverteilungen anzupassen.

Bedeutung

Die Arbeit argumentiert, dass die Rigidität fester Aggregationsstrategien ein primärer Flaschenhals im Reward Modeling ist. Durch die Entkopplung der Repräsentationsverfeinerung von der Evidenzaggregation zeigt AdaJudge, dass dynamische, instanz-adaptive Architekturen die Limitationen statischer induktiver Biase überwinden können. Die Arbeit legt nahe, dass zukünftiges Reward Modeling über die bloße Skalierung von Daten oder Modellgröße hinausgehen sollte und statenschaft auf architektonische Flexibilität fokussieren sollte, die interne Repräsentationen und Aggregationsstrategien mit den spezifischen räumlichen und logischen Anforderungen der jeweiligen Evaluierungsaufgabe in Einklang bringt.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Skalierbarkeit: Die Validierung beschränkt sich derzeit auf Modelle bis zu 8B Parametern; die Wirksamkeit auf extrem skalierte Modelle (70B+) ist noch unerforscht.
Latenz: Obwohl leichtgewichtig, führen das iterative Verfeinerungsmodul und das Routing-Netzwerk zusätzliche Parameter und Inferenzlatenz im Vergleich zu Standard-Fixed-Pooling-Baselines ein.
Experten-Bibliothek: Die aktuelle Implementierung verwendet einen festen Satz von drei Pooling-Experten. Das Framework ist erweiterbar, aber die optimale Auswahl an Experten und das Potenzial für die automatische Entdeckung von Experten sind offene Fragen.
Modalität: Die Evaluierung beschränkt sich derzeit auf die textbasierte Präferenzmodellierung, mit potenziellem Potenzial für die Erweiterung auf multimodale Inputs.