💬 NLP

Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance

Dieser Beitrag stellt „Think-with-Rubrics" vor, ein neues Paradigma, das Rubriken von externen Bewertungsinstanzen in interne Leitlinien für das Schlussfolgern verwandelt, indem es LLMs während des Trainings ermöglicht, Rubriken gemeinsam mit den Antworten zu generieren, was zu konsistenten Leistungsverbesserungen gegenüber bestehenden auf Belohnungen basierenden Baselines führt.

Ursprüngliche Autoren: Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, eine Geschichte zu schreiben, ein Rätsel zu lösen oder einer komplexen Anleitung zu folgen. In der Vergangenheit haben wir diese Roboter unterrichtet, indem wir sie raten ließen und ihre Arbeit erst nach Abschluss bewerteten. Wenn sie einen Fehler machten, sagten wir ihnen: „Hier ist die Note, versuche es noch einmal." Das ist vergleichbar mit einem Lehrer, der einen Test mit einem roten „F" unten zurückgibt, aber keine Hinweise darauf enthält, wie die spezifischen Fehler zu beheben sind.

Der Artikel „Think-with-Rubrics" schlägt einen intelligenteren Weg vor, um zu lehren. Anstatt nur die endgültige Antwort zu bewerten, lehrt er den Roboter, bevor er überhaupt mit der Arbeit beginnt, sein eigenes Bewertungsbogen zu schreiben.

Hier ist, wie der Artikel dies mit einfachen Analogien aufschlüsselt:

1. Das Problem: Der „Post-Game"-Kritiker

Derzeit verwendet die meisten KI-Training Rubriken als Belohnung. Stellen Sie sich das wie einen Sporttrainer vor, der erst nach dem Spiel erscheint. Der Trainer betrachtet das Endergebnis und sagt: „Sie haben den Ball dreimal verpasst." Der Spieler lernt aus dem Ergebnis, aber er hatte die Checkliste des Trainers nicht im Kopf, während er spielte. Er konnte die Regeln nicht nutzen, um seine Bewegungen in Echtzeit zu steuern.

2. Die Lösung: Der „Pre-Game"-Trainer

Die Autoren führen Think-with-Rubrics ein. Dies verändert den Denkprozess des Roboters. Jetzt muss der Roboter, bevor er auch nur ein einziges Wort der Antwort schreibt, zunächst eine Rubrik (eine Checkliste mit Regeln) für sich selbst generieren.

Die Analogie: Stellen Sie sich vor, Sie backen einen Kuchen.
- Alter Weg: Sie backen den Kuchen, probieren ihn, und dann sagt der Richter: „Er ist zu salzig und die Glasur ist unordentlich." Sie versuchen es beim nächsten Mal noch einmal.
- Neuer Weg (Think-with-Rubrics): Bevor Sie den Ofen einschalten, schreiben Sie eine Checkliste: „1. Genau 2 Tassen Mehl verwenden. 2. Kein Salz. 3. Glasur muss glatt sein." Sie backen den Kuchen dann, während Sie Ihre eigene Liste ständig überprüfen.

Indem die KI gezwungen wird, zuerst die Regeln zu schreiben, werden diese Regeln Teil ihres „Denkprozesses" und nicht nur eine externe Note.

3. Wie das Training funktioniert (Das „Doppel-Check"-System)

Der Artikel beschreibt einen Trainingsprozess mit zwei Hauptphasen, ähnlich wie ein Schüler, der sich auf eine große Prüfung vorbereitet:

Phase 1: Lernen des Formats (SFT Warm-up)
Dem Roboter werden Beispiele gezeigt, wie man eine Checkliste schreibt, gefolgt von einer Antwort. Er lernt die Struktur: <Rubrik> dann <Antwort>. Das ist wie das Unterrichten eines Schülers, wie er seine Hausaufgaben korrekt formatiert, damit der Lehrer sie lesen kann.
Phase 2: Das Bestärkende Lernen (Die „Trainer"-Phase)
Hier passiert die Magie. Der Roboter generiert seine eigene Checkliste und Antwort. Dann überprüft ein „Verifizierer" (ein intelligenter Richter) zwei Dinge:
1. Der Goldene Check: Entspricht die Antwort der perfekten, vom Menschen erstellten Checkliste? (Dies ist die externe Note).
2. Der Selbst-Check: Folgte die Antwort tatsächlich der eigenen Checkliste des Roboters? (Dies ist die interne Konsistenz).

Die Schlüsseleinsicht:
Der Artikel fand heraus, dass wenn Sie nur den „Goldenen Check" (die menschliche Note) verwenden, der Roboter zwar besser darin wird, menschliche Regeln zu befolgen, aber in seinem eigenen Denken immer noch unordentlich sein kann. Wenn Sie jedoch den „Selbst-Check" hinzufügen, lernt der Roboter, mit sich selbst konsistent zu sein.

4. Die überraschende Entdeckung: Selbstentwicklung

Die aufregendste Erkenntnis im Artikel ist, dass der Roboter sich tatsächlich selbst unterrichten kann, ohne überhaupt eine Checkliste eines menschlichen Lehrers zu benötigen!

Die Analogie: Stellen Sie sich einen Schüler vor, der so gut darin ist, seine eigenen Lernhilfen zu erstellen und sich daran zu halten, dass er schließlich bessere Noten erzielt als Schüler, die sich nur auf den Antwortenschlüssel des Lehrers verlassen.
Das Ergebnis: Der Artikel zeigt, dass ein Modell, das nur darauf trainiert wurde, seinen eigenen selbstgenerierten Checklisten zu folgen (ohne menschliche „Goldene" Checklisten), genauso gut und manchmal sogar besser abschnitt als Modelle, die mit menschlichen Checklisten trainiert wurden. Dies legt nahe, dass die KI sich „selbst entwickeln" kann, indem sie besser darin wird, ihre eigenen Regeln zu erstellen und diese dann zu befolgen.

5. Warum es besser funktioniert

Die Autoren erklären, dass diese Methode funktioniert, weil sie ein spezifisches Problem behebt: Inkonsistenz.
Oft denkt eine KI: „Ich muss kurz sein", schreibt dann aber einen langen Absatz. Es besteht eine Diskrepanz zwischen dem, was sie zu tun glaubt, und dem, was sie tatsächlich tut.

Think-with-Rubrics zwingt die KI, zu erklären: „Ich werde kurz sein", und beweist dies dann sofort, indem sie eine kurze Antwort schreibt.
Das Training belohnt die KI nicht nur dafür, dass sie richtig liegt, sondern dafür, dass sie mit ihrem eigenen Plan konsistent ist.

Zusammenfassung der Ergebnisse

Der Artikel testete dies an mehreren Benchmarks (wie IFEval und IFBench) und stellte fest:

Die neue Methode schlug die alten „Rubrik-als-Belohnung"-Methoden konsistent mit einem Durchschnitt von etwa 3,87 Punkten.
Sie funktionierte sowohl bei großen als auch bei kleinen KI-Modellen gut.
Sie machte den Denkprozess der KI kürzer und effizienter (durch die Verdichtung des „Denkens" in eine strukturierte Checkliste).

Kurz gesagt: Der Artikel lehrt die KI aufzuhören zu raten und anzufangen zu planen. Indem die KI gezwungen wird, vor Beginn der Arbeit ihr eigenes Regelbuch zu schreiben und dann dafür belohnt wird, sich an dieses Regelbuch zu halten, wird die KI zuverlässiger, konsistenter und fähig, sich ohne ständige menschliche Aufsicht selbst zu verbessern.

Technische Zusammenfassung: Think-with-Rubrics

1. Problemstellung

Aktuelle Ansätze des Reinforcement Learning (RL) für Large Language Models (LLMs) zeichnen sich bei überprüfbaren Aufgaben aus, für die Ground-Truth-Labels existieren. Die Erweiterung von RL auf offene, nicht überprüfbare Aufgaben zur Befolgung von Anweisungen bleibt jedoch aufgrund des Fehlens zuverlässiger Belohnungssignale herausfordernd. Bestehende Lösungen verlassen sich häufig auf skalare Belohnungen oder monolithische generative Belohnungsmodelle, die eine zu grobe Supervision bieten, um nuancierte Antwortqualität zu erfassen.

Während neuere Paradigmen „Rubric-as-Reward" (Rubriken als Belohnung) dies verbessert haben, indem sie Aufgaben in strukturierte, interpretierbare Kriterien zerlegen, besteht eine kritische Einschränkung weiterhin: Rubriken werden ausschließlich als externe Bewerter behandelt. In aktuellen Frameworks werden Rubriken nachträglich angewendet, um die Leistung zu messen, nachdem das Modell eine Antwort generiert hat. Dieses Design verhindert, dass Rubriken den Generierungsprozess oder die Denktrajektorie des Modells aktiv steuern, und lässt sie getrennt von der primären Denkspur der Policy zurück.

2. Methodik: Think-with-Rubrics

Die Autoren schlagen THINK-WITH-RUBRICS vor, ein neues Paradigma, das die Generierung von Rubriken als intrinsischen Teil des Denkprozesses des Modells internalisiert. Anstatt direkt eine Antwort zu generieren, konstruiert das Modell zunächst eine selbstgenerierte Rubrik, um Erfolgskriterien zu definieren, und generiert dann eine Antwort, die auf diesen Kriterien basiert.

2.1 Kernparadigma

Die Policy-Trajektorie $\tau$ wird in zwei sequenzielle Schritte faktorisiert:

Rubrik-Generierung: Das Modell generiert eine selbstgenerierte Rubrik $\hat{r}$ basierend auf der Eingabe-Anweisung $x$ : $\hat{r} \sim \pi_\theta(\hat{r} | x)$ .
Antwort-Generierung: Das Modell generiert die finale Antwort $y$ , konditioniert sowohl auf die Anweisung als auch auf die selbstgenerierte Rubrik: $y \sim \pi_\theta(y | x, \hat{r})$ .

Dies verwandelt das Modell von einem passiven Ausführer in einen aktiven Überdenker, der vor dem Denken Erfolgsregeln festlegt.

2.2 Trainingsworkflow

Der Trainingsprozess besteht aus zwei Phasen:

Phase 1: SFT Warm-up
Um sicherzustellen, dass das Modell das spezifische Format <rubrik>...</rubrik><antwort>...</antwort> einhält und RL keine Schritte für die Formatkonformität verschwendet, führen die Autoren ein Supervised Fine-Tuning (SFT) durch.

Lehrer-Distillation: Antworten werden aus Gemini-2.5-Flash auf dem Openrubrics-Dataset destilliert.
Ziel: Maximierung der Wahrscheinlichkeit über die gesamte Trajektorie, wobei die Policy mit einer stabilen Struktur initialisiert wird, die den Aufbau der Rubrik von der Antwortgenerierung trennt.

Phase 2: RL-Training
Das Modell wird unter Verwendung des DAPO-Algorithmus mit einem zusammengesetzten Belohnungssystem $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$ optimiert.

Rubrik-Verifizierer: Ein spezialisierter, leichter Verifizierer (destilliert aus Qwen3-32B-Instruct) bewertet, ob eine Antwort spezifische Kriterien erfüllt, und gibt einen gewichteten Konformitäts-Score aus.
Golden-Rubrik-Konsistenz-Belohnung ( $R_{gold}$ ): Misst die Konformität der finalen Antwort gegenüber der Ground-Truth-„golden" Rubrik ( $r^*$ ) aus Openrubrics.
Selbstgenerierte-Rubrik-Konsistenz-Belohnung ( $R_{self}$ ): Misst die Konformität der finalen Antwort gegenüber der eigenen generierten Rubrik ( $\hat{r}$ ) des Modells. Dies erzwingt eine interne Ausrichtung.
Format-Belohnung ( $R_{fmt}$ ): Verhindert „Reward Hacking" (z. B. das Generieren trivialer Kriterien), indem sichergestellt wird, dass Rubrik und Antwort erfolgreich geparst werden und die Anzahl der Kriterien in einem angemessenen Bereich liegt (5–15, mit einem Peak bei 10).

2.3 Haupt-Hypothese

Die Autoren hypothesieren, dass die gemeinsame Optimierung von $R_{gold}$ und $R_{self}$ einen Feedback-Loop erzeugt: Wenn eine Antwort die selbstgenerierte Rubrik erfüllt und gleichzeitig auf der goldenen Rubrik hoch abschneidet, wird die selbstgenerierte Rubrik implizit dazu angeregt, sich an den goldenen Standard anzupassen ( $S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$ ).

3. Hauptbeiträge

Paradigmenwechsel: Verwandelt Rubriken von externen Bewertungsmetriken in interne kognitive Schritte, wodurch Modelle Kriterien dynamisch an spezifische Kontexte innerhalb der Denk-Kette anpassen können.
Einheitlicher Trainingsworkflow: Führt eine Methode ein, die Supervision durch selbstgenerierte und goldene Rubriken kombiniert und zeigt, dass explizite Supervision der Rubrikqualität unnötig ist; das Erlernen von Rubriken entsteht durch die gemeinsame Optimierung der Antwortkonsistenz.
Skalierbare Selbst-Evolution: Zeigt, dass Modelle mit nur selbstgenerierter Rubrik-Supervision wettbewerbsfähige Leistungen erzielen können, was einen Weg hin zu skalierbarer Selbst-Evolution ohne Abhängigkeit von externen Annotationen aufzeigt.

4. Experimentelle Ergebnisse

Experimente wurden an den Modellen Qwen3-8B und Qwen3-4B über drei Benchmarks zur Befolgung von Anweisungen durchgeführt: IFEval, IFBench und InfoBench.

Leistungssteigerungen: THINK-WITH-Rubrics übertrifft die „Rubric-as-Reward"-Basislinie (die goldene Rubriken ausschließlich als externe Belohnungen verwendet) konsistent.
- Beim 8B-Modell erzielte das gemischte Belohnungssetting eine durchschnittliche Verbesserung von 3,87 Punkten gegenüber der Basislinie.
- Beim 4B-Modell betrug die Verbesserung 4,16 Punkte.
Zusammensetzung der Belohnung: Das gemischte Belohnungssetting (Kombination aus goldenen und selbstgenerierten Konsistenzen) erzielte die besten Ergebnisse. Das Setting „Nur selbstgenerierte Belohnung" (57,17 % im Durchschnitt) übertraf jedoch leicht das Setting „Nur goldene Belohnung" (56,81 %), was die Machbarkeit der Selbst-Evolution validiert.
Effizienz: Die durchschnittliche Denk-Länge für THINK-WITH-RUBRICS (231 Tokens) war signifikant kürzer als bei normalem Denken (401 Tokens), was darauf hindeutet, dass Rubriken wesentliche Anforderungen in einen gestrafften Prozess kondensieren.

Mechanismus-Analyse

Implizite Qualitätsverbesserung: Supervision durch goldene Rubriken verbessert implizit die Qualität selbstgenerierter Rubriken, selbst ohne direkten Vergleich auf Rubrik-Ebene.
Interne Konsistenz: Die Supervision durch selbstgenerierte Rubriken verbessert die Konsistenz zwischen den eigenen Rubriken des Modells und seinen Antworten signifikant. Untrainierte Modelle folgen oft nicht ihren eigenen generierten Kriterien; die Selbst-Supervision mildert diese interne Inkonsistenz.
Rubrik-Qualität vs. Leistung: Während die reine Selbst-Supervision die Leistung bei der Befolgung von Anweisungen verbessert, sind die resultierenden Rubriken nicht unbedingt bessere allgemeine Bewerter (wie in RewardBench-2 zu sehen). Ihr Wert liegt in der Aufrechterhaltung der Konstrukt-Konsistenz während des eigenen Generierungsprozesses des Modells.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass THINK-WITH-RUBRICS eine robuste Lösung für die Ausrichtung von LLMs auf offene Anweisungen bietet, indem sie die Lücke zwischen Belohnungsmodellierung und Policy-Generierung schließt.

Aktive Steuerung: Indem Rubriken als interne Denk-Schritte und nicht als externe Kontrollen behandelt werden, steuert das Modell seine eigene Generierung aktiv in Richtung gewünschter Ergebnisse und imitiert menschliche Metakognition.
Potenzial zur Selbst-Evolution: Die Fähigkeit des Modells, sich nur mit selbstgenerierten Rubriken zu verbessern, deutet auf einen gangbaren Weg für skalierbare Selbst-Evolution hin, der die Abhängigkeit von externen Ground-Truth-Annotationen reduziert.
Generalisierbarkeit: Das Paradigma bleibt über verschiedene Modellskalen (4B bis 8B) und verschiedene Konfigurationen von Belohnungsgewichten hinweg effektiv und demonstriert Robustheit.

Die Autoren schließen, dass die Integration der Rubrik-Generierung in die Denktrajektorie ein allgemeines Paradigma für die Ausrichtung auf offene Aufgaben ist und einen strukturierteren und selbstkonsistenteren Ansatz bietet als traditionelle „think"- oder „chain-of-thought"-Methoden.