🤖 machine learning

RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

RubricEM ist ein Meta-Reinforcement-Learning-Framework, das Deep-Research-Agenten verbessert, indem es Rubriken als zentrale Schnittstelle nutzt, um eine stufenweise Politikzerlegung zu strukturieren, dichte semantische Rückmeldungen über Stage-Structured GRPO bereitzustellen und eine Reflexions-Metapolitik zu entwickeln, wodurch auf Benchmarks für langformatige Forschung eine Leistung erzielt wird, die mit proprietären Systemen vergleichbar ist.

Ursprüngliche Autoren: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team junger Forscher ein, um einen komplexen, langformatigen Bericht über ein Thema wie „Wie wirkt sich Schlaf auf das Altern aus?" zu verfassen. In der Vergangenheit war das Trainieren dieser KI-Forscher so, als würde man ihnen erst eine Endnote geben, nachdem sie den fertigen Aufsatz eingereicht hatten. Wenn der Aufsatz schlecht war, wusste die KI nicht, warum – war die Forschung oberflächlich? Haben sie eine Schlüsselfaktoren übersehen? War die Schlussfolgerung schwach? Sie wussten lediglich, dass sie gescheitert waren, und mussten raten, was sie beim nächsten Mal tun sollten.

RubricEM ist eine neue Trainingsmethode, die das Spiel verändert. Anstatt bis zum Ende zu warten, gibt sie der KI vor Beginn eine „Rubrik" (eine detaillierte Checkliste dessen, was eine gute Antwort ausmacht) und nutzt diese Checkliste, um jeden einzelnen Schritt des Prozesses zu steuern.

So funktioniert es, aufgeschlüsselt in einfache Analogien:

1. Die „Rubrik" als gemeinsamer Kompass

Stellen Sie sich eine Rubrik nicht nur als Benotungsbogen für einen Lehrer vor, sondern als gemeinsamen Kompass für das gesamte Team.

Der alte Weg: Die KI rät, was sie tun soll, sucht nach Informationen und schreibt. Am Ende sagt ein Richter: „Schlechte Arbeit."
Der RubricEM-Weg: Bevor die KI überhaupt mit der Suche beginnt, erstellt sie ihre eigene Checkliste: „Ich muss Belege für kausale Zusammenhänge finden, nicht nur Korrelationen. Ich muss zwischen verschiedenen Arten von Gedächtnisverlust unterscheiden."
Die Magie: Diese gleiche Checkliste wird von der KI zur Planung genutzt, von der KI zur Selbstkontrolle ihrer Arbeit und vom „Richter" (einer anderen KI) zur Benotung der Arbeit. Alle sprechen dieselbe Sprache.

2. Aufteilung der Reise in „Phasen" (das Fließband)

Lange Forschungsaufgaben sind wie der Bau eines Hauses. Man kann nicht einfach sagen „Bau ein Haus" und ein gutes Ergebnis erwarten. Sie benötigen Phasen: Planen, Recherchieren, Überprüfen und Bauen.

RubricEM zwingt die KI, an bestimmten Punkten innezuhalten und den Hut zu wechseln:

Phase 1 (Planen): „Hier ist meine Checkliste. Was muss ich finden?"
Phase 2 (Recherchieren): „Ich habe dies gefunden. Passt es zu meiner Checkliste? Muss ich weiter suchen?"
Phase 3 (Überprüfen): „Lassen Sie uns meine Notizen ansehen. Habe ich die Frage tatsächlich beantwortet oder nur herumgeredet?"
Phase 4 (Antwort): „Okay, jetzt schreibe ich den endgültigen Bericht basierend auf der Überprüfung."

Der Vorteil: Anstatt am Ende eine große „F" (Durchfall) zu erhalten, bekommt die KI eine Bewertung für jede Phase. Wenn die Phase „Recherchieren" schwach war, weiß die KI genau, wo sie beim nächsten Mal verbessern muss. Das ist wie ein Trainer, der einem Läufer sagt: „Dein Start war großartig, aber deine Kurve war langsam", anstatt nur zu sagen: „Du hast das Rennen verloren."

3. Das „Reflexions"-Notizbuch (Lernen aus Fehlern)

Dies ist der einzigartigste Teil. Normalerweise aktualisiert eine KI, wenn sie einen Fehler macht, nur ihre innere Mathematik (Gewichte) und vergisst die spezifischen Details, warum sie gescheitert ist.

RubricEM fügt eine Reflexions-Metapolitik hinzu. Stellen Sie sich dies als ein gemeinsames Notizbuch oder ein Team-Wiki vor.

Nachdem eine Aufgabe abgeschlossen und benotet wurde, wird die KI gefragt: „Was ist die wichtigste Lehre aus diesem Versuch?"
Sie schreibt eine kurze, kluge Notiz (eine „Reflexion") wie: „Beim nächsten Mal sagen Sie nicht einfach 'Schlaf ist schlecht für das Gedächtnis'. Seien Sie spezifisch: 'Tiefschlaf reinigt das Gehirn von Toxinen, das ist die eigentliche Ursache.'"
Diese Notiz wird in einer Rubrik-Bank gespeichert.
Der Gewinn: Wenn die KI (oder eine ähnliche KI) später auf eine ähnliche Frage trifft, kann sie diese Notiz in der Bank nachschlagen. Es ist, als würde ein leitender Ingenieur flüstern: „Hey, ich habe das schon einmal gesehen; hier ist der Trick, der letztes Mal funktioniert hat."

4. Der „asynchrone" Tanz (Zwei Dinge gleichzeitig tun)

Das Trainieren dieser Systeme ist normalerweise langsam, weil man warten muss, bis die KI eine Aufgabe erledigt, benotet wird, eine Reflexion schreibt und dann die nächste Aufgabe beginnt.

RubricEM nutzt einen cleveren Fließband-Trick:

Während die KI mit der schweren Arbeit des Recherchierens und Schreibens der nächsten Serie von Berichten beschäftigt ist, bewertet ein separater Teil des Systems leise die vorherige Serie und schreibt die Reflexionen.
Bis die KI die neue Serie fertig hat, sind die Lehren aus der alten Serie bereits einsatzbereit. Dies macht den Trainingsprozess viel schneller und effizienter.

Die Ergebnisse

Die Studie testete dies an einem Modell namens RubricEM-8B (ein relativ kleines KI-Modell).

Leistung: Es übertraf andere Open-Source-KI-Forscher und kam bei komplexen Forschungsaufgaben der Leistung teurer, proprietärer Systeme (wie denen von Google oder OpenAI) sehr nahe.
Effizienz: Es erreichte diese Ergebnisse mit weniger Trainingsschritten als frühere Methoden.
Vielseitigkeit: Obwohl es auf langen, komplexen Berichten trainiert wurde, wurde es auch besser im Beantworten kurzer, einfacher Fragen, was zeigt, dass es allgemeine „Forschungsfähigkeiten" gelernt hat und nicht nur Berichtsformate auswendig gelernt hat.

Zusammenfassung

RubricEM lehrt KI-Forscher durch:

Ihnen eine Checkliste (Rubrik) zu geben, die sie bei jedem Schritt befolgen.
Sie für jeden Schritt des Prozesses zu benoten, nicht nur für das Endergebnis.
Sie zu veranlassen, gelernte Lehren (Reflexionen) in ein gemeinsames Notizbuch für die zukünftige Nutzung zu schreiben.
Das Training effizient zu gestalten, damit sie schneller lernen.

Es verwandelt die KI von einem Schüler, der nur eine Endnote erhält, in einen Profi, der einen Mentor, eine Checkliste und ein persönliches Notizbuch mit Best Practices hat.

Technische Zusammenfassung: RubricEM

Problemstellung

Das Training von Deep-Research-Agenten – Systemen, die zur autonomen Planung, Suche, Bewertung von Evidenz und Synthese langformatiger Berichte fähig sind – stellt eine fundamentale Herausforderung für das Reinforcement Learning (RL) dar. Im Gegensatz zu Aufgaben mit überprüfbaren Ground-Truth-Antworten (z. B. mathematische Probleme oder Code-Generierung) sind Deep-Research-Ausgaben offen und entbehren objektiver Korrekturmetriken. Folglich stoßen Standard-RL-Ansätze auf drei kritische Engpässe:

Spärliche und verzögerte Belohnungen: Das Feedback ist typischerweise grob und erfolgt erst am Ende langer, mehrstufiger Trajektorien, was die Zuweisung von Verdiensten erschwert.
Fehlende wiederverwendbare Anleitung: Herkömmliche Nachtrainingsmethoden wandeln bewertete Versuche in parametrische Updates um, liefern jedoch keine expliziten, wiederverwendbaren Anleitungen für zukünftige Versuche.
Ineffiziente Exploration: Ohne strukturierte Zwischenaufsicht haben Agenten Schwierigkeiten, komplexe Aufgaben zu zerlegen, was zu sich kumulierenden Fehlern über lange Zeithorizonte führt.

Bestehende Open-Source-Bemühungen verlassen sich oft auf überprüfbare Suchproxys oder hochwertige Imitationsdaten, während proprietäre Systeme (z. B. Gemini, OpenAI Deep Research) hinsichtlich ihrer Trainingsmethoden intransparent bleiben. Die zentrale Frage lautet: Wie kann RL Deep-Research-Agenten jenseits überprüfbarer Belohnungen trainieren und gleichzeitig die Zuweisung von Verdiensten über lange Zeithorizonte sowie das Lernen aus Erfahrung ermöglichen?

Methodik: RubricEM

Die Autoren schlagen RubricEM vor, ein rubrikengesteuertes RL-Framework, das Rubriken nicht nur als Bewerter für die Endantwort, sondern als gemeinsame Schnittstelle betrachtet, die die Policy-Ausführung, die Bewertungsrückmeldung und das Agentengedächtnis strukturiert. Das Framework integriert drei Kernkomponenten:

1. Rubrikengesteuerte Policy-Zerlegung (Strukturierter Gerüstbau)

Anstatt eines flachen autoregressiven Prozesses erzwingt RubricEM eine explizite Stufenstruktur für Agenten-Trajektorien: Planung $\to$ Recherche $\to$ Überprüfung $\to$ Antwort.

Selbstgenerierte Rubriken: Während der Planungs-Phase generiert der Agent aufgabenspezifische Rubriken (Wissens-Checklisten, analytische Kriterien und negative Einschränkungen), die nachfolgende Phasen leiten.
Operative Rubriken: Diese Rubriken sind nicht statisch; sie konditionieren Suchanfragen, dienen als Referenz für die Selbstevaluation in den Phasen Recherche und Überprüfung und definieren die Kriterien für die finale Synthese.
Theoretische Begründung: Die Arbeit liefert einen theoretischen Beweis (Theorem 1), der zeigt, dass explizite Stufeninformationen die erwartete Downstream-Wertigkeit einer Policy im Vergleich zu einer flachen Policy strikt verbessern, wenn lokale Kontexte über verschiedene Entscheidungsmodi hinweg (z. B. Suchen vs. Synthesieren) mehrdeutig sind.

2. Stufenstrukturiertes GRPO (SS-GRPO)

Um spärliche Belohnungen zu adressieren, führt RubricEM Stage-Structured Group Relative Policy Optimization (SS-GRPO) ein.

Dichte Zuweisung von Verdiensten: Anstatt einen einzigen Endscore an alle Token zu broadcasten, weist SS-GRPO stufenspezifische Scores ( $R_{i,k}$ ) für Planungs-, Recherch-, Überprüfungs- und Antwortsegmente mittels rubrikengesteuerter Bewerter zu.
Kausale Stufenabhängigkeit: Eine kausale Matrix $\Lambda$ definiert, wie Downstream-Stufenscores zum Return von Upstream-Stufen beitragen ( $G^{\Lambda}_{i,k} = \sum_{j=k}^{K} \lambda_{k,j} R_{i,j}$ ), wodurch sichergestellt wird, dass frühe Stufen Verdienste für die Ermöglichung erfolgreicher Downstream-Ergebnisse erhalten.
Evolutionärer Rubrik-Bewerter: Der Bewerter unterhält einen Puffer mit diskriminierenden Rubriken für jede Stufe, der sich an die aktuelle Verteilung der Policy anpasst. Dies ermöglicht Feedback auf Prozessebene, ohne Oracle-Zwischenbelohnungen zu erfordern.

3. Meta-Policy-Training durch Reflexion

RubricEM behandelt die Wiederverwendung von Erfahrung als explizites RL-Ziel durch eine Meta-Policy mit gemeinsamem Rückgrat für Reflexion.

Gemeinsames Training: Dasselbe Rückgrat dient sowohl als Task-Policy als auch als Reflexionsgenerator. Nachdem eine Trajektorie bewertet wurde, generiert das Rückgrat rubrikengestützte Reflexionskandidaten (Zusammenfassung der gewonnenen Erkenntnisse).
Bewerter-gesteuerte Selektion: Ein LLM-Bewerter bewertet diese Kandidaten basierend auf ihrem Nutzen für die Verfeinerung innerhalb der Episode (Verbesserung des aktuellen Versuchs) und den Transfer zwischen Episoden (Verbesserung zukünftiger Versuche bei verwandten Fragen).
Rubrik-Speicher: Die am höchsten bewertete Reflexion wird als natürlichsprachiges Gedächtnis in einem Rubrik-Speicher abgelegt. Während des Trainings ruft der Agent diese Reflexionen ab, um zukünftige Rollouts zu konditionieren.
Asynchrone Effizienz: Um sequenzielle Engpässe zu vermeiden, setzt das System eine asynchrone Pipeline ein, bei der die Generierung von Reflexionen und das Training für Schritt $N$ parallel zu Task-Rollouts für Schritt $N+1$ erfolgen, was einen vernachlässigbaren Overhead in der Wandzeit verursacht.

Hauptbeiträge

RubricEM-Framework: Eine neuartige RL-Architektur, die Policy-Zerlegung, Zuweisung von Verdiensten und Gedächtnisevolution unter einer einzigen rubrikengesteuerten Schnittstelle vereint.
SS-GRPO-Algorithmus: Eine kritikerfreie, stufenbewusste Variante von GRPO, die dichteres semantisches Feedback für die Optimierung über lange Zeithorizonte liefert, ohne Oracle-Belohnungen auf Schrittebene zu benötigen.
Meta-RL durch Reflexion: Eine Methode zum Training einer Meta-Policy mit gemeinsamem Rückgrat, die bewertete Trajektorien in wiederverwendbare, rubrikengestützte Anleitungen destilliert und so „bewertete Versuche" effektiv in „wiederverwendbare Erfahrung" verwandelt.
Empirische Validierung: Umfassende Ablationsstudien und Benchmarks zeigen, dass die Kombination aus strukturiertem Gerüstbau, stufenweiser Verdienstezuweisung und Reflexionstraining im Vergleich zum Stand der Technik überlegene Leistung mit weniger Trainingsschritten erzielt.

Experimentelle Ergebnisse

Die Autoren evaluieren RubricEM-8B (ein 8-Milliarden-Parameter-Modell basierend auf Qwen3) an vier Benchmarks für langformatige Recherche: HealthBench, ResearchQA, DeepResearchBench (DRB) und ResearchRubrics.

Leistung: RubricEM-8B erzielt eine State-of-the-Art-Durchschnittspunktzahl von 55,5 unter nicht-proprietären Modellen und übertrifft starke Open-Source-Baselines wie DR Tulu-8B (53,6) und WebThinker-32B-DPO (49,0).
Vergleich mit proprietären Systemen: Es nähert sich der Leistung proprietärer Systeme (z. B. OpenAI Deep Research, Gemini Deep Research) an, übertrifft Perplexity Deep Research im Durchschnitt und schlägt es auf dem DRB-Benchmark.
Effizienz: Das Modell erreicht seine Spitzenleistung in 1.400 RL-Schritten, deutlich weniger als die 1.900 Schritte, die DR Tulu benötigt, obwohl es von einem schwächeren Lehrermodell (Gemini-3.1-Pro vs. GPT-5) ausgeht.
Generalisierung: Obwohl es hauptsächlich auf langformatigen Daten trainiert wurde, zeigt RubricEM eine starke Zero-Shot-Transferfähigkeit auf Benchmarks für Kurzformate (SimpleQA, 2Wiki, WebWalker, DSQA), was darauf hindeutet, dass die erlernten Fähigkeiten übertragbare Werkzeugnutzung und Evidenzverankerung sind und nicht nur die Formatierung von Berichten.
Ablationsstudien: Das Entfernen einer beliebigen Komponente (strukturierter Gerüstbau, SS-GRPO oder Meta-Policy) führt zu einer Leistungsverschlechterung, was bestätigt, dass alle drei Zutaten für die beobachteten Gewinne notwendig sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RubricEM ein „Rezept" für RL über lange Zeithorizonte jenseits überprüfbarer Belohnungen bietet: Task-Struktur offenlegen, Verdienste dieser Struktur zuweisen und bewertete Versuche in wiederverwendbare Erfahrung umwandeln.

Jenseits überprüfbarer Belohnungen: Die Arbeit zeigt, dass hochwertige Deep-Research-Agenten ohne Ground-Truth-Antworten trainiert werden können, indem sie stattdessen auf rubrikengesteuertes semantisches Feedback zurückgreifen.
Meta-RL für Agenten: Sie fördert das Feld des Meta-RL für Sprachagenten vor, indem sie vom Prompting zur Laufzeit (z. B. Few-Shot-Beispiele) zur Evolution während des Trainings übergeht, wobei sich die Parameter des Agenten und sein textuelles Gedächtnis gemeinsam entwickeln.
Skalierbarkeit: Die Ergebnisse deuten darauf hin, dass kompakte Modelle (8B) bei komplexen Recherchenaufgaben konkurrenzfähige Leistung erzielen können, wenn sie mit den richtigen strukturellen Priors und RL-Algorithmen ausgestattet sind, was die Annahme herausfordert, dass nur massive proprietäre Modelle Deep Research leisten können.

Die Autoren bewahren einen bescheidenen Ton, indem sie Einschränkungen wie die Abhängigkeit von externen LLM-Bewertern (was Rauschen und Kosten einführt) und die Instabilität der Infrastruktur in Trainingsloops über lange Zeithorizonte anerkennen. Sie gehen davon aus, dass zukünftige Arbeiten stärkere Bewerter, vom Menschen überprüfbare Rubrik-Speicher und Anwendungen in anderen Domänen mit multidimensionalen Qualitätskriterien (z. B. wissenschaftliche Begutachtung, Nachhilfe) erforschen könnten.