💬 NLP

ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning

Das Papier stellt ARES vor, ein Framework, das automatisch groß angelegte, instanzspezifische rubrikbasierte Trainingsdaten aus Rohdokumenten synthetisiert, um die Leistung des Reinforcement Learning in großen Sprachmodellen, insbesondere für komplexe, multidimensionale offene Aufgaben, erheblich zu verbessern.

Ursprüngliche Autoren: Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Falle „Richtig oder Falsch"

Stellen Sie sich vor, Sie bringen einem Roboter das Schreiben bei. Der derzeit beste Weg, Roboter (Large Language Models) intelligent zu machen, besteht darin, ihnen Matheaufgaben oder Programmier-Rätsel zu geben. Warum? Weil diese klare Antworten haben. Wenn der Roboter $2+2=4$ löst, bekommt er einen goldenen Stern. Wenn er $5$ sagt, bekommt er ein rotes X. Das lässt sich leicht automatisch überprüfen.

Aber was ist, wenn Sie wollen, dass der Roboter ein Gedicht schreibt, medizinischen Rat gibt oder komplexen Anweisungen folgt? Es gibt keine einzelne „richtige" Antwort. Ein Gedicht kann auf viele Arten schön sein. Eine medizinische Antwort muss sicher, genau und einfühlsam sein.

Bestehende Methoden versuchen dies zu beheben, indem sie einen Menschen (oder eine andere KI) bitten, eine einfache Bewertung von „Gut" oder „Schlecht" abzugeben. Aber das ist wie ein Lehrer, der „Gut gemacht" sagt, ohne dem Schüler zu sagen, was er gut gemacht hat oder was er übersehen hat. Es ist zu vage, um dem Roboter zu helfen, effektiv zu lernen.

Die Lösung: ARES (Der automatisierte Bewertungskatalog-Ersteller)

Die Autoren schlagen ARES (Automated Rubric synthEsis for Scalable RL) vor. Denken Sie an ARES als einen super-effizienten, unermüdlichen Lehrassistenten, der nicht nur Arbeiten benotet; er schreibt gleichzeitig die Bewertungskataloge und die Testfragen.

So funktioniert es, Schritt für Schritt:

1. Das Rohmaterial (Die Bibliothek)

Stellen Sie sich eine riesige Bibliothek mit Büchern und Artikeln (Vorab-Trainingsdokumente) vor, die der Roboter bereits gelesen hat, aber noch nicht darauf getestet wurde.

Der alte Weg: Sie könnten ein paar Bücher auswählen, Experten beauftragen, Testfragen zu schreiben, und dann weitere Experten beauftragen, detaillierte Bewertungskataloge (Rubrics) für jede Frage zu verfassen. Das ist langsam, teuer und schwer zu skalieren.
Der ARES-Weg: ARES nimmt diese Rohbücher und verwandelt sie automatisch in einen Test.

2. Der magische Trick (Co-Generation)

ARES betrachtet eine Textseite und erledigt sofort drei Dinge auf einmal:

Schreibt eine Frage: Es erstellt eine Frage basierend auf diesem Text (z. B. „Was sind die Nebenwirkungen dieses Medikaments?").
Schreibt die Antwort: Es kennt die korrekte Antwort basierend auf dem Text.
Schreibt den Bewertungskatalog: Das ist das Geheimnis. Anstatt nur „Richtig/Falsch" zu verwenden, erstellt ARES eine Checkliste mit spezifischen Gewichten.
- Beispiel: „Haben Sie die Nebenwirkung erwähnt? (+10 Punkte)." „Haben Sie vor Allergien gewarnt? (+8 Punkte)." „Haben Sie eine erfundene Nebenwirkung erfunden? (-10 Punkte)."

3. Der „Persona"-Twist

Um das Training vielfältig zu gestalten, stellt ARES die Frage nicht einfach wie ein Roboter. Es weist der Frage eine Persona zu.

Stellen Sie sich denselben medizinischen Artikel vor.
Persona A (Arzt): Die Frage verlangt technische Details.
Persona B (Schüler): Die Frage verlangt eine vereinfachte Erklärung.
Persona C (Pflegekraft): Die Frage fragt nach Tipps für die tägliche Pflege.
Dies stellt sicher, dass der Roboter lernt, mit verschiedenen Arten von Menschen zu sprechen, nicht nur in einem Stil.

4. Die Qualitätskontrolle (Der Filter)

Bevor der Roboter die Daten sieht, führt ARES einen strengen Qualitätscheck durch:

Ist die Frage beantwortbar, ohne das Originalbuch einzusehen? (Selbstständig).
Steht die Antwort tatsächlich im Buch? (Vertrauenswürdig).
Ist die Bewertungs-Checkliste logisch?
Wenn eine Frage zu vage ist oder die Checkliste fehlerhaft ist, verwirft ARES sie.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten diese neue Methode an 100.000 generierten Beispielen in 10 verschiedenen Bereichen (wie Gesundheitswesen, Reisen, Programmieren und Sozialwissenschaften).

Sie verglichen ihren mit ARES trainierten Roboter mit anderen Methoden:

Standard-Lesen: Einfach mehr Bücher lesen (Continual Pretraining).
Imitationslernen: Die Antworten exakt kopieren (Supervised Fine-Tuning).
Binäres RL: Nur „Gut/Schlecht"-Scores erhalten (Binary-reward RL).

Das Ergebnis:
Der mit ARES trainierte Roboter wurde deutlich besser, besonders bei offenen Aufgaben.

Gesundheitswesen: Es verbesserte sich um 6,4 Punkte. Es lernte, sichereren und vollständigeren Rat zu geben, weil der Katalog fehlende Sicherheitswarnungen bestrafte.
Befolgung von Anweisungen: Es verbesserte sich um 15,5 Punkte. Es lernte, komplexen Regeln zu folgen (wie „Schreibe ein Gedicht im Stil von Shakespeare, aber verwende nicht den Buchstaben 'e'"), weil der Katalog diese Regeln in spezifische, überprüfbare Punkte zerlegte.

Das Fazit

Denken Sie an frühere Methoden wie einen Lehrer, der nur eine Endnote von „Bestanden" oder „Nicht bestanden" vergibt.
ARES ist wie ein Lehrer, der Ihnen für jede einzelne Aufgabe ein detailliertes Zeugnis gibt, das Ihnen genau sagt, welche Punkte Sie verdient haben und welche Sie verloren haben, und dann dieses Zeugnis nutzt, um Sie speziell in Ihren Schwachstellen üben zu lassen.

Durch die Automatisierung der Erstellung dieser detaillierten Zeugnisse (Kataloge) aus Rohtext ermöglicht ARES es der KI, komplexe, menschliche Fähigkeiten (wie Schreiben, Beraten und Schlussfolgern) in einem Maßstab zu erlernen, der zuvor unmöglich war.

Technische Zusammenfassung: ARES (Automated Rubric Synthesis for Scalable LLM Reinforcement Learning)

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als hochwirksam zur Verbesserung von Large Language Models (LLMs) in Domänen mit automatisch überprüfbaren Ergebnissen erwiesen, wie etwa Mathematik und Programmierung. Dieses Paradigma stößt jedoch auf ein fundamentales Skalierbarkeitsproblem: Es beruht auf einer binären, ergebnisbezogenen Verifizierung, die spärlich ist und für offene Aufgaben wie im Gesundheitswesen, bei der Befolgung von Anweisungen und im professionellen Schreiben oft nicht durchführbar ist.

Bestehende Versuche, rubrikbasierte Belohnungen (mehrdimensionale Bewertungskriterien) einzuführen, um diese Einschränkung zu adressieren, leiden unter zwei Hauptproblemen:

Skalierbarkeit: Die Erstellung rubrikannotierter Daten erfordert typischerweise eine manuelle Expertenkuratierung von Fragen, Referenzantworten und Bewertungskriterien, was eine großskalige Bereitstellung verhindert.
Granularität: Viele bestehende Rubriken werden auf Aufgaben- oder Datensatzebene definiert und erfassen nicht die spezifischen Bewertungsanforderungen und Nuancen einzelner Fragen.

Folglich fehlt es an skalierbaren Pipelines, die aus rohen Pretraining-Dokumenten große Mengen an rubrikbasierten, gewichteten Daten generieren können, die spezifisch auf einzelne Fragen zugeschnitten sind, um RL-Training in diversen, offenen Domänen zu ermöglichen.

Methodik: Das ARES-Framework

Die Autoren schlagen ARES (Automated Rubric synthEsis for Scalable RL) vor, eine sechsstufige Pipeline, die entwickelt wurde, um rohe Pretraining-Dokumente automatisch in RL-fertige Instanzen umzuwandeln, die eigenständige Fragen, Referenzantworten und fragen-spezifische gewichtete Rubriken enthalten.

1. Datenpipeline

Die Pipeline arbeitet mit rohen Pretraining-Dokumenten (z. B. aus DCLM, FineWeb-Edu, FinePDFs) durch folgende Stufen:

Dokumentfilterung: Ein auf LLMs basierender Klassifizierer entfernt qualitativ minderwertige, stark mit Standardtexten versehene oder kontextarme Dokumente, die für die Fragegenerierung ungeeignet sind.
Zuweisung von Domäne und Persona: Verbleibende Dokumente werden mit einer semantischen Domäne (aus 10 Kategorien) und Ziel-Personas (z. B. Arzt, Student, Pflegekraft) annotiert. Dies konditioniert die Generierung, um diverse Fragestile und Denkvertiefungen zu produzieren.
Rubrik-angereicherte QA-Co-Generierung: Ein Generator-Modell ( $M_{gen}$ $M_{g e n}$ ) erzeugt gleichzeitig:
- Eine eigenständige Frage (beantwortbar ohne das Quelldokument).
- Eine Referenzantwort, die auf dem Quelldokument basiert.
- Eine fragen-spezifische Rubrik ( $R_q$ ), bestehend aus einer Menge gewichteter Kriterien $\{(c_k, w_k)\}$ . Die Rubrik umfasst positive Gewichte für wünschenswerte Eigenschaften und negative Gewichte für häufige Fehlermodi (z. B. Halluzinationen, fehlende kritische Sicherheitsmitteilungen).
Qualitätsverifizierung: Die generierten QA-Paare werden auf Eigenständigkeit, Antworttreue zum Quelltext und das Fehlen von Informationsleckagen (die Frage enthüllt die Antwort nicht trivial) validiert.
Rubrikvalidierung: Die Rubriken werden auf wohlgeformte Kriterien, Abdeckung der Schlüsselanforderungen, gültige Gewichtsbereiche und ausreichende Vielfalt geprüft.
Formatkonvertierung: Validierte Instanzen werden in ein mit Group Relative Policy Optimization (GRPO) kompatibles Format serialisiert.

2. Belohnungsmechanismus

Im Gegensatz zu binären Belohnungen nutzt ARES eine rubrikbasierte Belohnungsfunktion für das RL-Training. Für eine Frage $q$ und eine Antwort $y$ wird die Belohnung wie folgt berechnet:
$R_{rubric}(q, y; R_q) = \sum_{k=1}^{N_q} w_k^{(q)} \cdot J_\phi(q, y, c_k^{(q)})$
Wobei $J_\phi$ ein LLM-Richter ist, der den Grad bewertet, zu dem die Antwort das Kriterium $c_k$ erfüllt, und $w_k$ das Wichtigkeitsgewicht ist. Dies liefert dichte, diagnostische Supervision, sodass das Modell auch bei einer insgesamt unvollkommenen Antwort Teilpunkte für korrekte Komponenten erhalten kann.

3. Trainingssetup

Die Autoren setzen Group Relative Policy Optimization (GRPO) als RL-Optimierer ein. Die Policy wird trainiert, um die erwartete Belohnung aus der rubrikbasierten Bewertung zu maximieren, wobei eine Gruppe von Stichprobenantworten verglichen wird, um Vorteile zu normalisieren.

Hauptbeiträge

ARES-Pipeline: Ein skalierbares, automatisiertes Framework, das rohe Pretraining-Dokumente in RL-Instanzen mit eigenständigen Fragen, Referenzantworten und fragen-spezifischen gewichteten Rubriken transformiert.
Großskaliger Datensatz: Die Erstellung eines 100.000 Rubrik-annotierten Datensatzes, der sich über zehn diverse Domänen erstreckt (einschließlich Sozialwissenschaften, Medizin, Technologie und Bildung). Dieser Datensatz bietet feingranulare Belohnungssupervision, eine Fähigkeit, die zuvor auf kleine, manuell kuratierte Mengen beschränkt war.
Empirische Validierung: Umfassende Evaluierung über sieben Benchmarks hinweg, die zeigt, dass rubrikbasiertes RL, das mit ARES trainiert wird, Continual Pretraining (CPT), Supervised Fine-Tuning (SFT) und binär-belohnendes RL übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten den ARES-RL-Ansatz unter Verwendung von Qwen3-4B-Base als Basismodell gegen vier Baselines: CPT, NaturalReasoning (SFT), Webscale (binär-belohnendes RL) und ARES-SFT (SFT auf generierten Daten).

Gesamtleistung: ARES-RL erzielte den höchsten Durchschnittswert über alle sieben Benchmarks und übertraf CPT um 5,33 Punkte, NaturalReasoning um 6,78 Punkte und binär-belohnendes RL um 4,39 Punkte.
Offene Aufgaben: Die signifikantesten Gewinne wurden bei mehrdimensionalen, offenen Aufgaben beobachtet:
- Befolgung von Anweisungen (IFEval): +19,27 Punkte gegenüber binär-belohnendem RL.
- Gesundheitswesen (HealthBench): +5,37 Punkte gegenüber binär-belohnendem RL.
- Schreiben (WritingBench): +1,15 Punkte gegenüber binär-belohnendem RL.
Strukturierte Aufgaben: Obwohl der Datensatz weniger Beispiele für Mathematik (930) und Programmierung (1.631) im Vergleich zu anderen Domänen enthält, erzielte ARES-RL dennoch State-of-the-Art-Ergebnisse auf GSM8K, HumanEval+ und MBPP+, was darauf hindeutet, dass die Vorteile rubrikbasierter Belohnungen auf strukturierte Denkaufgaben übertragen werden können.
Ablationsstudien:
- Strukturiert vs. Ganzheitlich: Strukturierte Rubrikansätze (ARES-RL und General Rubric) schnitten besser ab als ganzheitliche „Blind Judge"-Baselines, was darauf hindeutet, dass die Zerlegung der Bewertung in explizite Kriterien effektivere Belohnungssignale liefert.
- Fragen-Spezifität: ARES-RL (fragen-spezifische Rubriken) schnitt im Durchschnitt besser ab als die General Rubric-Baseline, insbesondere bei Aufgaben mit variierenden Einschränkungen (z. B. IFEval), was die Bedeutung der Anpassung von Kriterien an spezifische Fragen unterstreicht.
- Stabilität: Während referenzantwortbasierte Belohnungen bei spezifischen Benchmarks wie HealthBench gut abschnitten, waren sie über diverse Aufgabentypen hinweg instabil (z. B. deutlicher Rückgang bei IFEval), wohingegen ARES-RL eine robuste Leistung beibehielt.

Bedeutung und Behauptungen

Das Papier behauptet, dass ARES die kritische Engstelle der Skalierung von RL auf offene Domänen adressiert, indem es die Synthese hochwertiger, mehrdimensionaler Belohnungssignale automatisiert. Die Autoren behaupten:

Reichhaltigere Supervision: Rubrikbasierte Belohnungen liefern dichtere und diagnostischere Lernsignale als binäre Verifizierung oder imitationsbasiertes SFT, wodurch Modelle in der Lage sind, nuancierte Aspekte der Antwortqualität zu optimieren (z. B. Sicherheit, Vollständigkeit, Einhaltung von Einschränkungen).
Skalierbarkeit: Durch die Nutzung roher Pretraining-Dokumente eliminiert ARES die Notwendigkeit einer manuellen Expertenkuratierung und macht rubrikbasiertes RL in einem Maßstab (100.000 Instanzen) und mit einer Domänenvielfalt (10 Domänen) zugänglich, die zuvor unerreichbar waren.
Generalisierung: Das Framework zeigt, dass RL, das mit mehrdimensionalen Rubriken optimiert wird, die Leistung nicht nur in offenen Domänen verbessern kann, sondern auch effektiv auf strukturierte Denk- und Programmieraufgaben übertragen wird, selbst bei begrenzten domänenspezifischen Daten.

Die Autoren schließen, dass ARES einen Wandel von der passiven Token-Vorhersage hin zur gezielten Belohnungsoptimierung darstellt und rohe Dokumente in fokussierte Nachtrainings-Supervision für komplexe, mehrdimensionale Fähigkeiten verwandelt.