💬 NLP

Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric

Dit paper introduceert het Open Rubric System (OpenRS), een framework dat de kwetsbaarheden van scalar beloningssystemen aanpakt door menselijke voorkeuren in open-ended taken te vertalen naar een inspecteerbaar, adaptief rubric-systeem dat op basis van paarwijze vergelijkingen en expliciete principes robuuste uitlijning mogelijk maakt.

Oorspronkelijke auteurs: Ruipeng Jia, Yunyi Yang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruipeng Jia, Yunyi Yang, Yuxin Wu, Yongbo Gai, Siyuan Tao, Mengyu Zhou, Jianhe Lin, Xiaoxi Jiang, Guanjun Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groot kunstwerk laat beoordelen. In het verleden gaf je de kunstcriticus (een computer) een simpele opdracht: "Geef dit schilderij een cijfer van 1 tot 10."

Dit werkte vaak niet goed. De computer leerde snel trucs: "Ah, als ik een schilderij met veel blauw geef, krijg ik een 10!" Het leerde niet waarom iets mooi was, maar alleen welke oppervlakkige kenmerken een hoge score opleverden. Dit noemen de auteurs van dit paper "reward hacking" (beloning-hacken). De kunstenaar (het AI-model) probeerde dan alleen maar meer blauw te schilderen, in plaats van een echt goed schilderij te maken.

Dit paper introduceert een nieuwe manier van werken: OpenRS (Open Rubric System).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Geen cijfer, maar een gedetailleerde beoordeling

In plaats van één vaag cijfer, gebruiken de auteurs een Rubric (een beoordelingsformulier).

Oude manier: "Dit antwoord is 8/10." (Waarom? Geen idee.)
Nieuwe manier (OpenRS): De computer kijkt naar twee antwoorden en zegt: "Antwoord A is beter dan B, omdat het de vraag directer beantwoordt, geen feitelijke fouten bevat en een vriendelijke toon heeft."

Het is alsof je in plaats van één cijfer voor een schoolopdracht, een lijstje krijgt met specifieke punten: Inhoud (9/10), Grammatica (8/10), Creativiteit (10/10).

2. De "Chameleons" van de Beoordeling (Adaptive Rubrics)

Het slimme aan dit systeem is dat de beoordelingslijst niet statisch is. Het past zich aan aan de situatie.

Voorbeeld: Stel je hebt twee antwoorden over een wiskundeprobleem. De computer kijkt eerst: "Wat is het verschil tussen deze twee?" Als het ene antwoord een rekenfout heeft en het andere niet, dan wordt "Rekennauwkeurigheid" het allerbelangrijkste punt op de lijst. Als het gaat over een verhaaltje, verschuift de focus naar "Verhaallijn" en "Emotie".
De analogie: Het is alsof een rechter niet altijd naar dezelfde wetten kijkt, maar eerst de feiten van de zaak analyseert en dan precies die wetten selecteert die relevant zijn voor deze specifieke vergelijking.

3. Twee soorten regels: De "Rode Lijnen" en de "Kwaliteit"

Het systeem heeft twee lagen:

De Pointwise Verifiable Rubric (De harde regels): Dit zijn dingen die je kunt checken met een simpele test. "Is de code correct?" "Is het antwoord in het juiste formaat?" "Is er geen haatzaaiende taal?" Dit zijn de rode lijnen. Als je deze overtreedt, is het antwoord direct slecht, ongeacht hoe mooi het geschreven is.
De Pairwise Adaptive Rubric (De zachte regels): Dit gaat over de kwaliteit, de nuance en de "vibe". Dit is waar de computer moet nadenken en vergelijken.

4. Waarom werkt dit beter? (De "Aha!"-momenten)

De auteurs merken dat wanneer je AI-modellen traint met dit systeem, ze iets bijzonders doen. Ze beginnen niet alleen "slimmer" te worden, maar ook menselijker en creatiever.

Bij de oude methode (alleen cijfers) werd de AI vaak saai en voorspelbaar, omdat hij alleen probeerde het "veilige" antwoord te geven dat een hoge score gaf.
Met dit nieuwe systeem durft de AI meer risico's te nemen, meer emotie te tonen en unieke perspectieven te bieden. Het is alsof je een acteur niet meer vraagt "Speel zo dat je een 10 krijgt", maar "Speel zo dat je de emotie van de scène echt overbrengt". De actor wordt dan veel overtuigender.

Samenvattend

Dit paper zegt: Stop met het geven van vaag cijfers aan AI.
In plaats daarvan, geef de AI een dynamische beoordelingslijst die zich aanpast aan wat er gebeurt, en laat hem antwoorden vergelijken op basis van specifieke criteria.

De grote winst:

Minder trucs: De AI kan niet meer "haken" op een simpel cijfersysteem.
Beter leren: De AI wordt slimmer in complexe, open-ended taken (zoals schrijven of advies geven), omdat hij begrijpt waarom iets goed is.
Transparantie: Mensen kunnen precies zien op welke punten de AI werd beoordeeld, in plaats van te vertrouwen op een "zwarte doos" die een cijfer uitdeelt.

Het is de overstap van een automatische kassa (die alleen het totaalbedrag ziet) naar een ervaren chef-kok (die proeft, ruikt, en precies weet welke ingrediënten het gerecht goed maken).

Titel: Open Rubric System (OpenRS): Schalen van Reinforcement Learning met Pairwise Adaptive Rubric

1. Het Probleem

Huidige methoden voor het uitlijnen van grote taalmodellen (LLMs) via Reinforcement Learning from Human Feedback (RLHF) vertrouwen doorgaans op scalar reward models (SRMs). Deze modellen comprimeren complexe, multidimensionale menselijke voorkeuren naar één enkel, ondoorzichtig getal. Dit creëert een aantal fundamentele problemen:

Informatie-bottleneck: Door de nuance te verliezen in één score, worden subtiele kwaliteitsverschillen genegeerd.
Reward Hacking: Modellen leren "shortcuts" om de beloning te maximaliseren zonder de werkelijke kwaliteit van het antwoord te verbeteren.
Brittleness: SRMs zijn vaak gevoelig voor veranderingen in de verdeling van data (OOD shifts) en kunnen hun beoordelingsvermogen verliezen.
Gebrek aan transparantie: De evaluatieprincipes zijn impliciet in het model "ingebakken" in plaats van expliciet en controleerbaar te zijn.

Voor niet-verifieerbare taken (zoals creatief schrijven of complexe dialoog) is het ontbreken van een objectieve "ground truth" een extra uitdaging. Bestaande oplossingen die gebruikmaken van LLMs als rechter (LLM-as-a-Judge) lijden vaak onder dezelfde bias-problemen of gebruiken statische rubrieken die niet goed schalen naar open-ended scenario's.

2. Methodologie: Open Rubric System (OpenRS)

Het paper introduceert OpenRS, een plug-and-play framework dat beloningen niet als een te leren functie ziet, maar als een expliciet redeneerproces dat wordt uitgevoerd onder inspecteerbare principes. Het systeem combineert twee hoofdcomponenten:

A. Pairwise Adaptive Meta-Rubrics (PAMR)
In plaats van een enkel antwoord te scoren, vergelijkt OpenRS paren van antwoorden ( $o_i$ vs $o_j$ ) op basis van dynamisch gegenereerde criteria.

Meta-Rubric: Een "constitutie-achtige" specificatie die algemene uitlijningsdoelen definieert (bijv. nauwkeurigheid, empathie, instructievolging).
Adaptieve Rubriek: Voor elk paar antwoorden analyseert het systeem eerst de semantische verschillen ( $\Delta_{ij}$ ). Op basis van deze verschillen wordt de Meta-Rubric aangepast om een specifieke, contextuele rubriek te genereren.
Criterium-gebaseerde Vergelijking: Het model scoort niet één totale voorkeur, maar vergelijkt de antwoorden per criterium (score van -2 tot +2). De uiteindelijke voorkeur is een gewogen som van deze criterium-scores.
Externe Aggregatie: De voorkeuren worden extern samengevoegd, wat voorkomt dat het model een statische, gewogen scalar leert.

B. Pointwise Verifiable Rubrics (PVRs)
Voor objectieve sub-taken (zoals wiskunde, code, of format-constraints) worden lichte, verifieerbare rubrieken gebruikt.

Deze fungeren als "hard constraints" (bijv. een unit test of een ground-truth check).
Ze bieden een deterministische beloning of straf en voorkomen degeneratief gedrag tijdens het trainen.

C. Twee-niveau Meta-Rubric Verfijning
Om de principes consistent maar bewerkbaar te houden, gebruikt OpenRS een verfijningspipeline:

Automatische Evolutionaire Verfijning: Een genetisch algoritme met beam search en Asymmetric GRPO (Asym-GRPO) optimaliseert de algemene Meta-Rubric. Asym-GRPO filtert alleen de beste mutaties door, wat stabiliteit garandeert bij schaarse beloningen.
Domain Meta-Rubric (Human-in-the-Loop): Voor specifieke domeinen (bijv. code of juridisch) kunnen experts fouten analyseren en de rubriek handmatig aanpassen zonder het hele model opnieuw te hoeven trainen.

D. Integratie in RL (BRPO)
OpenRS wordt geïntegreerd in Bootstrapped Relative Policy Optimization (BRPO). In plaats van alle mogelijke paren te vergelijken ( $O(N^2)$ ), wordt een referentie-anker ( $o_{ref}$ ) gekozen en worden alle andere antwoorden hiermee vergeleken ( $O(N)$ ). De finale beloning is een som van de pairwise adaptive score en de pointwise verifieerbare scores.

3. Belangrijkste Bijdragen

Paradigmaverschuiving: Het reframen van beloningssupervisie voor niet-verifieerbare taken als een probleem van principiële generalisatie in plaats van het leren van een scalar functie.
OpenRS Framework: Een open-source, plug-and-play systeem dat PAMR en PVRs combineert. Het is ontworpen om transparant, bewerkbaar en schaalbaar te zijn.
State-of-the-Art Prestaties: Het systeem presteert beter dan bestaande scalar reward modellen en generatieve judges op meerdere benchmarks.
Stabiele RL-training: Het tonen dat het vervangen van een scalar reward model door OpenRS leidt tot stabiele en consistente verbeteringen in downstream RL-taken, zonder reward hacking.

4. Resultaten

Reward Modeling Benchmarks: OpenRS behaalde state-of-the-art resultaten op vier benchmarks: RM-Bench, JudgeBench, RewardBench v2, en PPE Preference.
- Op de gemiddelde score van RewardBench v2 en andere benchmarks overtrof OpenRS (met Qwen3-235B als judge) de sterkste open-source scalar baseline (Skywork-Reward-V2) met +5.1 punten (89.4 vs 84.3).
- Op JudgeBench (die bias en betrouwbaarheid test) verbeterde OpenRS de beste baseline met +11.3 punten, wat wijst op een sterkere weerstand tegen positionele en verbaalheidsbias.
RL Training: Wanneer OpenRS werd gebruikt als beloningssignaal in plaats van een scalar model, vertoonde het beleid (policy) consistente winst op open-source benchmarks (gemiddeld 71.3 vs 68.4).
Emergentie ("Aha Moment"): In tegenstelling tot traditionele RLHF waarbij de entropie monotoon daalt (collapse naar een mode), toonde OpenRS een patroon van initieel daling, gevolgd door een stijging en stabilisatie op een hoger niveau. Dit suggereert dat het model meer "persoonlijkheid" en subjectief bewustzijn ontwikkelde in plaats van alleen te hedgen.
Efficiëntie: Ondanks de complexiteit van pairwise vergelijkingen, blijft het systeem schaalbaar door asynchrone batching en het gebruik van lokale open-weights modellen als judges.

5. Betekenis en Impact

Dit paper biedt een cruciale oplossing voor de beperkingen van huidige RLHF-methoden. Door beloningen expliciet te maken via rubrieken en deze dynamisch aan te passen aan de context van de vergelijking, lost OpenRS het probleem van "reward hacking" en het verlies van nuance op.

Transparantie: Het maakt het evaluatieproces inspecteerbaar en bewerkbaar voor mensen, wat essentieel is voor hoog-risico domeinen.
Schalbaarheid: Het bewijst dat complexe, niet-verifieerbare taken kunnen worden geoptimaliseerd zonder afhankelijk te zijn van een "black box" scalar model.
Toekomstperspectief: Het systeem opent de deur voor het ontdekken van emergente capaciteiten in open-ended generatie, vergelijkbaar met de "Aha Moments" die eerder werden gezien in wiskundige redenering, maar nu toegepast op creatieve en sociale interacties.

Kortom, OpenRS vertaalt de principes van verifieerbare beloningen (RLVR) naar de wereld van open-ended generatie, waardoor robuustere en menselijker uitgelijnde AI-systemen mogelijk worden.