💬 NLP

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC is een nieuw raamwerk dat de structurele beperkingen van bestaand op rubrieken gebaseerd reinforcement learning overwint door scenario-gebaseerde queries en docent-gegrondeerde rubrieken gezamenlijk te ontwerpen, waardoor effectieve training op open eind taken mogelijk wordt en significante prestatiewinsten worden behaald in benchmarks voor redeneren en instructie-opvolging.

Oorspronkelijke auteurs: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een geweldig verhaal schrijft of een lastig probleem oplost. In de wereld van Kunstmatige Intelligentie wordt dit Reinforcement Learning (RL) genoemd. Meestal leren we robots door ze een duidelijke "Ja" of "Nee" score te geven. Bijvoorbeeld, in wiskunde, als het antwoord "42" is, krijgt de robot een gouden ster. Als het "43" is, krijgt hij niets. Dit werkt geweldig voor wiskunde en programmeren.

Maar wat gebeurt er als er geen enkel juist antwoord is? Wat als je vraagt: "Hoe maak ik een goede kop koffie?" of "Schrijf een moreel verhaal over een verloren hond"? Er is hier geen "42". Dit is waar het papier QUBRIC om de hoek komt kijken.

Het Probleem: De "Vage Vraag" Valstrik

De auteurs ontdekten een groot struikelblok in de manier waarop we robots momenteel leren omgaan met deze open vragen.

Denk er zo over na: Je vraagt een student: "Leg uit hoe je een taart bakt."

De Oude Manier: Je probeert een checklist (een "rubric") te maken voor de docent om het antwoord te beoordelen. Maar omdat de vraag zo breed is, eindigt de checklist als een vage bedoeling. "Heeft hij bloem genoemd?" "Heeft hij eieren genoemd?" Het is moeilijk om eerlijk te zijn.
De Naïeve Fix: Iemand probeert de vraag specifieker te maken: "Leg uit hoe je een taart bakt met behulp van de 2024 Grandmaster Baking Guide."
- De Ramp: De robot heeft deze gids niet. Die bestaat niet eens! Dus de robot weigert ofwel te antwoorden (omdat hij de gids niet kan vinden) of hij verzint een nep-gids. De checklist van de docent controleert dan alleen: "Heeft hij geweigerd te antwoorden?" of "Heeft hij gelogen?" De robot krijgt geen nutvolle feedback over hoe hij een taart moet bakken. Hij leert alleen om stil te zijn of te liegen.

Het papier noemt dit de "Fabricated Reference Failure" (Falen door Verzonnen Referentie). Je kunt een robot niet beoordelen op een regelboek dat niet bestaat.

De Oplossing: QUBRIC (De "Co-Designer" Aanpak)

De auteurs creëerden een nieuw systeem genaamd QUBRIC. In plaats van alleen maar een checklist te maken voor een rommelige vraag, verandert QUBRIC de vraag en de checklist samen, als een team van architecten en inspecteurs die zij aan zij werken.

Zo werkt het, met een eenvoudige analogie:

1. De "Kernpunt" Detective (Het herschrijven van de vraag)

In plaats van de robot te vragen om "Machine Learning uit te leggen" (wat te groot is), kijkt het systeem naar wat een menselijke expert (de "Docent") zou zeggen. Het haalt de belangrijkste, kleine feiten eruit (Kernpunten).

Analogie: Stel je voor dat je een kind wilt leren over "Dieren". In plaats daarvan zeg je: "Stel je voor dat je een dierentuinhouder bent in een specifieke dierentuin met een hongerige leeuw. De leeuw eet alleen vlees van de noordkant van de omheining. Hoe voed je hem?"
Waarom dit werkt: Je hebt het onderwerp niet veranderd (het gaat nog steeds over dieren/voeren), maar je hebt een specifiek scenario gecreëerd met een duidelijk antwoordbereik. Je vraagt niet naar een nepboek; je vraagt om een oplossing voor een echt, afgebakend probleem.

2. De "Contrastieve" Inspecteur (Het maken van de checklist)

Nu genereert het systeem de checklist (de rubric). Het raadt niet alleen wat een goed antwoord zou moeten zijn. Het vergelijkt het "perfecte" antwoord van een "Docent" met het huidige antwoord van de "Student" (de robot).

Analogie: De inspecteur kijkt naar het antwoord van de Docent en zegt: "Ah, de Docent noemde het controleren van de tanden van de leeuw voordat hij voert. De Student is dat vergeten."
De checklist wordt dan: "Heeft de reactie vermeld dat de tanden van de leeuw gecontroleerd moeten worden?"
Dit is een Constitutieve Rubric: De regel is op zichzelf staand. Je hebt geen externe feiten nodig om het te beoordelen; je controleert alleen of het specifieke detail aanwezig is.

3. De "Moeilijkheidsgraad Filter" (Het kiezen van de juiste oefenopdrachten)

Niet elke vraag is goed voor het leerproces.

Als de vraag te makkelijk is, weet de robot het antwoord al. Er vindt geen leren plaats.
Als de vraag te moeilijk is, faalt de robot telkens en raakt hij in de war.
QUBRIC fungeert als een coach die alleen oefenopdrachten kiest waarbij de student een kans van 20% tot 50% heeft om het goed te doen. Dit is het "sweet spot" waar echt leren plaatsvindt.

Wat is er gebeurd? (De Resultaten)

De auteurs testten dit systeem op een robot die goed was in het opvolgen van instructies, maar niet zo goed in complexe redeneringen.

De Test: Ze vroegen de robot om moeilijke, open einde taken aan te pakken (zoals het schrijven van creatieve verhalen of het oplossen van complexe logische puzzels) en zelfs taken die hij nog nooit eerder had gezien (zoals juridische redeneringen of morele dilemma's).
Het Resultaat: De robot verbeterde aanzienlijk.
- Op een lastige "Arena" test voor het opvolgen van instructies steeg hij met 5,5 punten.
- Op drie totaal verschillende soorten redeneertests (juridisch, moreel, narratief) verbeterde hij met gemiddeld 6,3 punten.

De Belangrijkste Les

Het papier bewijst dat je niet simpelweg een checklist kunt geven voor een vage vraag en verwachten dat een robot leert. De vraag zelf moet ontworpen worden om controleerbaar te zijn.

Door de vraag te herschrijven naar een specifiek, realistisch scenario (gegrond in echte feiten, niet in nepboeken) en vervolgens een checklist te bouwen op basis van dat specifieke scenario, krijgt de robot duidelijke, nuttige feedback. Hij leert beter na te denken, in plaats van alleen maar te gokken of te weigeren te antwoorden.

Kortom: QUBRIC leert ons dat als je een robot wilt leren denken, je eerst de juiste soort vraag moet stellen. Je kunt een student niet beoordelen op een toets die geen zin heeft.

Technische Samenvatting: QUBRIC – Co-ontwerp van Queries en Rubrieken voor RL voorbij Verifieerbare Beloningen

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft significante vooruitgang gebracht in domeinen zoals wiskunde en programmeren, waar grondwaarheid-antwoorden zorgen voor zuivere beloningssignalen. Het uitbreiden van RL naar open-ended taken (bijv. instructie-opvolging, juridische redenering, narratieve generatie) blijft echter uitdagend vanwege het gebrek aan verifieerbare antwoorden.

Bestaande benaderingen behandelen de query-distributie doorgaans als vaststaand terwijl ze rubrieken optimaliseren (gestructureerde criteria voor evaluatie), of ze hervormen queries om uitvoerbare beperkingen te creëren. De auteurs identificeren een structurele bottleneck: de kwaliteit van de rubriek wordt fundamenteel beperkt door de querystructuur.

Open-ended queries leiden tot vage rubrieken die beoordelaars niet consistent kunnen toepassen.
Naïve vernauwing (het specifiek maken van een query zonder gronding) introduceert vaak gefabriceerde referenties (bijv. het citeren van niet-bestaande richtlijnen of documenten). Dit zorgt ervoor dat rubrieken instorten tot het testen of een model weigert te antwoorden, in plaats van of het correct redeneert, wat resulteert in oninformatieve beloningssignalen waarbij alle responsen falen.

Het artikel stelt dat querystructuur en rubriekontwerp gekoppeld zijn: een query moet worden vernauwd op een manier die een deterministisch redeneerdoel biedt voor de rubriekgenerator.

2. Methodologie: QUBRIC

QUBRIC is een driestaps pijplijn die queries en rubrieken offline co-ontwerpt vóór de training. Het werkt volgens het principe dat de query herschreven moet worden om constitutieve rubrieken te ondersteunen (criteria die geëvalueerd kunnen worden met enkel de tekst van de rubriek en de respons, zonder externe kennis).

Fase 1: Key-Point-Grounded Query Rewriting

In plaats van open-ended queries willekeurig te vernauwen, fundeert QUBRIC het herschrijvingsproces in de werkelijke inhoud van hoogwaardige antwoorden.

Extractie van Kernpunten (Key Points): Referentie-responsen worden gegenereerd door meerdere teacher-modellen. Kernpunten (atomaire kenniscomponenten) worden geëxtraheerd. Queries met een hoge discrepantie tussen modellen (brede antwoordruimtes) krijgen prioriteit.
Scenario Constructie: Het systeem selecteert 1–2 kernpunten en herschrijft de query naar een scenario-gebaseerde vraag. Het scenario bevat een realistische context (rollen, beperkingen, data) die de query zelfvoorzienend maakt. De geselecteerde kernpunten worden het determinate kernantwoord van de nieuwe query.
Validatie: Een prompt-gebaseerde controle zorgt ervoor dat de herschreven query het antwoord niet lekt, de interne consistentie behoudt en dat de kernpunten de nieuwe query correct beantwoorden.
Leerbaarheid Filteren: Alleen query–rubriek paren waarbij de initiële policy een pass rate heeft binnen een corridor van 20–50% worden behouden. Deze heuristiek zorgt ervoor dat de trainingsdata bestaat uit informatieve voorbeelden (noch te makkelijk, noch onmogelijk).

Fase 2: Contrastieve Query-Level Rubriekgeneratie

Rubrieken worden offline gegenereerd door een sterkere teacher-respons te contrasteren met een zwakkere policy-respons.

Contrastieve Analyse: De generator identificeert inhoud die aanwezig is in de teacher-respons maar ontbreekt in de policy-respons, evenals gedeelde kernvereisten.
Constitutief Ontwerp: Rubrieken worden ontworpen om atomair, ondubbelzinnig, niet-hackbaar en orthogonaal te zijn. Ze integreren kennis direct in de beoordeling (bijv. "De respons legt X uit vanwege Y" in plaats van "De respons is wetenschappelijk accuraat").
Weging: Rubrieken worden gecategoriseerd als Kritiek (gewicht 3), Belangrijk (gewicht 2) of Optioneel (gewicht 1) op basis van hun belang voor de taak.

Fase 3: Reinforcement Learning met Rubrieken

De policy wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).

Beloningsformulering: De totale beloning $R(q, y)$ is een gewogen som van globale rubrieken (veiligheid, feitelijkheid, formattering) en query-level rubrieken (taakspecifieke redenering).
$R(q, y) = \alpha \sum_{g \in G} w_g \cdot r_g(y) + \beta \sum_{r \in R(q)} w_r \cdot r_r(q, y)$
Training: Voor elke query worden $K$ rollout-responsen gegenereerd, die onafhankelijk door een LLM-judge worden beoordeeld tegen de statische set rubrieken, en gebruikt worden om groep-relatieve voordelen (advantages) te berekenen voor policy-updates.

3. Belangrijkste Bijdragen

Identificatie van Structurele Koppeling: Het artikel toont aan dat de kwaliteit van rubrieken verslechtert wanneer queries een gebrek aan structuur hebben, wat leidt tot vage of gefabriceerde-referentie fouten. Het stelt vast dat querystructuur een vereiste is voor effectieve rubriek-gebaseerde RL.
QUBRIC Framework: Een nieuwe pijplijn die key-point-gebaseerde query-herschrijving, contrastieve rubriekgeneratie en leerbaarheid filtering integreert om hoogwaardige, evalueerbare trainingsparen te produceren.
Empirische Validatie: Door middel van gematchte ablaties tonen de auteurs aan dat winst niet wordt behaald door enkel rubriek-RL of enkel query-vernauwing, maar specifal door de co-design van beide.

4. Experimentele Resultaten

De auteurs evalueerden QUBRIC op instructie-opvolging benchmarks, cross-domein transfer taken en een eigen winkel-benchmark.

Instructie-opvolging

ArenaHard: QUBRIC behaalde een winst van +5,5 punt ten opzichte van de SFT-baseline (71,0 $\to$ 76,5) op harde prompts en een winst van +7,3 punt op creatief schrijven.
AdvancedIF: Verbetering naar 84,2 rubriek-niveau accuratesse.
Trade-off: Er werd een bescheiden daling waargenomen op IFEval (-1,7pp), wat wijst op een trade-off tussen strikte formattering-compliance en antwoordkwaliteit, consistent met eerdere bevindingen.
Baselines: QUBRIC presteerde beter dan "Rubric-RL met Originele Queries" (68,6 vs. 76,5 op ArenaHard) en "AutoIF-RLVR" (dat uitblinkt in formattering maar degradeert op open-ended kwaliteit).

Cross-Domein Transfer

Getraind alleen op instructie-opvolgingsdata, transfeerde QUBRIC naar drie held-out benchmarks:

MoReBench (Morele redenering), PLawBench (Juridische redenering), en MuSR (Narratieve redenering).
Gemiddelde Winst: +6,3 punten ten opzichte van de SFT-baseline.
Significante Verbetering: +8,85 punten op PLawBench, wat suggereert dat de methode gestructureerde redeneervermogens verbetert, zelfs in onbekende domeinen.
Vergelijking: Presteerde beter dan zowel de IF-domein baselines (AutoIF-RLVR en Rubric-RL met originele queries) op deze transfer-taken.

Winkel Hulpzaamheid (Shopping Helpfulness)

Op een eigen benchmark van 200 queries:

Query-level rubrieken verhoogden "Helpfulness-implicit" van 55,11 (alleen verifieerbare beloningen) naar 67,64.
Het combineren van globale en query-level rubrieken behield een hoge hulpzaamheid (67,81) terwijl bijwerkingen zoals dubbele aanbevelingen en ID-hallucinaties, geïntroduceerd door alleen query-level optimalisatie, werden gemitigeerd.

5. Betekenis en Claims

Het artikel claimt dat het co-ontwerpen van queries en rubrieken rubriek-gebaseerde RL een praktisch complement maakt voor RLVR voor taken zonder strikt verifieerbare antwoorden.

Mechanisme: De kerninzicht is dat naïeve vernauwing leidt tot "fabricated-reference" fouten waarbij modellen worden gestraft omdat ze niet weigeren te antwoorden. Door de vernauwing te funderen in teacher-afgeleide kernpunten, creëert QUBRIC scenario's waar de antwoordruimte nauw genoeg is voor precieze, constitutieve rubrieken.
Generalisatie: De verbeteringen zijn geconcentreerd in redeneringsgerelateerde dimensies, wat suggereert dat de methode helpt modellen te leren redeneren in plaats van enkel patronen te memoriseren of rigide formaten te volgen.
Haalbaarheid: De studie valideert dat LLM-judges betrouwbaar constitutieve rubrieken kunnen beoordelen (een accuratesse van 75–86% bereiken tegenover referentie annotaties), wat maakt dat de aanpak schaalbaar is zonder human-in-the-loop grading voor elke stap.

De auteurs concluderen dat hoewel rubriek-gebaseerde RL is verkend, de effectiviteit ervan wordt beperkt door de kwaliteit van de onderliggende queries. QUBRIC demonstreert dat het aanpassen van de querystructuur om precieze rubriekevaluatie mogelijk te maken een noodzakelijke voorwaarde is voor succesvolle RL in open-ended domeinen.