Technische Samenvatting: Think-with-Rubrics

1. Probleemstelling

Huidige Reinforcement Learning (RL) benaderingen voor Large Language Models (LLMs) blinken uit in verifieerbare taken waar grondwaarheid-labels bestaan. Het uitbreiden van RL naar open-ended, niet-verifieerbare instructievolgende taken blijft echter uitdagend vanwege het ontbreken van betrouwbare beloningssignalen. Bestaande oplossingen vertrouwen vaak op scalair beloningen of monolithische generatieve beloningsmodellen, die toezicht bieden dat te grof is om genuanceerde responskwaliteit vast te leggen.

Hoewel recente "Rubric-as-Reward" paradigma's dit hebben verbeterd door taken op te splitsen in gestructureerde, interpreteerbare criteria, blijft een kritieke beperking bestaan: rubrics worden uitsluitend behandeld als externe evaluatoren. In huidige kaders worden rubrics post-hoc toegepast om prestaties te meten nadat het model een respons heeft gegenereerd. Dit ontwerp verhindert dat rubrics het generatieproces of de redeneringsbaan van het model actief sturen, waardoor ze losstaan van de primaire redeneerspoor van het beleid.

2. Methodologie: Think-with-Rubrics

De auteurs stellen THINK-WITH-RUBRICS voor, een nieuw paradigma dat rubric-generatie internaliseert als een intrinsiek onderdeel van het redeneerproces van het model. In plaats van direct een respons te genereren, construeert het model eerst een zelfgegenereerde rubric om succescriteria te definiëren, en genereert vervolgens een respons die is geconditioneerd op die criteria.

2.1 Kernparadigma

De beleidstraject $\tau$ wordt gefactoriseerd in twee sequentiële stappen:

1. Rubric-generatie: Het model genereert een zelfgegenereerde rubric $\hat{r}$ op basis van de invoerinstructie $x$: $\hat{r} \sim \pi_\theta(\hat{r} | x)$.
2. Responsgeneratie: Het model genereert het definitieve antwoord $y$ geconditioneerd op zowel de instructie als de zelfgegenereerde rubric: $y \sim \pi_\theta(y | x, \hat{r})$.

Dit transformeert het model van een passieve uitvoerder naar een actieve overdenker die regels voor succes vaststelt voordat het redeneert.

2.2 Trainingsworkflow

Het trainingsproces bestaat uit twee fasen:

Fase 1: SFT Warm-up
Om ervoor te zorgen dat het model zich houdt aan het specifieke <rubric>...</rubric><answer>...</answer> formaat en om te voorkomen dat RL stappen verspilt aan formaatconformiteit, voeren de auteurs Supervised Fine-Tuning (SFT) uit.

• Leraar-distillatie: Responsen worden gedistilleerd vanuit Gemini-2.5-Flash op het Openrubrics-dataset.
• Doel: De waarschijnlijkheid maximaliseren over het hele traject, waarbij het beleid wordt geïnitieerd met een stabiele structuur die rubric-construktie scheidt van antwoordgeneratie.

Fase 2: RL-training
Het model wordt geoptimaliseerd met het DAPO-algoritme met een samengesteld beloningssysteem $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$.

• Rubric-verificator: Een gespecialiseerde, lichtgewicht verificator (gedistilleerd vanuit Qwen3-32B-Instruct) evalueert of een respons specifieke criteria voldoet, en geeft een gewogen nalevingsscore.
• Gouden Rubric-consistentiebeloning ($R_{gold}$): Meet de naleving van het definitieve antwoord tegen de grondwaarheid "gouden" rubric ($r^*$) uit Openrubrics.
• Zelfgegenereerde Rubric-consistentiebeloning ($R_{self}$): Meet de naleving van het definitieve antwoord tegen de eigen gegenereerde rubric ($\hat{r}$) van het model. Dit dwingt interne uitlijning af.
• Formaatbeloning ($R_{fmt}$): Voorkomt "reward hacking" (bijv. het genereren van triviale criteria) door ervoor te zorgen dat de rubric en het antwoord succesvol worden geparseerd en dat het aantal criteria binnen een redelijk bereik valt (5–15, met een piek bij 10).

2.3 Kernhypothese

De auteurs hypothetiseren dat gezamenlijke optimalisatie van $R_{gold}$ en $R_{self}$ een feedbacklus creëert: als een antwoord voldoet aan de zelfgegenereerde rubric en ook hoog scoort op de gouden rubric, wordt de zelfgegenereerde rubric impliciet aangemoedigd om uit te lijnen met de gouden standaard ($S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$).

3. Kernbijdragen

1. Paradigmaverschuiving: Transformeert rubrics van externe evaluatiemetrics naar interne cognitieve stappen, waardoor modellen criteria dynamisch kunnen aanpassen aan specifieke contexten binnen de redeneerketen.
2. Gefuseerde Trainingsworkflow: Introduceert een methode die zelfgegenereerde en gouden rubric-toezicht combineert, en aantoont dat expliciet toezicht op rubrickwaliteit onnodig is; rubric-lering ontstaat via gezamenlijke antwoordconsistentie-optimalisatie.
3. Schaalbare Zelf-evolutie: Toont aan dat modellen concurrerende prestaties kunnen behalen met alleen zelfgegenereerde rubric-toezicht, wat een pad suggereert naar schaalbare zelf-evolutie zonder afhankelijkheid van externe annotaties.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-8B en Qwen3-4B modellen over drie instructievolgende benchmarks: IFEval, IFBench en InfoBench.

• Prestatiewinst: THINK-WITH-Rubrics presteert consequent beter dan de "Rubric-as-Reward" baseline (die uitsluitend gouden rubrics gebruikt als externe beloningen).
  • Op het 8B-model bereikte de gemengde beloninginstelling een gemiddelde verbetering van 3,87 punten ten opzichte van de baseline.
  • Op het 4B-model was de verbetering 4,16 punten.
• Beloningscompositie: De gemengde beloninginstelling (combinatie van gouden en zelfgegenereerde consistentie) leverde de beste resultaten op. De instelling "Alleen zelfgegenereerde beloning" (57,17% gemiddeld) presteerde echter lichtjes beter dan de instelling "Alleen gouden beloning" (56,81%), wat de haalbaarheid van zelf-evolutie valideert.
• Efficiëntie: De gemiddelde denkduur voor THINK-WITH-RUBRICS (231 tokens) was aanzienlijk korter dan vanille denken (401 tokens), wat aangeeft dat rubrics vitale vereisten samenvatten in een gestroomlijnd proces.

Mechanisme-analyse

• Impliciete kwaliteitsverbetering: Toezicht via gouden rubrics verbetert impliciet de kwaliteit van zelfgegenereerde rubrics, zelfs zonder directe vergelijking op rubric-niveau.
• Interne consistentie: Zelfgegenereerde rubric-toezicht verbetert significant de consistentie tussen de eigen rubrics van het model en zijn antwoorden. Ongetrainde modellen slagen er vaak niet in om hun eigen gegenereerde criteria te volgen; zelftoezicht mitigeert deze interne inconsistentie.
• Rubrickwaliteit versus prestaties: Hoewel alleen-toezicht de prestaties bij instructievolgen verbetert, zijn de resulterende rubrics niet per se betere algemene evaluatoren (zoals gezien in RewardBench-2). Hun waarde ligt in het handhaven van constraint-consistentie tijdens het eigen generatieproces van het model.

5. Betekenis en Claims

Het artikel beweert dat THINK-WITH-RUBRICS een robuuste oplossing biedt voor het uitlijnen van LLM's met open-ended instructies door de kloof tussen beloningsmodellering en beleidsgeneratie te overbruggen.

• Actieve sturing: Door rubrics te behandelen als interne redeneerstappen in plaats van externe checks, leidt het model actief zijn eigen generatie naar gewenste uitkomsten, wat menselijke metacognitie nabootst.
• Potentieel voor zelf-evolutie: Het vermogen van het model om te verbeteren met alleen zelfgegenereerde rubrics suggereert een levensvatbaar pad voor schaalbare zelf-evolutie, waardoor de afhankelijkheid van externe grondwaarheid-annotaties wordt verminderd.
• Generaliseerbaarheid: Het paradigma blijft effectief over verschillende modelgroottes (4B tot 8B) en diverse beloningsgewichtconfiguraties, wat robuustheid aantoont.

De auteurs concluderen dat het integreren van rubric-generatie in de redeneertraject een algemeen paradigma is voor open-ended taakuitlijning, en een meer gestructureerde en zelf-consistente aanpak biedt dan traditionele "think" of "chain-of-thought" methoden.