Technische Samenvatting: Auto-Rubric as Reward (ARR)

Probleemstelling

Het afstemmen van multimodale generatieve modellen op menselijke voorkeuren wordt momenteel gehinderd door de beperkingen van heersende Reinforcement Learning from Human Feedback (RLHF)-benaderingen. Bestaande methoden reduceren doorgaans de rijke, multidimensionale structuur van menselijke beoordeling (waaronder esthetiek, semantische trouw en context) tot ondoorzichtige scalare scores of paarwijze labels. Deze reductionistische aanpak gooit de interpreteerbaarheid van menselijke criteria overboord, waardoor "verstrengelde" representaties ontstaan die vatbaar zijn voor reward hacking en systematische evaluatiebias, zoals positionele bias (waarbij beoordelaars beelden prefereren op basis van hun volgorde in plaats van kwaliteit).

Hoewel recente "Rubrics-as-Reward" (RaR)-methodes proberen structuur te reintroduceren via expliciete criteria, vertrouwen zij vaak op vaste, gesuperviseerde of handgemaakte rubrieken. Dit beperkt hun schaalbaarheid, prompt-specifiekheid en data-efficiëntie, vooral wanneer ze worden uitgebreid naar complexe multimodale generatiesituaties. Het artikel stelt dat de kernknoop in multimodale afstemming niet een tekort aan voorkeurskennis binnen Large Vision-Language Models (VLM's) is, maar eerder de afwezigheid van een stabiele, gefactoriseerde interface om die kennis toe te passen.

Methodologie

De auteurs stellen Auto-Rubric as Reward (ARR) voor, een raamwerk dat impliciete voorkeurskennis externaliseert naar expliciete, instantie-geconditioneerde rubrieken, en Rubric Policy Optimization (RPO), een trainingsalgoritme dat deze rubrieken gebruikt voor generatieve afstemming.

1. Auto-Rubric as Reward (ARR)

ARR herformuleert reward-modellering van impliciete gewichtsoptimalisatie naar expliciete, criterium-gebaseerde decompositie. Het werkt via een trainingsvrije generate-verify-refine-pijplijn:

• Rubriekgeneratie: Gegeven een voorkeurspaar (prompt $x$, geprefereerd beeld $y^+$, niet-geprefereerd beeld $y^-$), genereert een VLM een natuurlijke taal-rubriek $r_i$ die uitlegt waarom $y^+$ de voorkeur heeft.
• Verificatie en Verfijning: Een aparte verificatiestap controleert of de gegenereerde rubriek consistent de oorspronkelijke voorkeurslabel ondersteunt. Als verificatie faalt, wordt de rubriek iteratief verfijnd tot een maximum aantal pogingen ($T_{max}$). Rubrieken die na verfijning falen, worden verworpen.
• Hiërarchische Structurering: De geverifieerde, instantie-specifieke rubrieken worden door een LLM geconsolideerd tot een enkele, hiërarchisch georganiseerde rubriek ($R_{structured}$). Deze gestructureerde rubriek groepeert criteria op semantische granulariteit (bijv. compositie, belichting, textuur) en dient als systeemprompt voor de beoordelaar.
• Reward-signaal: In plaats van een scalare regressie, gebruikt de VLM-beoordelaar $R_{structured}$ om binaire voorkeursbeslissingen te nemen. De geprefereerde output ontvangt een positieve constante reward ($+\lambda$), en de niet-geprefereerde output ontvangt een negatieve constante ($-\gamma$).

2. Rubric Policy Optimization (RPO)

RPO is een online policy-optimalisatiealgoritme dat is ontworpen om ARR's gestructureerde evaluatie direct in de generatieve trainingslus te integreren.

• Mechanisme: Voor elke prompt genereert het huidige beleid $\pi_\theta$ twee kandidaat-trajecten. De bevroren ARR-beoordelaar, geconditioneerd op de gestructureerde rubriek, evalueert deze om een binaire voorkeur te produceren.
• Doel: Het winnende traject krijgt een voordeel van $+\lambda$ toegewezen en de verliezer $-\gamma$. Dit voordeel wordt uniform verdeeld over alle generatiestappen.
• Optimalisatie: Het beleid wordt bijgewerkt met een PPO-achtig doel met KL-regularisatie. In tegenstelling tot eerdere methoden die rubrieken behandelen als aanvullende filters, conditioneert RPO het optimalisatiedoel direct op de op rubrieken gebaseerde binaire beslissingen, wat policy-gradiënten stabiliseert en updates afstemt op interpreteerbare kwaliteitsdimensies.

Belangrijkste Bijdragen

1. Auto-Rubric as Reward (ARR): Een trainingsvrij raamwerk dat impliciete menselijke voorkeuren externaliseert naar instantie-geconditioneerde, interpreteerbare rubrieken. Het maakt schaalbare multimodale evaluatie mogelijk met hoge data-efficiëntie, waarbij slechts een paar geannoteerde voorbeelden nodig zijn en geen parameterupdates aan het beoordelaarsmodel.
2. Rubric Policy Optimization (RPO): Een policy-optimalisatieraamwerk dat ondoorzichtige scalare reward-signalen vervangt door gestructureerde, criterium-gegronde vergelijkingen. Het integreert op rubrieken geconditioneerde oordelen direct in het optimalisatiedoel, waardoor de noodzaak voor een apart, trainbaar reward-model wordt weggenomen.
3. Diagnose van de Interface-knoop: Via ablatiestudies tonen de auteurs aan dat de primaire knoop in multimodale afstemming het ontbreken van een gefactoriseerde interface is, niet een gebrek aan kennis. Zij tonen aan dat de kwaliteit van rubrieken schaalt met de afstemmingscapaciteiten van de onderliggende VLM, en dat diepere comprehendie van intrinsieke criteria robuustheid effectiever drijft dan het vergroten van modelschaal of datavolume.

Experimentele Resultaten

De auteurs evalueerden ARR en RPO op benchmarks voor tekst-naar-beeld (T2I)-generatie en beeldbewerking.

• Evaluatieprestaties: Op benchmarks waaronder HPDv3, MM-RewardBench2 en EditReward-Bench presteerden ARR-geconditioneerde VLM-beoordelaars (zoals Qwen3-VL, GPT-5, Gemini 3.1 Pro) beter dan zowel getrainde scalare reward-modellen als directe VLM-beoordelaars. ARR verbeterde de voorkeurnauwkeurigheid met 1,7 tot 6,3 procentpunten. Cruciaal is dat ARR positionele bias aanzienlijk verminderde, waardoor de prestatiekloof tussen voorwaartse en omgekeerde beeldvolgorde van ~30–34 punten (in basismodellen) terugliep tot 8,9–10,3 punten met door mensen geleide rubrieken.
• Generatieve Prestaties: Wanneer gebruikt om modellen te trainen via RPO, leverde het raamwerk aanzienlijke winsten op zonder fine-tuning van de beoordelaar of gebruik van grootschalige reward-annotaties.
  • Tekst-naar-beeld: Op GenEval verbeterde de prestatie van 0,66 naar 0,80; op DPG-Bench van 83,84 naar 85,76.
  • Beeldbewerking: Op GEdit-Bench verbeterden de scores van 7,54 naar 7,85 (voor de Qwen-Image-Edit-2509-baseline).
• Generalisatie: Het raamwerk toonde sterke zero-shot en few-shot generalisatie. Experimenten met cross-model rubriektransfer toonden aan dat rubrieken gegenereerd door één modelfamilie beoordelaars van een andere familie effectief konden sturen, wat bevestigt dat de rubriekstructuur zelf de drijver van robuustheid is.

Betekenis en Claims

Het artikel beweert dat de "knoop" in multimodale afstemming niet een tekort aan voorkeurskennis binnen VLM's is, maar de afwezigheid van een stabiele, gefactoriseerde interface om die toe te passen. Door impliciete voorkeuren te externaliseren naar expliciete, verifieerbare rubrieken, bereikt ARR-RPO betrouwbaardere en data-efficiëntere afstemming.

De auteurs benadrukken dat deze aanpak:

• Reward Hacking Mitigeert: Door supervisie te gronden in expliciete, controleerbare criteria in plaats van geleerde scalare proxies.
• Interpreteerbaarheid Versterkt: Vervangt ondoorzichtige optimalisatie door criterium-gealigneerde verbetering, waardoor een directe overdracht van evalueerdersgeloofwaardigheid naar generatieve kwaliteit mogelijk wordt.
• Geen Fine-tuning van de Beoordelaar Vereist: Het raamwerk werkt met bevroren VLM's, waardoor het computerefficiënt en schaalbaar is.

Het kerninzicht is dat het bieden van een gestructureerde, gefactoriseerde interface voor voorkeurstoepassing voldoende is om aanzienlijke verbeteringen te bewerkstelligen in zowel evaluatiebetrouwbaarheid als generatieve prestaties, wat de notie uitdaagt dat grotere modellen of meer data de primaire vereisten zijn voor betere afstemming.