Technische Samenvatting: Support Vector Rubrics (SVR)

Probleemstelling

Rubriekgebaseerde evaluatie is een veelbelovend paradigma geworden voor het beoordelen van outputs van Large Language Models (LLM's), omdat het gestructureerde, verifieerbare criteria biedt die de oordelen van modellen afstemmen op menselijke voorkeuren. Er bestaat echter een significante "discriminatieve kloof" tussen zelfgegenereerde rubrieken (geproduceerd door het beoordelende model zelf) en door mensen geannoteerde rubrieken, met name bij complexe instanties waar reacties genuanceerd zijn.

De auteurs stellen dat deze kloof voortkomt uit een objectieve mismatch:

• Zelfgegenereerde rubrieken hebben de neiging om "goede reacties" te beschrijven met generieke dimensies (bijv. helderheid, volledigheid) die uniform over alle antwoorden van toepassing zijn.
• Effectieve criteria moeten in staat zijn om te discrimineren tussen nauwe kandidaten nabij de beslissingsgrens, door specifieke factoren te identificeren (bijv. de aanwezigheid van een veiligheidsvoorbehoud, het afhandelen van een tegenvoorbeeld) die een geprefereerde reactie onderscheiden van een afgewezen reactie.

Huidige methoden slagen er vaak niet in om deze grensrelevante criteria te vangen, wat leidt tot een prestatiestagnatie ver onder het menselijke niveau van de oracle-prestaties op benchmarks zoals RubricBench.

Methodologie: Support Vector Rubrics (SVR)

SVR herformuleert de constructie van rubrieken als max-margin boundary learning over preferentiedata, waarbij een analogie wordt getrokken met Support Vector Machines (SVM), waarbij beslissingsgrenzen worden gevormd door "support vectors" (moeilijke gevallen) in plaats van zwaartepunten (centroids). Het framework bestaat uit vier kerncomponenten:

1. Rubric Bank als een Discriminatieve Feature Ruimte

In plaats van voor elke prompt een nieuwe rubriek te genereren, onderhoudt SVR een globale rubriekbank ($B = \{c_1, \dots, c_M\}$) van natuurlijke taal-criteria.

• Contrastive Feature Induction: In plaats van te vragen "wat maakt een reactie goed?", vraagt het systeem een LLM om rubrieken voor te stellen die specifiek een geprefereerde reactie ($r^+$) onderscheiden van een afgewezen reactie ($r^-$) voor een gegeven prompt ($x$).
• Feature Encoding: Voor elk criterium $c_i$ inspecteert een LLM-judge beide reacties zij aan zij om een scalaire differentiële feature $z_i \in [-1.25, 1.25]$ te produceren, die de richting en sterkte van de voorkeur codeert.

2. Sparse Max-Margin Scoring

SVR leert een scorefunctie $F(x, r_a, r_b)$ die de per-rubriek oordelen aggregeert.

• Prompt-Conditioned Selector ($\alpha(x)$): Een lichtgewicht netwerk (MLP over TF-IDF embeddings) met een sparsemax projectie selecteert een kleine subset van relevante rubrieken uit de globale bank voor een specifieke prompt, waarbij irrelevante vermeldingen exact naar nul worden gedreven.
• Global Weights ($w$): Een gedeelde gewichtsvector kalibreert het belang van elke rubriek over alle prompts heen.
• Doelstelling: Het systeem minimaliseert een samengestelde loss $L = L_{pref} + L_{div}$, waarbij $L_{pref}$ een positieve marge afdwingt voor geprefereerde paren, en $L_{div}$ het selecteren van redundante (tekstueel gelijkaardige) rubrieken bestraft.

3. Adversarial Refinement Loop

Om ervoor te zorgen dat de rubriekbank moeilijke gevallen dekt, gebruikt SVR een iteratief verfijningsproces:

• Support Pair Mining: Na elke trainingsronde worden paren met lage marges (verkeerd gerangschikt of met een lage betrouwbaarheid) geïdentificeerd als "support pairs".
• Adversarial Probing: Voor elk support pair synthetiseert een LLM-probe een "hard negatief" ($r_{adv}$): een reactie die plausibel maar inferieur is aan $r^+$ op ten minste één substantieel criterium.
• Re-induction: Deze harde negatieven vormen de basis voor een nieuwe ronde van contrastieve inductie, waarbij rubrieken worden gewonnen die specifal gericht zijn op de faalmodi die door de adversariële voorbeelden worden blootgelegd.

4. Bank Pruning

Om te voorkomen dat de bank onbeperkt groeit, voert een vier-criteria pruning stap verwijderingen uit van vermeldingen die een laag gewicht hebben, zelden geactiveerd worden, redundant zijn of een gebrek aan support-pair dekking vertonen. Dit zorgt ervoor dat de uiteindelijke bank begrensd, niet-redundant en gefocust is op grensrelevante criteria.

Belangrijkste Bijdragen

1. Herformulering van het Probleem: De auteurs identificeren de discriminatieve kloof als een mismatch tussen beschrijvende en discriminatieve doelstellingen, en tonen aan dat judges betrouwbaar kunnen scoren zodra ze worden voorzien van adequate, grens-specifieke criteria.
2. SVR Framework: Een nieuw framework dat rubrieken construeert via max-margin boundary learning, gebruikmakend van een globale bank, een prompt-geconditioneerde selector, geleerde belangweights en adversariële verfijning.
3. Prestaties: SVR bereikt 82,8% pairwise accuratesse op RubricBench, waardoor de kloof tot de menselijke-rubriek oracle (83,1%) wordt verkleind van 24,1 punten (zelfgegenereerd) naar slechts 0,3 punten.
4. Transfereerbaarheid: De geleerde rubriekbank wordt eenmalig getraind en is effectief transfereerbaar naar heterogene judge-families (bijv. GPT-OSS, DeepSeek, Qwen) en ongeziene benchmarks zonder hertraining of per-prompt rubriekgeneratie.

Experimentele Resultaten

RubricBench (Discriminatieve Kloof)

• SVR Prestaties: 82,8% accuratesse.
• Vergelijking: Presteert beter dan state-of-the-art scalaire reward modellen (Skywork: 61,0%), generatieve reward modellen (RM-R1: 46,0%) en zelfgegenereerde rubriek-baselines (ongeveer 59-60%).
• Oracle Gap: Verkleint de kloof tot de menselijk geannoteerde oracle (83,1%) tot 0,3 punten, een significante verbetering ten opzichte van de 24,1-punten kloof van zelfgegenereerde rubrieken.
• Domeinanalyse: SVR komt overeen met of presteert beter dan de oracle in Chat, Instruction Following (IF), STEM en Code. De resterende kloof bevindt zich voornamelijk in Safety, waar menselijke rubrieken zeldzame, hoog-risico distincties (bijv. weigeringsgrenzen) beter vastleggen.

Reward Modeling Benchmarks

• RewardBench 1 & 2 / RM-Bench: SVR blijft competitief met toegewijde reward modellen (bijv. 87,2% gemiddeld versus 90,3% voor Skywork).
• Instruction Following: SVR presteert aanzienlijk beter dan scalaire modellen op precieze instructie-opvolging (81,9% versus 64,1%), wat het voordeel dat in RubricBench werd gezien, uitbreidt.
• Safety: SVR geeft toe aan doelgerichte safety-modellen (bijv. Skywork met 95,7%), wat aangeeft dat hoewel SVR uitblinkt in algemene alignment, gespecialiseerde safety-training superieur blijft voor dat specifieke domein.

Ablatie en Analyse

• Componenten: Het verwijderen van contrastieve inductie veroorzaakt een daling van 9,3%; het verwijderen van support-pair mining veroorzaakt een daling van 5,2%.
• Transfereerbaarheid: Wanneer de bank getraind op GPT-OSS-120B wordt toegepast op andere judges (GPT-20B, GPT-4o-mini, DeepSeek, Qwen), presteert SVR consistent beter dan vanilla en zelfgegenereerde baselines met >23 punten, wat bewijst dat de rubriek-signalen grotendeels judge-agnostisch zijn.
• Complementariteit: SVR en menselijke rubrieken verschillen van mening in ~27% van de gevallen. SVR lost uniek gevallen op waarbij menselijke rubrieken te veel gewicht geven aan oppervlakte-dekking, terwijl mensen uniek zijn in het oplossen van gevallen waar SVR een gebrek heeft aan "taakvoltooiing"-rubrieken.

Betekenis en Claims

Het artikel claimt dat de discriminatieve kloof in huidige rubriekgebaseerde beoordeling grotendeels een artefact is van hoe rubrieken worden verkregen (generieke generatie versus boundary learning). Door de constructie van rubrieken te behandelen als een max-margin leerprobleem, demonstreert SVR dat:

1. Grens-definierende criteria kunnen worden geïnduceerd uit preferentie-signalen alleen, zonder per instantie menselijke auteurschap.
2. Een globale, herbruikbare rubriekbank eenmalig kan worden getraind en over diverse judges en taken kan worden ingezet, wat een principiële route biedt om de evaluatiekloof te dichten.
3. De aanpak een lichtgewicht, drop-in vervanging biedt voor downstream pipelines (RLHF, rejection sampling) die de rubriekgeneratie ontkoppelt van de reactie-inhoud, waardoor wordt gegarandeerd dat de evaluatiecriteria vaststaan voordat de kandidaat-reacties worden waargenomen.

De auteurs blijven bescheiden over beperkingen en merken op dat de bank de biases van de trainende judge erft, geen strikte convergentiegaranties heeft zoals gekernelde SVM's vanwege de discrete aard, en dat hoewel de marge dient als een reward-signaal, directe winst in downstream policy optimalisatie niet expliciet is geverifieerd in dit werk.