🤖 AI

CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging

Het artikel introduceert CriterAlign, een criteriumgerichte framework die de voorspelling van gepaarde codevoorkeuren verbetert door onafhankelijke scoring te vervangen door directe vergelijkingen op criteriumniveau en Human-Preference-Aligned Guidance (HPAG) te integreren, waardoor het bestaande monolithische beoordelaars aanzienlijk overtreft.

Oorspronkelijke auteurs: Zhenyu Li, Aleksandar Cvejic, Zehui Chen, Peter Wonka

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhenyu Li, Aleksandar Cvejic, Zehui Chen, Peter Wonka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een manager bent die moet beslissen welke van twee werknemers (noem ze Alice en Bob) een betere prestatie heeft geleverd op een coderingsproject. Je hebt hun code, de resultaten die ze hebben geproduceerd, en een lijst met regels om te volgen.

Lange tijd gedroegen AI-modellen die dit werk probeerden te doen zich als een enkele, overwerkte supervisor. Ze keken naar het werk van Alice, gaven het een score van 10. Vervolgens keken ze naar het werk van Bob en gaven dat ook een score van 10. Tot slot vergeleken ze de twee cijfers en kozen de winnaar.

Het artikel "CriterAlign" betoogt dat deze "eerst scoren"-aanpak gebrekkig is voor codering. Het is alsof je een kookwedstrijd beoordeelt door elke kok apart een score te geven voor "smaak", "presentatie" en "snelheid", en die vervolgens optelt. Het probleem is dat de AI vaak afgeleid wordt door oppervlakkige dingen (zoals wie meer woorden heeft geschreven of een chiquer opmaak heeft gebruikt) en de echte, subtiele verschillen mist waar mensen om geven.

CriterAlign is een nieuwe manier van beoordelen die het spel verandert van "scoren" naar "direct vergelijken". Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Kop-tot-Kop" Wedstrijd (Paarsgewijze Beoordeling)

In plaats van Alice en Bob apart te scoren, plaatst CriterAlign ze voor elke regel in de ring.

Oude manier: "Alice krijgt 8/10 voor snelheid. Bob krijgt 7/10 voor snelheid."
CriterAlign-methode: "Wie is tussen Alice en Bob eigenlijk sneller?"
De AI wordt gedwongen om ze naast elkaar te bekijken en te zeggen: "Alice wint dit specifieke punt", of "Het is gelijk", of "Bob wint". Dit nabootst hoe mensen eigenlijk denken bij het vergelijken van twee opties.

2. De "Scheidsrechtersmicroscoop" (Gelijkspel-gedreven Verfijning)

Soms kijkt de AI naar een regel (zoals "Is de code efficiënt?") en zegt: "Ze zijn allebei gelijk; ik kan het verschil niet zien."
In het oude systeem zou de AI het gelijkspel gewoon accepteren en doorgaan. CriterAlign behandelt een "gelijkspel" als een signaal dat de regel te vaag was.

De analogie: Stel je twee hardlopers voor die een race op precies hetzelfde moment finishen. Een slechte scheidsrechter zegt: "Het is gelijk." Een goede scheidsrechter zegt: "Wacht, laten we naar hun voetwerk kijken. Struikelde een hardloper iets?"
CriterAlign neemt dat "gelijkspel" en breekt de regel op in kleinere, scherpere vragen (bijvoorbeeld: "Wie heeft de randgevallen beter gehanteerd?") totdat het een echt verschil kan vinden.

3. De "Fairness Check" (Wissel-consistentie)

AI-rechters zijn berucht om hun bias door volgorde. Als je de code van Alice eerst laat zien, kan de AI haar misschien gewoon leuker vinden omdat ze als eerste verscheen.

De analogie: Stel je een proeverij voor waarbij de proever altijd de eerste glas water dat hij drinkt de voorkeur geeft.
CriterAlign voert een "fairness check" uit. Het vraagt de AI om het paar opnieuw te beoordelen, maar deze keer wisselt het de volgorde (eerst Bob, dan Alice). Als de AI van mening verandert alleen omdat de volgorde veranderde, gooit CriterAlign dat specifieke stukje bewijs in de prullenbak. Het behoudt alleen de beoordelingen die stabiel en eerlijk zijn, ongeacht wie er eerst komt.

4. De "Menselijke Fluisteraar" (HPAG)

Zelfs met betere regels kan de AI nog steeds een andere "persoonlijkheid" hebben dan een mens. Het kan "schone code" belangrijker vinden dan "coole visuele effecten", terwijl mensen misschien het omgekeerde prefereren.

De analogie: Stel je een robotrechter voor die nog nooit een mens heeft ontmoet. Het heeft een "spiekbriefje" nodig dat door mensen is geschreven met de tekst: "Hé, als je een webontwerp ziet, onthoud dan dat mensen meer geven om hoe het eruitziet dan hoe de code is georganiseerd."
CriterAlign maakt dit spiekbriefje (genaamd HPAG) door duizenden eerdere voorbeelden te bestuderen waarbij de AI het antwoord verkeerd had vergeleken met een mens. Het haalt de "gaten" in het redeneren eruit en injecteert deze lessen in het brein van de AI voordat het begint met beoordelen. Dit leert de AI om als een mens te denken zonder het hele model opnieuw te hoeven trainen.

Het Resultaat

Toen de onderzoekers dit nieuwe systeem testten op een grote benchmark van coderingstaken:

Kreeg de oude "enkele supervisor" AI ongeveer 60% van de antwoorden goed (overeenkomend met menselijke voorkeuren).
Dedden de oude "scorende" rubric-systemen het eigenlijk slechter dan de enkele supervisor.
CriterAlign sprong omhoog naar 66% nauwkeurigheid.

Kortom: CriterAlign stopt de AI met het proberen individuele papers te gradueren. In plaats daarvan dwingt het de AI om te handelen als een menselijke scheidsrechter: twee antwoorden kop-tot-kop vergelijken, inzoomen op gelijkspelen om de echte winnaar te vinden, volgorde-bias negeren, en een "menselijk spiekbriefje" volgen om ervoor te zorgen dat het de juiste dingen waardeert.

Technische Samenvatting: CriterAlign

Probleemstelling

De evaluatie van code-generatiesystemen is verschoven van eenvoudige functionele correctheid naar paarwijze menselijke voorkeurvoorspelling, waarbij het doel is om te bepalen welke van twee kandidaatoplossingen beter voldoet aan taakspecifieke afwegingen (bijvoorbeeld visuele trouw versus code-structuur). Hoewel Large Language Models (LLM's) steeds vaker worden ingezet als automatische beoordelaars, monolithische beoordelaars (die een voorkeur voorspellen in één stap) slagen er vaak niet in om af te stemmen op menselijke voorkeuren. Ze hebben de neiging om broos te zijn, gevoelig voor de volgorde van antwoorden, en vatbaar voor overdreven nadruk op oppervlakkige signalen zoals woordkeuze of opmaak, terwijl ze uitvoeringsbewijs onvoldoende benutten.

Bestaande alternatieven, op rubrieken gebaseerde (criterium-gebaseerde) beoordelaars, proberen de interpreteerbaarheid te verbeteren door evaluatie te ontleden in expliciete criteria. De meeste huidige pijplijnen blijven echter puntsgewijs: ze scoren elk antwoord onafhankelijk onder elk criterium en leiden een voorkeur af door geaggregeerde scores te vergelijken. De auteurs betogen dat dit ontwerp slecht aansluit bij de aard van paarwijze menselijke voorkeur, waarbij het belangrijkste bewijs vaak vergelijkend is in plaats van absoluut. Empirische resultaten tonen aan dat het simpelweg toepassen van puntsgewijze rubriekpijplijnen zelfs sterke monolithische beoordelaars kan onderpresteren.

Methodologie: CriterAlign

Het artikel introduceert CriterAlign, een criterium-gecentreerd framework dat specifiek is ontworpen voor paarwijze code-voorkeurvoorspelling. Het past op rubrieken gebaseerde beoordeling aan op de paarwijze setting via vier kernmechanismen en introduceert een component voor het synthetiseren van begeleiding.

1. Paarwijze Criteriumbeoordeling

In plaats van onafhankelijke puntsgewijze scores toe te kennen aan elk antwoord, vraagt CriterAlign een criteriumbeoordelaar om een direct paarwijze uitspraak te genereren voor elk gegenereerd criterium: $v \in \{A, B, \text{gelijkstand}, \text{onvoldoende}\}$ . Dit verschuift de evaluatie van "voldoet antwoord A aan criterium X?" naar "welk antwoord voldoet beter aan criterium X?". De uiteindelijke voorkeur wordt samengesteld door een LLM-beoordelaar die deze vergelijkende uitspraken aggregeert, wat niet-uniforme afwegingen tussen criteria mogelijk maakt (bijvoorbeeld een correctiekloof die kleine stijlvoordelen domineert).

2. Batchgedreven Gelijkstand-gedreven Criteriumverfijning (BTCR)

Wanneer een criterium resulteert in een "gelijkstand", geeft dit vaak aan dat het criterium te grof is om de antwoorden te onderscheiden. CriterAlign maakt gebruik van BTCR om deze gelijkstaande criteria te verfijnen.

Proces: Voor elk gelijkstaand oudercriterium genereert het systeem fijnmazigere sub-criteria die zijn geconditioneerd op de specifieke antwoorden en de redenering voor de gelijkstand.
Filtering: gegenereerde sub-criteria worden op een gebatchte manier gefilterd op redundantie en conflicten met bestaande criteria om efficiëntie te waarborgen.
Hernieuwde beoordeling: Geaccepteerde sub-criteria worden opnieuw beoordeeld met de paarwijze beoordelaar. Als sub-criteria verschillende antwoorden bevoordelen, worden beide uitspraken behouden als fijnmazig bewijs van afweging voor de uiteindelijke synthese.

3. Swap-consistente Criteriumfiltering (SCF)

Om de bekende gevoeligheid van paarwijze beoordelaars voor de volgorde van kandidaten (positiebias) aan te pakken, introduceert CriterAlign SCF.

Mechanisme: Na verfijning beoordeelt het systeem dezelfde criteria opnieuw met de volgorde van de kandidaten omgewisseld ( $b, a$ in plaats van $a, b$ ).
Filtering: Een criteriumniveau-oordeel wordt alleen behouden als de uitspraak consistent blijft onder de swap (bijvoorbeeld: als $A$ wint in $(a, b)$ , moet $A$ nog steeds winnen in $(b, a)$ na het mappen van de uitspraak).
Resultaat: Dit verwijdert onstabiel, volgorde-gevoelig bewijs op criteriumniveau in plaats van het hele voorbeeld te verwerpen, en dient zowel als een debiasing-mechanisme als een kwaliteitsfilter.

4. Menselijke Voorkeurs-gealigneerde Begeleiding (HPAG)

Om het framework te aligneren met menselijke redeneringen, introduceren de auteurs HPAG, offline gesynthetiseerd vanuit de trainingsverdeling.

Synthese: Een begeleidingssynthesizer vergelijkt menselijke voorkeursbeslissingen met voorspellingen van monolithische beoordelaars op trainingsvoorbeelden. Het extraheert terugkerende redeneringskloven – dimensies waar mensen om geven die de beoordelaar mist, overdrijft of onderschat.
Injectie: De resulterende begeleiding wordt gedistilleerd tot compacte algemene en categorieniveau-principes (bijvoorbeeld webontwikkeling, gameontwikkeling). Deze worden geïnjecteerd in drie fasen van de pijplijn: de criteriumgenerator, de criteriumbeoordelaar en de eindbeoordelaar. Dit zorgt ervoor dat het systeem mensrelevante criteria genereert, deze beoordeelt met mens-gealigneerde redenering, en ze synthetiseert volgens menselijke prioriteiten.

Belangrijkste Bijdragen

Identificatie van Mismatch: De auteurs valideren empirisch dat puntsgewijze pijplijnen voor criteriumgeneratie niet aansluiten bij paarwijze code-voorkeurvoorspelling, en vaak slechter presteren dan sterke monolithische beoordelaars.
CriterAlign Framework: Een nieuw paarwijze, criterium-gecentreerd framework met de volgende kenmerken:
- Directe paarwijze criteriumuitspraken.
- Batchgedreven Gelijkstand-gedreven Criteriumverfijning (BTCR) om grove gelijkstanden op te lossen.
- Swap-consistente Filtering (SCF) om volgorde-gevoelig bewijs te verwijderen.
- Menselijke Voorkeurs-gealigneerde Begeleiding (HPAG) gedistilleerd uit redeneringskloven tussen menselijke beoordelaars en de beoordelaar.
Empirische Validatie: Het aantonen van consistente winst op de BigCodeReward-benchmark, met ablatiestudies die de bijdragen van paarwijze aanpassing, filtering en begeleiding isoleren.

Resultaten

Geevalueerd op de BigCodeReward-validatieverdeling (3.785 voorbeelden):

Basislijn: Een monolithische Qwen2.5-VL-32B-beoordelaar behaalde 60,4% nauwkeurigheid.
Puntsgewijze Rubrieken: Bestaande puntsgewijze rubriek-basislijnen (bijvoorbeeld RRD, LLM Rubrieken) presteerden significant slechter, variërend van 48,1% tot 55,0%, wat de mismatch bevestigt.
CriterAlign: Het volledige framework verbeterde de nauwkeurigheid naar 66,3%, een winst van +5,9 punten ten opzichte van de monolithische basislijn en +11,3 punten ten opzichte van de sterkste gereproduceerde rubriek-basislijn.
Ablatie:
- Het overschakelen van puntsgewijs naar paarwijze beoordeling alleen herstelde de prestaties tot 61,8%.
- Het toevoegen van BTCR, SCF en HPAG leverde cumulatieve verbeteringen op, waarbij categorieniveau-HPAG de uiteindelijke boost naar 66,3% gaf.
Generalisatie: De methode toonde robuustheid over verschillende beoordelaar-ruggengraten (Kimi-VL, Gemma-4) en begeleidingssynthesizers, met de grootste relatieve winsten waargenomen bij zwakkere beoordelaars.

Betekenis en Aanspraken

Het artikel beweert dat voor code-voorkeurvoorspelling het genereren van meer criteria onvoldoende is; de alignatie van hoe criteria worden vergeleken en samengesteld met menselijke paarwijze voorkeuren is cruciaal. CriterAlign demonstreert dat:

Paarwijze aanpassing noodzakelijk is om criterium-gebaseerde beoordeling effectief te maken voor voorkeurstaken.
Filteren van onstabiel bewijs (via SCF) en verfijnen van niet-discriminerende gelijkstanden (via BTCR) essentieel zijn voor robuustheid.
Offline begeleidingssynthese (HPAG) de kloof tussen voorspellingen van monolithische beoordelaars en menselijke redeneringen effectief kan overbruggen zonder de beoordelaarmodel te fine-tunen, waardoor gefroren modellen kunnen aligneren met specifieke menselijke voorkeurspatronen.

Het werk positioneert zichzelf als een stap richting transparantere, interpreteerbaardere en betrouwbaardere geautomatiseerde evaluatie voor codegeneratie, en beweegt zich weg van enkelvoudige black-box oordelen naar gestructureerde, bewijs-gegronde voorkeursredenering.