💻 computer science

MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following

Dit artikel introduceert MCJudgeBench, een nieuw benchmarkontwerp om LLM-judges op het niveau van beperkingen te evalueren voor het volgen van instructies met meerdere beperkingen, waarbij wordt aangetoond dat de algehele prestatie van een judge geen garantie biedt voor betrouwbaarheid binnen specifieke labelcategorieën of stabiliteit tegen verstoringen.

Oorspronkelijke auteurs: Jaeyun Lee, Junyoung Koh, Zeynel Tok, Hunar Batra, Ronald Clark

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaeyun Lee, Junyoung Koh, Zeynel Tok, Hunar Batra, Ronald Clark

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een opstel van een student beoordeelt. De leraar heeft een zeer specifieke checklist: het opstel moet exact 500 woorden tellen, geen woorden langer dan 10 letters bevatten, een citaat van Shakespeare bevatten, en geschreven zijn in de stijl van een piraat.

In het verleden zou een AI (een "Rechter") die je vraagt dit opstel te beoordelen, slechts één score geven: "Goed gedaan" of "Slecht gedaan". Maar wat als de AI "Goed gedaan" zegt, terwijl de student het Shakespeare-citaat is vergeten? Of wat als de AI "Slecht gedaan" zegt, alleen omdat de student een ander lettertype heeft gebruikt, terwijl ze elke andere regel hebben gevolgd?

Dit artikel introduceert een nieuw hulpmiddel genaamd MCJudgeBench om dit probleem op te lossen. Het is alsof je de leraar een vergrootglas geeft om elke specifieke regel op de checklist te controleren, in plaats van alleen naar het hele opstel te kijken.

Hier is een eenvoudige uitleg van wat de onderzoekers deden en ontdekten:

1. Het Probleem: De "Blinde" Rechter

Huidige AI-rechters zijn vaak als iemand die alleen naar de kaft van een boek kijkt om te beslissen of het verhaal erin goed is. Ze kunnen zeggen: "Dit ziet er geweldig uit!" zonder op te merken dat er een hoofdstuk ontbreekt of dat het einde verkeerd is.

Het Probleem: Wanneer een AI wordt gevraagd om meerdere regels tegelijk te volgen (meerdere beperkingen), raakt het vaak in de war. Het kan het "grote plaatje" goed krijgen, maar faalt bij de specifieke details.
Het Risico: Als we blindelings op deze rechters vertrouwen, kunnen we denken dat een AI instructies perfect volgt, terwijl het in werkelijkheid de helft van de eisen mist.

2. De Oplossing: MCJudgeBench (De "Microscoop")

De onderzoekers bouwden een nieuwe test genaamd MCJudgeBench. Denk hierbij aan een "stress test" voor AI-rechters.

De Opzet: Ze creëerden 141 lastige instructies met meerdere regels (zoals het piraat-opstel voorbeeld).
De Gouden Standaard: Mensen keken naar de antwoorden en markeerden precies welke regels waren gevolgd ("Ja"), welke gedeeltelijk waren gevolgd ("Deels"), en welke werden overtreden ("Nee").
De Twist (De Perturbaties): Dit is het slimme deel. De onderzoekers namen hetzelfde antwoord en brachten kleine, onschadelijke veranderingen aan, zoals:
- Parafraseren: "De kat zat" veranderen in "De katachtige rustte." (De betekenis is hetzelfde).
- Herschikken: De volgorde van twee zinnen omwisselen.
- Prompt-wijzigingen: De AI-rechter dezelfde vraag stellen, maar met andere woorden.

Als de AI-rechter echt betrouwbaar is, zou hij het exactzelfde cijfer moeten geven voor het originele antwoord en deze licht gewijzigde versies. Als hij van mening verandert alleen omdat de woorden zijn geschud, is hij onstabiel.

3. De Bevindingen: De Rechters zijn Gebrekkig

De onderzoekers testten vele bekende AI-modellen (zoals GPT, Claude en Gemini) met deze nieuwe microscoop. Hier is wat ze ontdekten:

Hoge Scores kunnen Misleidend zijn: Een AI-rechter kan een hoge algehele nauwkeurigheidscore behalen, maar dat komt omdat hij erg goed is in het opsporen van "Ja" (regels die zijn gevolgd). Hij is vaak verschrikkelijk in het opsporen van "Nee" of "Deels" (regels die zijn overtreden of half zijn gedaan). Het is als een beveiligingswachter die geweldig is in het opsporen van mensen met een badge, maar slecht in het opsporen van mensen zonder badge.
Het "Trillende Hand"-Probleem (Inconsistentie): Toen de onderzoekers dezelfde AI-rechter vijf keer op rij hetzelfde antwoord lieten beoordelen, gaf de AI vaak verschillende antwoorden. Het was als een muntworp. Dit heet intrinsieke inconsistentie.
Het "Gevoelige Oor"-Probleem (Procedurele Inconsistentie): Toen ze de formulering van de vraag veranderden of het antwoord lichtjes herschikten, veranderden veel rechters van mening. Ze waren gemakkelijk in de war gebracht door hoe de informatie werd gepresenteerd, niet alleen door de inhoud zelf.
Redeneren Helpt Niet Altijd: Sommige modellen kregen de opdracht om "stap voor stap na te denken" voordat ze beoordeelden. Hoewel dit ze soms nauwkeuriger maakte, maakte het ze niet altijd stabieler. Soms zorgde het harder nadenken er juist voor dat ze vaker heen en weer schommelden tussen "Ja" en "Nee".

4. De Conclusie

Het artikel concludeert dat we niet naar één enkel getal kunnen kijken om te zien of een AI-rechter goed is. We moeten controleren:

Nauwkeurigheid: Ontdekt hij de regels correct?
Stabiliteit: Geeft hij hetzelfde antwoord als je hem dezelfde vraag op een andere manier stelt?
Detail: Is hij goed in het opsporen van de moeilijke gevallen (de overtreden regels), of alleen de makkelijke?

Kortom: Het artikel betoogt dat we moeten stoppen met AI-rechters te behandelen als een enkele "scorekaart" en moeten beginnen met ze te behandelen als een team van inspecteurs. We moeten controleren of ze consistent zijn, of ze kleine fouten opvangen, en of ze in de war raken door simpele veranderingen in hoe we hen vragen stellen. Totdat we dat doen, kunnen we ze niet volledig vertrouwen voor het beoordelen van complexe taken.

Technische Samenvatting: MCJudgeBench

Probleemstelling

Het volgen van instructies met meerdere beperkingen vereist dat Large Language Models (LLM's) voldoen aan meerdere gelijktijdige eisen met betrekking tot inhoud, formaat, stijl of lengte. Hoewel recente benchmarks zijn doorgegroeid van grove beoordelingen op promptniveau naar het beoordelen van individuele beperkingen, blijft de evaluatie van de beoordelaars zelf (LLM-as-a-judge) ontoereikend. Bestaande benchmarks voor beoordelaars richten zich voornamelijk op paarwijze voorkeuren, scalare oordelen of rubric-gebaseerde scoring, waarbij beoordelaars vaak worden getoetst aan de algehele kwaliteit van het antwoord in plaats van aan hun vermogen om specifieke beperkingen te verifiëren.

Bovendien slagen huidige evaluaties er niet in om te onderzoeken of beoordelaars individuele beperkingen accuraat en stabiel kunnen verifiëren, met name onder invariantieperturbaties van de evaluatieprompt of de vorm van de kandidaatrespons. Beoordelaars staan bekend om hun gevoeligheid voor de formulering van prompts, vertonen systematische biases en kunnen voorkeur geven aan outputs met een sterke stijl, zelfs wanneer de instructieopvolging zwak is. Er bestaat een kritieke lacune in het begrijpen van de betrouwbaarheid van beoordelaars op het niveau van beperkingen, specifiek hoe beoordelaars zich gedragen bij het onderscheiden tussen voldane, gedeeltelijk voldane en geschonden beperkingen in situaties met meerdere beperkingen.

Methodologie: MCJudgeBench

De auteurs introduceren MCJudgeBench, een meta-evaluatiebenchmark ontworpen voor evaluatie van beoordelaars op het niveau van beperkingen bij het volgen van instructies met meerdere beperkingen.

Constructie van de Benchmark

MCJudgeBench is opgebouwd uit twee bronbenchmarks, ComplexBench en InFoBench, om een progressie in instructielengte en complexiteit van beperkingen te waarborgen. De constructiepiplijn omvat drie stappen:

Filteren van broninstanties: Voorverwerking van instanties om geschiktheid voor de Engelse taal te waarborgen en cultureel specifieke taken uit te sluiten.
Constructie van kandidaten: Genereren van natuurlijke kandidaatresponsen met behulp van Qwen3-4B-Instruct (gekozen vanwege het produceren van een natuurlijke mix van voldane en geschonden beperkingen). Menselijke annotatoren toewijzen gouden labels per beperking uit drie klassen: ja (duidelijk voldaan), gedeeltelijk (gedeeltelijk voldaan) en nee (duidelijk geschonden/ontbrekend).
Menselijke validatie: Annotatoren verifiëren labels voor het type beperking en zorgen ervoor dat gegenereerde perturbaties het onderliggende vector van adherentielabels behouden.

Datastructuur

Elke instantie $x$ wordt weergegeven als $(I, y, C, L, P_y)$ , waarbij:

$I$ : De instructie.
$y$ : De natuurlijke kandidaatrespons.
$C$ : Een expliciete lijst van beperkingen.
$L$ : Bijbehorende gouden labels per beperking.
$P_y$ : Een set van invariantieperturbaties van varianten van de kandidaatrespons.

De benchmark categoriseert beperkingen in acht types op basis van verificatie-uitdagingen: Lexicon, Numeriek, Formaat, Inhoud, Component, Getrouwheid, Feitelijkheid/Rationaliteit en Stijl.

Invariantieperturbaties

Om de stabiliteit van beoordelaars te testen, omvat de benchmark gecontroleerde perturbaties aan de responszijde die de gouden labels behouden:

Lokale parafrase: Herschrijvingen op zins- of frase-niveau zonder het veranderen van trefwoorden, structuur of feitelijke inhoud.
Structurele herorganisatie: Veranderingen in de rangschikking van inhoud (bijvoorbeeld volgorde van zinnen, groepering van alinea's) zonder de vereiste volgorde, het formaat of beweringen te wijzigen.

Daarnaast omvat het evaluatieprotocol varianten van de evaluatieprompt (herordening van beperkingen, wijziging van opmaak of herordening van promptsecties) om de stabiliteit aan de promptzijde te testen.

Evaluatiemetrieken

Het artikel stelt een raamwerk voor om de betrouwbaarheid van beoordelaars te meten over drie dimensies:

Correctheid: Gemeten door de Constraint-level Judge Accuracy Ratio (CJAR) en Macro-F1 over de drie labelklassen. Dit onderscheidt prestaties op meerderheidsklassen (ja) van minderheidsklassen (gedeeltelijk, nee).
Intrinsieke inconsistentie: Gemeten door de Constraint-level Inconsistency Rate (CIR $_{intr}$ ) onder stochastische decoding (herhaalde runs met temperatuur=1.0). Dit vangt instabiliteit op die voortkomt uit de interne stochastiek van het model.
Procedurale inconsistentie: Gemeten door CIR $_{prompt}$ en CIR $_{resp}$ , waarbij de stabiliteit wordt geëvalueerd onder respectievelijk prompt- en responsperturbaties (met deterministische decoding). Dit vangt gevoeligheid voor formuleringwijzigingen op.

Belangrijkste Bijdragen

MCJudgeBench: Een nieuwe meta-evaluatiebenchmark met gouden labels per beperking en gecontroleerde invariantiesets voor zowel responsen als prompts.
Evaluatieraamwerk: Een methodologie voor het ontleden van instabiliteit van beoordelaars in intrinsieke (stochastische) en procedurele (op perturbaties gebaseerde) bronnen, naast correctheidsmetrieken.
Basisanalyse: Een uitgebreide evaluatie van propriëtaire en open-source LLM-beoordelaars, waaruit blijkt dat betrouwbaarheid aanzienlijk varieert per type beperking, aantal beperkingen en perturbatievoorwaarden.

Resultaten

De evaluatie van modellen, waaronder GPT-5.2, Claude Sonnet 4.6, Gemini 3.1 Pro en open-source modellen (Qwen3.5-4B, Llama 3.2 3B), levert enkele belangrijke bevindingen op:

Correctheid versus Betrouwbaarheid: Hoge algehele correctheid (CJAR) garandeert geen betrouwbare detectie over alle labelcategorieën heen. Beoordelaars presteren vaak goed op "ja"-gevallen, maar hebben aanzienlijke moeite met "gedeeltelijk"- en "nee"-gevallen, die cruciaal zijn voor betrouwbaarheidsanalyse. Macro-F1-scores onthullen vaak zwaktes die worden gemaskeerd door een hoge CJAR.
Bronnen van Inconsistentie:
- Intrinsieke Inconsistentie: Open-source baselines vertonen onder stochastische decoding aanzienlijk hogere intrinsieke inconsistentie dan propriëtaire modellen.
- Procedurale Inconsistentie: Beoordelaars zijn over het algemeen gevoeliger voor veranderingen in de vorm van de evaluatieprompt dan voor veranderingen in de vorm van de kandidaatrespons. Procedurale inconsistentie aan de promptzijde is doorgaans hoger dan inconsistentie aan de responszijde.
Impact van Redenering: Het inschakelen van redenering verbetert de Macro-F1 (balancering van prestaties over labels), maar verbetert de stabiliteit niet uniform. In sommige gevallen verhoogt redenering de intrinsieke of procedurele inconsistentie, wat suggereert dat het verandert hoe beoordelaars grensgevallen van beperkingen oplossen in plaats van ze uniform te stabiliseren.
Aantal Beperkingen: Inconsistentie neemt niet monotoon toe met het aantal beperkingen. Intrinsieke inconsistentie is vaak het hoogst voor instructies met 2 beperkingen, wat suggereert dat de ambiguïteit in het onderscheiden van labelgrenzen mogelijk hoger is in eenvoudigere gevallen dan in sterk gedecomposeerde, complexe lijsten.
Labelverwarring: Confusiematrices wijzen op een systematische neiging om "gedeeltelijk"-gevallen te veel te crediteren als "ja", in plaats van ze te onderscheiden als een aparte adherentiestatus.

Betekenis en Claims

Het artikel betoogt dat de betrouwbaarheid van beoordelaars multidimensionaal is. Een enkele geaggregeerde score is ontoereikend om de kwaliteit van een evaluator te karakteriseren. De auteurs claimen dat:

Het evalueren van LLM-beoordelaars voor het volgen van instructies met meerdere beperkingen de gezamenlijke overweging vereist van correctheid en stabiliteit op het niveau van beperkingen.
Sterke algehele prestaties niet garanderen dat er even betrouwbare detectie is over labelcategorieën, met name voor zeldzamere "gedeeltelijk"- en "nee"-gevallen.
Beoordelaars met hogere correctheid niet noodzakelijkerwijs lagere inconsistentie hebben; redenering kan de correctheid verbeteren terwijl het variabiliteit introduceert.
MCJudgeBench een noodzakelijk hulpmiddel biedt om faalmodi te bestuderen zoals intrinsieke stochastische instabiliteit en procedurele gevoeligheid voor herformulering van prompts/responsen, die momenteel onderbelicht zijn in de literatuur.

Het werk concludeert dat toekomstig onderzoek naar geautomatiseerde evaluatoren moet gaan voorbij geaggregeerde overeenstemming om systematisch de betrouwbaarheid en stabiliteit op het niveau van beperkingen te evalueren.