Technische Samenvatting: FairJudge

1. Probleemstelling

Bestaande "LLM-als-een-rechter"-systemen kampen met drie fundamentele beperkingen die hun betrouwbaarheid als algemene evaluatoren hinderen:

1. Beperkte Adaptiviteit: Huidige rechters hebben moeite met het aanpassen aan taakspecifieke en domeinspecifieke evaluatiecriteria, en falen vaak wanneer regels of contexten veranderen.
2. Systematische Biases: Oordelen worden frequent gedreven door niet-semantische cues (bijv. positie van het antwoord, lengte, formattering of model-provenance) in plaats van door de kwaliteit van de inhoud.
3. Evaluatie-inconsistentie: Rechters produceren vaak tegenstrijdige uitkomsten over verschillende evaluatiemodi heen (bijv. pointwise scoring versus pairwise vergelijking) voor dezelfde input.

De auteurs stellen dat deze problemen voortkomen uit het behandelen van beoordeling als een statische voorspellingsopgave in plaats van een leerbaar besluitvormingsproces dat wordt beperkt door evaluatieregels, context en instellingen. Bestaande benaderingen gaan er vaak van uit dat adaptiviteit, eerlijkheid en consistentie van nature ontstaan, in plaats van ze te behanden als expliciete leerdoelen.

2. Methodologie

FairJudge herformuleert beoordelingsgedrag als een leerbaar en geregulariseerd beleid ($\pi_{judge}(y | x, c, m)$), waarbij $x$ de input is, $c$ de context (rubriek/referentie) en $m$ de evaluatiemodus. Het framework maakt gebruik van een data-gecentreerde aanpak gecombineerd met een drie-fasen curriculum-trainingsparadigma.

2.1. Dataconstructie (FairJudge-16K)

De auteurs hebben een dataset met een hoge informatiedichtheid geconstrueerd, FairJudge-16K, die ruwe evaluatiegegevens transformeert naar canonieke instanties die taken, referenties, antwoordparen, expliciete rubrieken, redenering en oordelen bevatten. De dataconstructie omvat:

• Canonicalisering: Het expliciet blootstellen van contextuele condities om impliciete criteria te transformeren naar leerbare signalen.
• Gestructureerde Debiasing: Het creëren van contrastieve paren waarbij de semantische inhoud behouden blijft, maar niet-semantische dimensies (volgorde, lengte, formaat) worden verstoord. Dit dwingt het model om invariantie tegen deze factoren te leren.
• Cross-Mode Consistentie: Het koppelen van dezelfde evaluatie-inhoud aan zowel pointwise als pairwise supervisie om directe uitlijning tussen verschillende oordeelformaten mogelijk te maken.

2.2. Trainingsparadigma

FairJudge maakt gebruik van een gefaseerde curriculum-optimalisatie om het beoordelingsbeleid progressief af te stemmen:

1. Fase I: Supervised Fine-Tuning (SFT): Het model wordt getraind op canonieke records met expliciete rubrieken als conditionele inputs. Dit vestigt een stabiele, rubriek-bewuste beoordelingsruimte en standaardiseert de outputformaten (redenering gevolgd door oordeel).
2. Fase II: Debiasing via Direct Preference Optimization (DPO): Voorkeursparen worden geconstrueerd waarbij het "gekozen" oordeel voldoet aan de rubriek terwijl het invariant is voor niet-semantische variaties, en het "afgewezen" oordeel bias vertoont. DPO optimaliseert het beleid om de voorkeur te geven aan onbevooroordeelde gedragingen zonder een expliciet beloningsmodel.
3. Fase III: Consistentie via Group-Relative Policy Optimization (GRPO): Om cross-mode inconsistentie aan te pakken, samplet het model meerdere oordelen voor dezelfde instantie onder verschillende modi (pointwise/pairwise). Een consistentie-bewuste beloning straft tegenstrijdige beslissingen af en stimuleert logisch equivalente uitkomsten over de modi heen.

Het algemene doel combineert deze fasen: $L = L_{SFT} + \lambda_{DPO}L_{DPO} + \lambda_{GRPO}L_{GRPO}$.

3. Belangrijkste Bijdragen

• FairJudge Framework: Een nieuw perspectief dat beoordeling behandelt als een optimaliseerbaar beleid, waarbij expliciet wordt gericht op adaptiviteit, debiasing en consistentie.
• Datasets en Benchmarks:
  • FairJudge-16K: Een trainingsdataset met expliciete supervisiesignalen voor evaluatiegedrag.
  • FairJudge-Benchmark-1K: Een op schaal gecontroleerde, bevroren evaluatiesubset ontworpen om beoordelingsgedrag onder realistische omstandigheden te karakteriseren, strikt gescheiden van de trainingsdata.
• Prestatiewinst: De methode verbetert de overeenstemming en F1-scores over meerdere benchmarks aanzienlijk, vermindert niet-semantische biases en bereikt concurrerende prestaties ten opzichte van grotere algemene modellen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie primaire testsets: PandaLM (menselijke annotaties), JudgeLM, en FairJudge-Benchmark-1K, naast multimodale en reward modeling benchmarks.

• Algehele Betrouwbaarheid: FairJudge (specifiek de 8B variant) presteerde beter dan vergelijkbare grootte algemene multimodale modellen (bijv. Qwen3-8B, InternVL3-14B) en eerdere judge-specifieke modellen (PandaLM, JudgeLM) op het gebied van Agreement en macro-F1 scores. Opvallend genoeg vertoonden grotere algemene modellen (bijv. DeepSeek-V3-671B) geen uniform superieure beoordelingsprestaties, wat suggereert dat gespecialiseerde data en training belangrijker zijn dan alleen schaal.
• Ablatieonderzoek: Het verwijderen van een van de drie trainingsfasen (SFT, DPO of GRPO) resulteerde in prestatievermindering. SFT werd geïdentificeerd als het meest fundamentele onderdeel voor het vestigen van basis beoordelingscapaciteit, terwijl DPO en GRPO noodzakelijke verfijningen boden voor robuustheid en consistentie.
• Consistentie: FairJudge behaalde een consistentiescore van 65,52% tussen de pointwise en pairwise modi op de benchmark, waarmee het alle baselines (variërend van 46% tot 60%) duidelijk overtrof.
• Multimodale Capaciteit: Het model behield sterke multimodale begripscapaciteiten en behaalde concurrerende nauwkeurigheid op visuele taal-taken (bijv. InfographicsVQA, MathVista), wat bewijst dat de training voor beoordeling de onderliggende representatieleer niet degradeert.
• Reward Modeling: Op Reward-Bench behaalde FairJudge de beste algehele Agreement en macro-F1 onder modellen van vergelijkbare schaal, wat stabielere beloningssignalen biedt voor downstream preference optimization.
• Efficiëntie: Een "Fast Mode" (het enkel outputten van de uiteindelijke beslissing) behaalde een 12x–13x versnelling ten opzichte van "Full Mode" (met redenering) met een marginale prestatievermindering, wat het geschikt maakt voor grootschalige automatische evaluatie.

5. Betekenis en Claims

Het artikel positioneert FairJudge als een praktische stap naar meer betrouwbare automatische evaluatie in plaats van een volledige oplossing voor alle betrouwbaarheidsproblemen. De primaire betekenis ligt in:

• Verschuiving van het Paradigma: Het bewegen van impliciete, statische beoordelingsfuncties naar expliciet, op beleid gebaseerd leren dat systematisch kan worden beperkt en geoptimaliseerd.
• Aanpakken van Kerninstabiliteiten: Het direct aanpakken van de "instabiliteit en beperkte generalisatie" van huidige rechters door adaptiviteit, bias-mitigatie en consistentie te behandelen als leerbare doelstellingen.
• Praktische Implementatie: Het demonstreren dat een gespecialiseerd, kleinschaliger model (8B) algemene enorme modellen kan overtreffen in beoordelings-taken, terwijl het significante winst in inferentie-efficiëntie biedt.

De auteurs erkennen beperkingen en merken op dat de evaluatie niet alle mogelijke rubrieken of domeinen dekt, en dat training op grotere backbones toekomstig werk blijft. Ze benadrukken dat FairJudge bedoeld is als een ondersteunend instrument om eerlijkheid en reproduceerbaarheid in modelbeoordeling te verbeteren, en niet als vervanging voor menselijk toezicht.