Technische Samenvatting: De Geometrie van LLM-als-Judge

Probleemstelling

Large Language Models (LLM's) zijn de standaard geworden voor het evalueren van open eind generaties, maar een kritieke structurele asymmetrie blijft bestaan: LLM-judges zijn sterk met elkaar eens, terwijl ze slechts zwak met menselijke evaluatoren overeenstemmen. Dit fenomeen wordt vaak geïnterpreteerd als ofwel hoge betrouwbaarheid (wat ensemble-methoden ondersteunt), ofwel gedeelde bias (wat de validiteit van LLM-evaluatie ondermijnt). Het artikel betoogt dat zonder een structurele test, deze twee interpretaties niet van elkaar te onderscheiden zijn. Het kernprobleem is het bepalen of inter-LLM consensus staat voor werkelijke afstemming met menselijk oordeel, of louter een "consensus binnen een gecollabeerde subspace" is waarbij judges gedeelde biases delen maar de menselijke evaluatie-as missen.

Methodologie

De auteurs stellen een geometrisch kader voor om LLM-als-judge te formaliseren als een rangarme projectie-operator op een latente kwaliteit-manifold. Ze testen vier specifieke geometrische grootheden over vier door de community gebouwde Indic-datasets, acht Indic-talen en 41 LLM-judges (inclusief base, fine-tuned, preference-optimized en gekalibreerde varianten):

1. Score Spread ($\sigma_J / \sigma_H$): Het meten van de compressie van het scorebereik van de judge ten opzichte van mensen.
2. Effectieve Rang ($r_{95}$): Het bepalen van de dimensionaliteit van de variantie die door de judge wordt gevangen vergeleken met mensen.
3. Hoofdangel ($\theta$): Het berekenen van de hoek tussen de evaluatie-subspace van de judge en de menselijke subspace.
4. Gestapelde Correlaties: Het vergelijken van inter-LLM overeenkomst ($r_{LL}$) tegenover LLM-mens overeenkomst ($r_{LH}$).

De studie maakt gebruik van twee primaire benchmarks:

• Community-Health: Een medische advies-benchmark met vier subjectieve rubrieken (helderheid, behulpzaamheid, nauwkeurigheid, volledigheid) en gepaarde standalone/comparatieve labels.
• Real-World Cultural QA (DLQ): Drie domeinen (gezondheid & welzijn, financiën, dagelijks leven) die acht Indic-talen dekken, met zowel subjectieve rubrieken (linguïstische acceptabiliteit, hallucinaties) als een verifieerbare feitelijke rubriek (taalkwaliteit).

De auteurs maken gebruik van bootstrap-intervallen (1.000 replicaten) voor statistische inferentie en deconstrueren trainingsdelta's in "stretch" (het versterken van base-rangschikkingen), "rotation" (bewegen naar de menselijke as) en "residual" (het herschikken) componenten.

Belangrijkste Bijdragen

1. Geometrische Diagnose van Consensus: Het artikel stelt vast dat inter-LLM overeenstemming op subjectieve rubrieken geen bewijs is van menselijke afstemming. In plaats daarvan collabeert de judge op een redundante, laag-rangige subspace die bijna orthogonaal staat aan de menselijke evaluatie-as.
2. De Grensconditie: De studie identificeert een scherpe grens tussen subjectieve en objectieve rubrieken. Op rubrieken met verifieerbare feitelijke antwoorden stemmen de geometrische signaturen (hoek, rang, spread) overeen met menselijke bereiken, terwijl ze op subjectieve rubrieken significant afwijken.
3. Training Dynamiek Analyse: De auteurs demonstreren dat standaard trainingstechnieken (Fine-tuning, Direct Preference Optimization) primair de score spread ($\sigma$) herstellen, maar falen in het roteren van de evaluatie-as naar de menselijke subspace. Alleen post-hoc kalibratie op een kleine, door mensen geankerde set verbetert de prestaties over alle rubrieken, hoewel het de menselijke betrouwbaarheid niet volledig bereikt.
4. Subspace Topologie: Analyse onthult dat inter-LLM consensus wordt gedreven door gedeelde pre-training data en doelstellingen, wat zorgt voor sterke binnen-familie covariantie, terwijl de menselijke subspace zelfs na het verwijderen van de score spread nog steeds distinct en multidimensionaal blijft.

Empirische Resultaten

• Subjectieve Rubrieken: Op subjectieve taken gebruiken LLM-judges minder dan de helft van het menselijke scorebereik ($\sigma_J / \sigma_H \approx 0.3\text{--}0.5$). Hun evaluatie-as is bijna orthogonaal aan de menselijke een ($87\text{--}89^\circ$ versus menselijke inter-rater hoeken van $78\text{--}81^\circ$). Inter-LLM overeenkomst ($r_{LL} \approx 0.35$) overtreft de LLM-mens overeenkomst ($r_{LH} \approx 0.27\text{--}0.32$) aanzienlijk.
• Objectieve Rubrieken: Op de verifieerbare feitelijke rubriek sluit de geometrische kloof. De hoofdangel daalt naar $58.5^\circ$ (binnen de menselijke vloer), en de LLM-mens overeenkomst stijgt naar $0.519$, wat overeenkomt met de inter-LLM overeenkomst ($0.530$).
• Trainingseffecten: Fine-tuning en preference optimization verhogen de score spread ratio van $0.32$ naar $1.08$, maar bewegen de hoofdangel nauwelijks (blijvend op $87\text{--}88^\circ$). Een decompositie van de trainingsdelta's laat zien dat rotatie naar de menselijke as $\le 3\%$ van de totale verandering uitmaakt; de rest is "stretch" (het versterken van bestaande base-rangschikkingen) of "reshuffling".
• Kalibratie: Post-hoc kalibratie op een kleine, door mensen geankerde set tilt succesvol alle vier de community-health rubrieken op, waardoor een gekalibreerde 24B Indic judge ($r=0.184$) vooruit gaat op een frontier model zoals gpt-5.5 ($r=0.123$), maar nog steeds tekortschiet voor menselijke betrouwbaarheid ($r_{HH} \approx 0.474$ op de feitelijke rubriek).

Betekenis en Claims

Het artikel betoogt dat inter-LLM overeenkomst alleen als bewijs van menselijke afstemming moet gelden wanneer een directe geometrische check op de score-subspace van de judge slaagt. Zonder een dergelijke check duidt een hoge consensus onder LLM's er slechts op dat ze allemaal projecteren op dezelfde laag-rangige, voor het model leesbare subspace, waarbij ze de multidimensionale, cultureel gesitueerde nuances van menselijk oordeel effectief negeren.

De auteurs concluderen dat voor real-world, cultureel gesitueerde en subjectieve evaluatie, zelfs geometry-passing LLM ensembles de noodzaak voor een mens in de loop niet wegnemen. De "consensus" waargenomen bij LLM-judges is vaak een perspectief-collaps in plaats van ware afstemming, en de huidige beschikbare trainingstechnieken corrigeren de spread van scores, maar niet de oriëntatie van de evaluatie-as. Daarom blijft genuanceerde, multidimensionale menselijke beoordeling een cruciaal signaal dat niet volledig kan worden vervangen door de huidige LLM-as-judge paradigma's.