Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

1. Probleemstelling

Naarmate Natural Language Generation (NLG) alomtegenwoordig wordt, is de evaluatie van modeloutput verschoven van traditionele metrics (zoals BLEU, ROUGE) naar LLM-as-a-Judge-kaders, waarbij Large Language Models (LLM's) scores of rangschikkingen toekennen aan gegenereerde tekst. Hoewel deze kaders schaalbaarheid bieden en beter aansluiten bij menselijke voorkeuren dan n-gram-metrics, lijden ze onder een kritieke, vaak over het hoofd geziene tekortkoming: lage intra-rater betrouwbaarheid (zelf-betrouwbaarheid).

De auteurs stellen vast dat LLM-rechters aanzienlijke zelf-inconsistentie vertonen. Wanneer dezelfde LLM over meerdere runs wordt geprompt met identieke invoer, hyperparameters en instellingen, produceert deze vaak verschillende beoordelingen. Deze variatie maakt individuele oordelen potentieel arbitrair en bemoeilijkt het bepalen van de ware kwaliteit van de evaluatiecapaciteiten van de LLM. Bovendien vertrouwen bestaande studies vaak op metrics zoals correlatie of nauwkeurigheid om LLM's te vergelijken met mensen, wat toevallige overeenkomsten niet corrigeert en de waargenomen betrouwbaarheid mogelijk opblaast.

2. Methodologie

De auteurs voerden een uitgebreide empirische studie uit over drie verschillende NLG-benchmarks om zelf-betrouwbaarheid en de impact daarvan op evaluatieprestaties te kwantificeren.

Datasets & Taken

1. SummaC: Een binaire classificatietaken (Consistent vs. Inconsistent) voor feitelijke consistentie in samenvattingen.
2. SummEval: Een multi-metric evaluatie van samenvattingen met behulp van een 1–5 Likert-schaal over vier dimensies: Coherentie, Consistentie, Vloeiendheid en Relevantie.
3. MT-Bench: Een rangschikkingstaken voor meer-draaiende conversaties waarbij een rechter de betere reactie kiest tussen twee modellen (Model A, Model B, of Gelijkspel).

Experimentele Opstelling

• Modellen: Drie LLM's werden gebruikt als rechters: Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen, en Qwen3-32B.
• Procedure: Elke rechter werd drie keer uitgevoerd op hetzelfde dataset met identieke prompts en instellingen om intra-rater variatie te meten.
• Metrics voor Overeenkomst:
  • Krippendorff's Alpha ($\alpha$): De primaire metric gebruikt om overeenkomst te meten. Deze werd gekozen boven nauwkeurigheid of correlatie omdat deze toevallige overeenkomst corrigeert en om kan met ontbrekende data, variërende aantallen beoordelaars en verschillende datatypes (nominaal, ordinaal, interval).
  • Afstandsfuncties: Nominaal voor binaire taken (SummaC); Ordinaal voor Likert-schalen en rangschikkingen (SummEval, MT-Bench).
  • Gebalanceerde Nauwkeurigheid: Gebruikt voor SummaC om rekening te houden met class-ongelijkheid.
• Vergelijkingen: De studie vergeleek:
  • Zelf-Betrouwbaarheid: Overeenkomst van een LLM met zichzelf over meerdere runs.
  • Inter-Rater Betrouwbaarheid: Overeenkomst tussen LLM's en Menselijke rechters (Experts en Crowdworkers/Turkers).
  • Impact op Prestaties: Het effect van "Meerderheidsstemming" (aggregatie van meerdere runs) versus "Geen Sampling" (temperatuur instellen op 0) op overeenkomst met menselijke gouden standaarden.

3. Belangrijkste Bijdragen

1. Kwantificering van Zelf-Inconsistentie: Het artikel biedt de eerste systematische kwantificering van lage intra-rater betrouwbaarheid in LLM-rechters over diverse taken (samenvattingen, fact-checking en dialoog).
2. De Variatie-Prestatie Trade-off: De auteurs tonen een tegen-intuïtieve bevinding aan: Het uitschakelen van sampling (temperatuur instellen op 0) om deterministische output te forceren, vermindert de overeenkomst van de LLM met menselijke oordelen. Dit suggereert dat de inherente stochasticiteit van LLM's, hoewel deze zelf-inconsistentie veroorzaakt, mogelijk juist helpt bij het verkennen van de oplossingsruimte om antwoorden te vinden die dichter bij menselijke consensus liggen.
3. Kritiek op Evaluatiemetrics: De studie benadrukt dat standaardmetrics zoals Nauwkeurigheid en Correlatie overeenkomst tussen LLM's en mensen overschatten omdat ze toeval niet corrigeren. Krippendorff's Alpha onthult aanzienlijk lagere, en realistischere, overeenkomstniveaus.
4. Taak-specifieke Variabiliteit: De inconsistentie is niet uniform; deze varieert aanzienlijk per taak (bijvoorbeeld lager in MT-Bench dan in SummaC) en per metric (bijvoorbeeld is "Vloeiendheid" berucht moeilijk voor LLM's om consistent te beoordelen).

4. Belangrijkste Resultaten

Zelf-Betrouwbaarheid (Intra-Rater)

• SummaC: Krippendorff's $\alpha$ varieerde van 0,32 (Llama 3.1) tot 0,79 (Qwen 3). Zelfs het beste model (Qwen 3) bereikte nauwelijks de 0,8-drempel voor "goede" overeenkomst.
• SummEval: Zelf-betrouwbaarheid varieerde per metric. Hoewel Coherentie en Consistentie matige betrouwbaarheid toonden, had Vloeiendheid zeer lage betrouwbaarheid over alle modellen.
• MT-Bench: Zelf-betrouwbaarheid was het laagst, met $\alpha$-waarden rond 0,26–0,56. Qwen 3 stemde in slechts 61,3% van de gevallen over drie runs met zichzelf in.
• Conclusie: LLM-rechters zijn zeer volatiel, vaak meer dan menselijke rechters.

Overeenkomst met Mensen

• Metric Bias: Met behulp van Nauwkeurigheid leken LLM's in hoge mate met mensen overeen te komen (bijvoorbeeld 0,827 voor mensen versus mensen in MT-Bench). Echter, met behulp van Krippendorff's Alpha daalde mens-mens overeenkomst naar 0,478, en LLM-mens overeenkomst daalde nog verder (bijvoorbeeld Qwen 3 versus Mensen: 0,426).
• Expert versus Crowd: Menselijke experts toonden hogere onderlinge overeenkomst dan crowdworkers. LLM's toonden bescheiden overeenkomst met experts, maar divergeerden aanzienlijk van crowdworkers, wat suggereert dat LLM's beter aansluiten bij expertredenering maar nog steeds onder de "gouden standaard" blijven.

Impact van Sampling Strategieën

• Meerderheidsstemming: Het aggregeren van resultaten uit meerdere runs (bijvoorbeeld het nemen van de meerderheidsstem van 3 runs) verbeterde de overeenkomst met menselijke labels vergeleken met een enkele run.
• Deterministische Modus (Temp=0): Het uitvoeren van het model zonder sampling (om variatie te elimineren) verslechterde de prestaties. Bijvoorbeeld, op SummaC daalde de gebalanceerde nauwkeurigheid van Qwen 3 van 80,6% (Meerderheidsstemming) naar 79,2% (Geen Sampling). Dit geeft aan dat het forceren van determinisme de capaciteit van het model schaadt om zich aan menselijke voorkeuren aan te passen.

5. Betekenis en Aanbevelingen

Betekenis:
Het artikel daagt het huidige paradigma van "single-run" LLM-evaluatie uit. Het onthult dat de "gouden standaard" van LLM-as-a-Judge instabiel is. Als een LLM niet met zichzelf kan overeenkomen, is zijn nut als betrouwbare evaluator in gevaar. De bevindingen suggereren dat de stochastische aard van LLM's niet slechts een bug is, maar een feature die helpt bij het bereiken van mens-gealigneerde consensus, en dat het verwijderen daarvan schadelijk is.

Aanbevelingen voor Toekomstig Onderzoek:

1. Rapporteer Zelf-Betrouwbaarheid: Evaluatiekaders moeten intra-rater betrouwbaarheid (bijvoorbeeld Krippendorff's Alpha) rapporteren naast inter-rater overeenkomst.
2. Gebruik Toeval-Corrigerende Metrics: Vermijd Nauwkeurigheid/Correlatie voor rechter-evaluatie; gebruik Krippendorff's Alpha of Cohen's Kappa.
3. Aggregeer Meerdere Runs: Gebruik in plaats van een enkele inferentie meerderheidsstemming of aggregatie van meerdere runs om scores te stabiliseren en de alignering met menselijke oordelen te verbeteren.
4. Forceer Geen Determinisme: Vermijd het instellen van temperatuur op nul om consistentieproblemen op te lossen, aangezien dit de prestaties verslechtert.
5. Meet Menselijke Zelf-Betrouwbaarheid: Toekomstige benchmarks moeten herhaalde menselijke annotaties bevatten om een realistische bovengrens voor LLM zelf-betrouwbaarheid vast te stellen.

Concluderend stellen de auteurs dat hoewel LLM-as-a-Judge een schaalbaar alternatief is voor menselijke evaluatie, de huidige implementatie lijdt onder aanzienlijke "Rating Roulette" (willekeur). Robuuste evaluatie vereist het erkennen van deze variatie, het gebruik van geschikte statistische metrics en het benutten van meerdere inferentieruns in plaats van te vertrouwen op single-shot oordelen.