💬 NLP

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

Dit artikel stelt een schaalbaar, op consensus gebaseerd framework voor dat Large Language Models evalueert door hun onderlinge rangschikkingen van geanonimiseerde antwoorden te aggregeren om een Relative Intelligence Index te genereren, wat een modelgestuurd alternatief biedt voor traditionele statische benchmarks voor het beoordelen van de kwaliteit van antwoorden in scenario's waarin meerdere geldige antwoorden bestaan.

Oorspronkelijke auteurs: Mohtashim Khan

Gepubliceerd 2026-07-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohtashim Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote AI-Proeverij

Stel je een wereld voor waarin computers hebben geleerd om te praten, te schrijven en problemen op te lossen zo goed dat ze als mens kunnen overkomen. Dit is het domein van Large Language Models (LLM's), de superintelligente digitale breinen achter veel van de chatbots en tools die we vandaag de dag gebruiken. Lange tijd testten wetenschappers deze breinen met strikte "antwoordsleutels", zoals een wiskundetoets waarbij er slechts één juist getal is. Maar het leven is niet altijd een wiskundetoets. Soms heeft een vraag vele goede antwoorden, en hangt het "beste" antwoord af van hoe duidelijk, behulpzaam of slim het aanvoelt. Hier wordt het lastig: hoe beoordeel je een essay wanneer er vijf verschillende manieren zijn om een perfecte versie te schrijven?

Om dit op te lossen, zijn onderzoekers AI gaan gebruiken om AI te beoordelen. Het is alsof je een panel van juryleden vraagt om te beslissen welke van hun vrienden de grappigste grap vertelde. Maar hier zit de crux: als de juryleden allemaal vrienden zijn die naar dezelfde school zijn gegaan, kunnen ze er allemaal dezelfde stijl grappen bij waarderen, zelfs als die niet echt de grappigste is. Dit artikel duikt in dat exacte probleem. Het vraagt: als we een groep verschillende AI-modellen elkaar elkaars antwoorden blind laten beoordelen, zonder te weten wie wat geschreven heeft, kunnen we dan een patroon vinden van wat ze verkiezen? Het beweert niet de "waarheid" te hebben gevonden, maar eerder een kaart van hoe deze digitale geesten het eens worden over wat goed klinkt.

De Blinde Proeverij van de Digitale Wereld

Stel je voor dat je bent bij een enorme, high-tech potluck-diner. In plaats van eten mee te brengen, brengen vijf verschillende superintelligente robots (laten we ze de "Chefs" noemen) hun beste recepten voor hetzelfde gerecht mee. Het doel is niet om te zien wie de "correcte" maaltijd heeft gekookt — want misschien zijn er wel tien manieren om een perfecte stoofpot te maken — maar om te zien welke maaltijd de andere robots het beste uitziende en proeven vinden.

Dit is precies wat Mohtashim Khan in dit artikel deed. In plaats van een mens te vragen de smaken te testen, richtte hij een "blinde proeverij" in waarbij de Chefs elkaar beoordelen.

De Opzet: Een Spel van Geheime Identiteit
Het experiment omvatte vijf top-AI-modellen: Claude, ChatGPT, Gemini, Grok en Mistral. De onderzoeker gaf hen 25 verschillende uitdagingen, variërend van het oplossen van lastige wiskundepuzzels en het schrijven van code tot het beantwoorden van veiligheidsvragen en algemene kennisquizzen.

Hier is de goocheltruc: Wanneer de robots aan het beoordelen waren, wisten ze niet wie het antwoord had geschreven. De antwoorden waren ontdaan van namen en door elkaar gehusseld, gelabeld als slechts "Antwoord 1", "Antwoord 2", enzovoort. Elke robot moest alle antwoorden rangschikken van best naar slecht op basis van hoe duidelijk en behulpzaam ze leken. Ze deden dit volledig onafhankelijk, zonder met elkaar te praten of te zien wat de anderen dachten.

De Score: De "Relative Intelligence Index"
Nadat de beoordeling was voltooid, telde de onderzoeker de stemmen op. Hij creëerde een nieuwe score genaamd de Relative Intelligence Index (RII). Zie dit niet als een cijfer voor hoe "slim" men is, maar als een populariteitswedstrijd-score. Een hoge RII betekent dat de antwoorden van een robot vaak door zijn gelijken als "beste" werden gekozen. Een lage RII betekent dat de antwoorden van die robot vaak lager werden gerangschikt.

Wat Hebben Ze Gevonden?
De resultaten waren een beetje als een sportcompetitie waarbij verschillende teams op verschillende dagen winnen.

De Constante Winnaars: Claude en Grok kwamen vaak bovenaan te staan. Claude was bijzonder sterk in wiskunde en coderen, terwijl Grok uitblonk in logische puzzels en creatief denken.
De Stabiele Presteerders: Gemini en Mistral wonnen niet altijd de prijs voor het "beste antwoord", maar ze waren ongelooflijk consistent. Hun scores schommelden niet wild van de ene test naar de andere.
De Afweging tussen Snelheid en Kwaliteit: De studie hield ook de tijd bij die elke robot nodig had om een antwoord te "bereiden". Interessant genoeg waren de robots die het langst nodig hadden om na te denken (zoals Gemini en Claude) vaak de robots die anderen het meest waardeerden. De snelste robots (zoals Mistral) waren snel, maar kregen niet altijd de hoogste stemmen.

De Grote "Maar"
Het paper is zeer voorzichtig in de verklaring dat deze score niet is wat het lijkt. Het is geen maatstaf voor wie daadwerkelijk "gelijk" heeft of wie het meest behulpzaam is voor een mens. Het is slechts een maatstaf voor hoeveel de robots van elkaars stijl houden. Het is mogelijk dat alle robots getraind zijn op vergelijkbare boeken en websites, waardoor ze het misschien alleen met elkaar eens zijn omdat ze dezelfde "smaakpapillen" hebben, en niet omdat één model objectief beter is.

De Conclusie
Dit framework suggereert dat wanneer er niet één enkel juist antwoord is, we een "consensus"-methode kunnen gebruiken om te zien welke AI-outputs het meest gepolijst en samenhangend aanvoelen voor andere AI's. Hoewel het menselijk oordeel niet vervangt, biedt het een schaalbare manier om modellen te vergelijken wanneer de antwoorden subjectief zijn. De studie vond dat hoewel sommige modellen over het algemeen door hun gelijken worden geprefereerd, de resultaten kunnen verschuiven afhankelijk van het onderwerp en de specifieke uitvoering van de test. Het is een nieuwe manier om naar AI-prestaties te kijken, met de focus op "wat vinden de modellen van elkaar?" in plaats van alleen maar "hebben ze het juiste antwoord gegeven?".

Technische Samenvatting: Een Consensus-gebaseerd Raamwerk voor de Evaluatie van Relatieve Voorkeur van Large Language Models

Probleemstelling

Traditionele benchmarks voor Large Language Models (LLM's) leunen zwaar op statische datasets en objectieve scoringsmetrieken (bijv. exacte overeenstemming met de grondwaarheid). Hoewel effectief voor binaire correctheid, schieten deze methoden tekort in het vastleggen van kwalitatieve verschillen in de kwaliteit van responsen wanneer meerdere geldige antwoorden bestaan. In real-world scenario's ligt het onderscheid tussen responsen vaak in een spectrum van helderheid, volledigheid en bruikbaarheid, in plaats van een strikt binair correct/incorrect. Bestaande "LLM-as-a-Judge"-benaderingen proberen dit aan te pakken, maar lijden vaak aan systematische biases (positionele, verbositeit, stijl) en introduceren interactie-effecten wanneer modellen debatteren of iteratieve discussies voeren, wat de oordelen potentieel kan vertekenen.

Methodologie

Het paper stelt een Consensus-gebaseerd Raamwerk voor, gebaseerd op blind peer-ranking om de relatieve voorkeur van door modellen gegenereerde responsen te meten. Het kerndoel is het afleiden van een Relative Intelligence Index (RII) die reflecteert hoe vaak de responsen van een model worden verkozen door een panel van diverse peer-modellen, in plaats van het meten van objectieve correctheid.

Experimenteel Ontwerp

Deelnemers: Vijf state-of-the-art LLM's (Anthropic Claude Opus 4.6, OpenAI GPT-5.2, Google Gemini Pro 3.1, Grok-fast 4.1 en Mistral Large 2512) vervulden dubbelrollen als zowel Generator als Judge.
Domeinen: De evaluatie besloeg vijf domeinen: Programmeren, Algemene Kennis, Veiligheid, Logisch Redeneren (Puzzels) en Wiskunde.
Schaal: De studie maakte gebruik van 25 unieke prompts (5 per domein) over 5 onafhankelijke experimentele runs, wat resulteerde in 3.125 totale evaluaties ( $25 \times 5 \times 5 \times 5$ ).
Configuratie: Alle modellen opereerden op een temperatuur van 0.3 om een balans te vinden tussen stochasticiteit en diversiteit.

Evaluatiepijplijn

Het proces volgde vijf opeenvolgende fasen:

Responsgeneratie: Elk model genereerde een respons op een gestandaardiseerde prompt.
Anonimisering & Randomisatie: Responsen werden ontdaan van model-identificatoren en toegewezen aan anonieme labels. De volgorde werd per judge gerandomiseerd om positionele bias te minimaliseren.
Onafhankelijke Ranking: Elk model fungeerde als een judge en rangschikte onafhankelijk alle geanonimiseerde responsen voor een gegeven prompt op basis van relevantie, correctheid (waar van toepassing), helderheid en beknoptheid. Er was geen interactie of debat tussen judges toegestaan.
De-anonimisering: Labels werden teruggekoppeld naar de oorspronkelijke modellen.
Aggregatie: Scores werden geaggregeerd om de RII te berekenen.

Definitie van de Metriek

De Relative Intelligence Index (RII) voor een model $i$ wordt gedefinieerd als de gemiddelde score die aan zijn responsen wordt toegekend door peer-judges over alle prompts en runs heen:
$RII_i = \frac{\sum_j S_{i,j}}{\sum_j 1}$
Waarbij $S_{i,j}$ de score is die judge $j$ toekent aan model $i$ . De metriek is invariant voor lineaire schaling en reflecteert ordinale voorkeur.

Belangrijkste Resultaten

De studie onthulde consistente patronen van inter-model voorkeur, hoewel er opmerkelijke domeinspecifieke variaties en stabiliteitsoverwegingen waren.

Geaggregeerde Voorkeur: Claude behaalde de hoogste gemiddelde RII (3.491), gevolgd door Grok (3.382). Mistral scoorde het laagst (2.328).
Domeinspecificiteit:
- Wiskunde & Logica: Claude werd consistent verkozen, wat wijst op veerkracht over verschillende runs heen.
- Programmeren: Claude behield een hoge gemiddelde voorkeur, hoewel ChatGPT een significante piek vertoonde in specifieke runs.
- Veiligheid: Scores clusterden nauw bij de topmodellen (Claude, ChatGPT, Gemini), wat duidt op gedeelde heuristieken voor veiligheidsevaluatie. Mistral presteerde consequent minder goed.
- Algemene Kennis & Puzzels: Grok kwam naar voren als het meest geprefereerde model, met name bij taken die lateraal denken vereisten, waarbij het in verschillende runs Claude overtrof.
Stabiliteit vs. Prestatie: Er werd een trade-off waargenomen tussen consistentie en piekvoorkeur. Mistral en Gemini vertoonden de hoogste consistentie (laagste standaarddeviatie), terwijl ChatGPT de laagste consistentie vertoonde (hoogste variabiliteit).
Latentie-trade-offs: Een praktische afweging werd genoteerd tussen voorkeursscores en responssnelheid. Mistral was het snelst (4.300ms), terwijl Gemini en Claude aanzienlijk hogere latentie vertoonden (respectievelijk 14.600ms en 11.200ms).

Belangrijkste Bijdragen

Blind Peer Ranking Framework: Introduceert een schaalbare, modelgestuurde methode voor vergelijkbare evaluatie die interactie-effecten en merkbias minimaliseert door te vertrouwen op onafhankelijke, blinde oordelen.
Relative Intelligence Index (RII): Stelt een metriek voor die inter-model voorkeursalignement kwantificeert, wat een complementair perspectief biedt op traditionele accuraatheid-gebaseerde benchmarks.
Empirische Analyse van Inter-Model Dynamiek: Biedt data over hoe diverse LLM's elkaar over meerdere domeinen rangschikken, waarbij wordt benadrukt dat "het beste" vaak contextafhankelijk en relatief is.

Betekenis en Claims

Het paper positioneert dit raamwerk niet als een vervanging voor menselijke evaluatie of een maatstaf voor objectieve intelligentie, maar als een proxy-signaal voor de waargenomen kwaliteit van responsen in scenario's waar meerdere geldige antwoorden bestaan.

Bescheiden Claims: De auteurs stellen expliciet dat RII "inter-model voorkeursalignement" reflecteert, beïnvloed door gedeelde trainingsdata en stilistische biases, in plaats van objectieve correctheid of menselijk oordeel.
Nut: Het raamwerk biedt een reproduceerbare, geautomatiseerde aanpak voor snelle benchmarking in "grijze gebied"-taken waar correctheid niet binair is.
Toekomstige Richtingen: Het paper suggereert dat toekomstig werk zich moet richten op het integreren van correctheidsfiltering, het uitbreiden van modeldiversiteit en het kalibreren tegen menselijke voorkeuren om het verband tussen inter-model consensus en real-world gebruikerstevredenheid beter te begrijpen.

De studie concludeert dat hoewel consensus-gebaseerde evaluatie het alignment-probleem niet oplost, het een waardevol, stabiel signaal biedt voor het begrijpen van hoe modellen de kwaliteit van hun peers ervaren.