💻 computer science

The Trust Paradox: How CS Researchers Engage LLM Leaderboards

Door middel van interviews met acht CS-onderzoekers onthult dit artikel een paradox waarbij praktici LLM-leaderboards wantrouwen, maar er toch op vertrouwen als ruwe leidraad, en uiteindelijk vaststellen dat peernetwerken en arena-gebaseerde rangschikkingen de modelselectie meer beïnvloeden dan statische benchmarks, terwijl tegelijkertijd een kritieke vraag om kostentransparantie wordt onderstreept.

Oorspronkelijke auteurs: Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie-onderzoek voor als een enorme, hoog-risico sportcompetitie. In deze competitie zijn leaderboards de officiële scoreborden. Ze rangschikken AI-modellen (de "atleten") op basis van hoe goed ze presteren op specifieke tests, zoals een gestandaardiseerd wiskunde-examen of een leesbegriptoets.

De gebruikelijke aanname is simpel: Als een model bovenaan het scorebord staat, is het de beste atleet.

Een nieuwe studie van de University of Waterloo onthult echter dat de onderzoekers die het spel daadwerkelijk spelen, niet geloven dat het scorebord het volledige verhaal vertelt. Sterker nog, ze hebben een vreemde, tegenstrijdige relatie ermee.

Hier is de uiteenzetting van hun bevindingen, met behulp van alledaagse analogieën:

1. De "Vertrouwensparadox": Weten dat het scorebord gebrekkig is, maar het toch controleren

De onderzoekers interviewden acht computerwetenschappers uit verschillende vakgebieden. Ze vonden een universeel patroon dat "pragmatisch scepticisme" wordt genoemd.

De Analogie: Stel je voor dat je een auto koopt. Je weet dat de officiële ranglijsten van het tijdschrift "Auto van het Jaar" gebrekkig zijn, omdat het tijdschrift mogelijk bevooroordeeld is of de tests niet de echte rijomstandigheden weerspiegelen. Je weet dat de ranglijsten wankel zijn.
De Realiteit: Hoewel deze onderzoekers de leaderboards diep wantrouwen, kijken ze er toch naar. Waarom? Niet om de definitieve beslissing te nemen, maar om de lijst te verkleinen.
Het Resultaat: Ze behandelen het leaderboard als een "ruwe filter". Het helpt hen om de duidelijk slechte opties uit te sluiten, zodat ze niet 100 modellen hoeven te testen, maar ze vertrouwen de nummer 1-positie nooit als de absolute waarheid.

2. De echte "Coach": Netwerken van collega's boven scoreborden

Als de onderzoekers het scorebord niet vertrouwen, wie vertrouwen ze dan wel? Hun vrienden en collega's.

De Analogie: Denk aan het kiezen van een restaurant. Je zou kunnen kijken naar de officiële "Michelin-ster"-gids (het leaderboard), maar je bent veel waarschijnlijker om je vertrouwde vriend te vragen: "Hé, waar heb je gisteren gegeten dat echt goed was?"
De Bevinding: Voor 7 van de 8 onderzoekers was de belangrijkste factor bij het kiezen van een AI-model een aanbeveling van een peer. Ze vertrouwen de persoonlijke ervaring van een collega ("Ik heb dit geprobeerd en het werkte voor mijn specifieke project") veel meer dan de marketing van een bedrijf of een statische testscore.
De Hiërarchie van Vertrouwen:
1. Peers/Collega's (Meest vertrouwd)
2. Derde-partij experts
3. De bedrijven die de AI maken (Minst vertrouwd, gezien als bevooroordeelde adverteerders)

3. De "Arena" versus het "Geschriftelijk Examen"

De studie vond dat onderzoekers de ene soort leaderboard verkiezen boven de andere.

Statische Benchmarks (Het Geschriftelijk Examen): Dit zijn vaste tests waarbij modellen steeds dezelfde vragen beantwoorden. Onderzoekers zijn wantrouwig tegenover deze omdat bedrijven "kunnen leren voor het examen" en kunnen valsspelen, of omdat de test verouderd kan zijn.
Arena-gebaseerd (De Live Show): Dit zijn platformen waar echte mensen in real-time stemmen op welke AI-antwoord ze leuker vinden (zoals een populariteitswedstrijd).
Het Vonnis: Iedereen verkiest de "Arena". Ze vonden het eerlijker omdat het weerspiegelt hoe mensen daadwerkelijk met de AI interageren, in plaats van hoe goed de AI een specifieke test heeft uit het hoofd geleerd.

4. Niet iedereen speelt hetzelfde spel

De studie onthulde dat de druk om naar de top van het leaderboard te jagen volledig afhangt van welk "team" (subdomein) je bij hoort.

Het NLP-team (Natural Language Processing): Deze onderzoekers staan onder enorme druk. Het is als een middelbare school sportcompetitie waar je, als je niet het hoogste GPA hebt, niet naar de universiteit kunt. Ze moeten hun werk vergelijken met de best gerangschikte modellen om gepubliceerd te krijgen.
De HCI & Privacy-teams: Deze onderzoekers zijn als mensen die een volledig andere sport spelen. Ze geven niets om het leaderboard. Ze geven om gebruikerservaring, veiligheid of privacy. "Bovenaan gerangschikt" zijn op een wiskunde-examen maakt niet uit als hun AI onveilig of verwarrend is om te gebruiken.
De Verrassing: Sommige onderzoekers in deze andere velden wisten niet eens dat de leaderboards bestonden! Ze navigeerden door de wereld van AI zonder ooit naar het scorebord te kijken.

5. Het ontbrekende stukje: Het Prijskaartje

Als de onderzoekers deze leaderboards opnieuw konden ontwerpen om ze echt bruikbaar te maken, wat zouden ze dan toevoegen?

De Grote Vraag: Transparantie over Kosten.
De Analogie: Stel je een leaderboard voor dat je vertelt dat een auto 50 mijl per gallon haalt, maar niet vertelt dat de auto $200.000 kost. Het is nutteloze informatie.
De Realiteit: Onderzoekers moeten weten hoeveel het kost om deze modellen te draaien. Een model kan "slim" zijn, maar als het een fortuin kost om te gebruiken, is het niet praktisch. Zeven van de acht onderzoekers zeiden dat dit het belangrijkste ontbrekende kenmerk is. Ze wilden ook weten wie er in de "Arena" stemde, om ervoor te zorgen dat het niet gewoon een groep mensen uit één specifiek land of cultuur was.

Samenvatting

Het paper concludeert dat leaderboards gebroken zijn als "waarheidssprekers", maar nuttig zijn als "gespreksstarters".

Onderzoekers volgen de ranglijsten niet blindelings. Ze gebruiken ze als startpunt, maar vertrouwen op hun menselijke netwerk, persoonlijke testen en kostenberekeningen om de echte beslissingen te nemen. De studie suggereert dat als we deze scoreborden nuttiger willen maken, ze moeten stoppen met doen alsof ze perfect zijn en beginnen met het tonen van het volledige plaatje: de kosten, de specifieke sterktes en de menselijke stemmers achter de scores.

Technische Samenvatting: Het Vertrouwensparadox: Hoe CS-onderzoekers LLM-klassementen betrekken

Probleemstelling

Leaderboards voor Large Language Models (LLM) zijn centrale artefacten geworden in modern AI-onderzoek, waarbij modelscores op gestandaardiseerde taken worden samengevoegd om ranglijsten te bieden. Deze platforms nemen over het algemeen twee vormen aan: statische benchmark-leaderboards (bijv. MMLU, Open LLM Leaderboard) die modellen rangschikken op vaste testsets, en arena-gebaseerde leaderboards (bijv. Chatbot Arena) die menselijke voorkeursstemmen aggregeren.

Ondanks hun zichtbaarheid heeft de technische literatuur aanzienlijke beperkingen vastgesteld met betrekking tot hun betrouwbaarheid en robuustheid. Studies wijzen uit dat rangschikkingen op leaderboards gevoelig zijn voor kleine verstoringen (bijv. het aanpassen van evaluatieprompts of het verwijderen van kleine fracties van data), vatbaar voor strategische manipulatie (bijv. stemvervalsing of gerichte tests), en dat verschillende rangschikkingsalgoritmen (bijv. Elo versus Glicko) uiteenlopende ordeningen kunnen produceren uit dezelfde data.

Er blijft echter een kritieke kloof bestaan: terwijl de technische fragiliteit van leaderboards is gedocumenteerd, is het empirisch onverkend hoe deze platforms daadwerkelijk de dagelijkse praktijken, besluitvormingsprocessen en vertrouwensoordelen van onderzoekers vormgeven. Het is onduidelijk of onderzoekers posities op leaderboards behandelen als definitieve proxies voor vooruitgang, of dat ze deze signalen wantrouwen en selectief gebruiken. Dit onderzoek adresseert deze kloof door de sociaal-technische rol van leaderboards in verschillende subvelden van de informatica te onderzoeken.

Methodologie

Het onderzoek hanteert een kwalitatieve, interpretivistische aanpak die is gebaseerd op reflexieve thematische analyse (RTA).

Deelnemers: Acht informatica-onderzoekers werden gerekruteerd uit vier subvelden: Natural Language Processing (NLP, $n=3$ ), Human-Computer Interaction (HCI, $n=2$ ), Systems/Privacy ( $n=2$ ), en een interdisciplinaire "Overige" categorie ( $n=1$ ). De steekproef omvatte promovendi, een masterstudent en postdoctorale onderzoekers.
Dataverzameling: Data werd verzameld via semi-gestructureerde interviews (30–45 minuten), voorafgegaan door een achtergrondvragenlijst en gevolgd door een member-check-proces waarbij deelnemers samenvattingen van hun interviews beoordeelden op feitelijke juistheid.
Procedure: Deelnemers kregen een visuele typologie van leaderboard-ontwerpen te zien om discussies te verankeren. Interviews verkennen strategieën voor modelselectie, attitudes ten opzichte van de betrouwbaarheid van leaderboards, en de invloed van rangschikkingen op de kadering van onderzoek.
Analyse: Transcripties werden geanalyseerd met behulp van het zesfasen-RTA-proces van Braun en Clarke. De hoofdauteur genereerde 210 gecodeerde segmenten over 71 unieke codes, georganiseerd in zeven analytische dimensies en zes thema's. Inter-coder betrouwbaarheid werd niet nagestreefd; in plaats daarvan werd reflexiviteit gehandhaafd via het schrijven van analytische memo's en member-checks door deelnemers.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Empirisch Bewijs van het Paradox van "Pragmatisch Scepticisme": Het onderzoek identificeert een bijna universele houding waarbij onderzoekers diep wantrouwen uiten jegens rangschikkingen op leaderboards, maar deze toch blijven gebruiken als ruwe hulpmiddelen voor besluitvorming.
Vergelijking van Invloed over Subvelden: Het onderzoek toont aan dat de invloed van leaderboards wordt bemiddeld door disciplinaire cultuur in plaats van individuele attitudes. Zo staan NLP-onderzoekers onder aanzienlijke druk om vergelijkingen te maken met state-of-the-art (SoTA) modellen vanwege publicatienormen, terwijl HCI- en Systems/Privacy-onderzoekers weinig tot geen dergelijke verwachtingen rapporteren.
Hanteerbare Ontwerpaanbevelingen: Het onderzoek vertaalt behoeften van onderzoekers naar concrete verbeteringen van de infrastructuur, waarbij het voorbijgaat aan aannames over evaluatie om daadwerkelijke gebruikspatronen aan te pakken.

Belangrijkste Resultaten

1. Het Vertrouwensparadox en Gebruikspatronen

In tegenstelling tot een spectrum van enthousiaste adoptie tot totale afwijzing, vertoonden alle acht deelnemers pragmatisch scepticisme.

Wantrouwen: Deelnemers erkenden dat statische benchmarks kunnen worden "geleerd" of gemanipuleerd, en dat arena-rangschikkingen kunnen worden gemanipuleerd. Ze erkenden dat rangschikkingen geen definitieve maatstaven voor kwaliteit zijn.
Gebruik: Ondanks dit wantrouwen gebruikten deelnemers leaderboards als "zwakke priors" om hun zoekruimte te verkleinen. Ze behandelden rangschikkingen niet als grondwaarheid, maar als startpunt voor verder onderzoek.
Primaire Selectiemechanisme: Peer-netwerken, niet leaderboards, bleken het dominante mechanisme voor modelselectie. Zeven van de acht deelnemers vertrouwden primair op aanbevelingen van collega's (labgesprekken, sociale media, vertrouwde experts). Een NLP-onderzoeker merkte op: "90% van mijn gebruik is gebaseerd op aanbeveling."
Ervaring boven Bewijs: Persoonlijke, praktische trial-and-error-tests werden geprioriteerd boven kwantitatieve rangschikkingen. Deelnemers engageerden zich vaak in "satisficing", waarbij ze modellen accepteerden die "goed genoeg" waren, in plaats van te zoeken naar de best gerangschikte optie.

2. Disciplinaire Verschillen in Betrekking

De invloed van leaderboards varieerde sterk op basis van het subveld:

NLP: Onderzoekers stonden onder hoge druk om vergelijkingen te maken met SoTA-modellen vanwege publicatienormen. Ze waren sterk betrokken bij leaderboards, maar bleven sceptisch over hun stabiliteit.
HCI en Systems/Privacy: Onderzoekers in deze velden rapporteerden geen door leaderboards gedreven publicatiedruk. Hun evaluatiecriteria (bijv. latentie, gebruikerservaring, formele privacygaranties) vielen vaak buiten standaard benchmark-metrics. Opmerkelijk is dat vijf van de acht deelnemers (inclusief zowel HCI- als Systems/Privacy-onderzoekers) weinig tot geen eerdere kennis hadden van specifieke leaderboard-platforms, wat wijst op een ontdekbaarheidsfalen voor niet-NLP-publiek.

3. Betrouwbaarheid en Ontbrekende Metrics

Arena versus Statisch: Er was universeel consensus (8/8) over alle subvelden heen dat arena-gebaseerde (menselijk gestemde) leaderboards de voorkeur hadden boven statische benchmark-leaderboards. Deelnemers vonden arena-resultaten beter interpreteerbaar en beter afgestemd op de daadwerkelijke gebruikerservaring.
Kostentransparantie: De meest gevraagde ontbrekende functie, aangekaart door zeven van de acht deelnemers, was kostentransparantie. Onderzoekers bekritiseerden het gebrek aan prijs- of efficiëntiegegevens, en merkten op dat kosten per query vaak een bindende beperking zijn voor academische onderzoekers.
Granulariteit: Deelnemers vroegen om taakspecifieke score-opdelingen (bijv. aparte scores voor wiskunde, coderen, meertaligheid) in plaats van één enkel geaggregeerd getal.
Transparantie: Er waren oproepen tot openbaarmaking van demografische gegevens van stemmers om bias te beoordelen, evenals informatie over modelprovenance en institutionele belangenconflicten.

Betekenis en Aanspraken

Het artikel betoogt dat LLM-leaderboards niet enkel als technische infrastructuur moeten worden begrepen, maar als sociaal-technische artefacten die ingebed zijn in de onderzoekscultuur.

Sociale Inbedding: Het onderzoek daagt het standpunt uit dat betere metrics alleen de adoptie zullen verbeteren. Het stelt dat modelselectie diep sociaal is, gedreven door peer-vertrouwensnetwerken die leaderboard-signalen filteren en interpreteren (of negeren).
Het Paradox van Nut: De aanhouding van leaderboard-gebruik ondanks wijdverbreid wantrouwen suggereert dat hun waarde niet ligt in nauwkeurigheid, maar in hun functie als coördinatiemiddelen die een overweldigende zoekruimte reduceren.
Ethische en Structurele Bezorgdheden: De auteurs benadrukken dat de huidige leaderboard-cultuur ongelijkheid in middelen codeert, waardoor onderzoekers zonder industriële compute-budgetten worden gestraft die niet kunnen concurreren op SoTA-benchmarks. Bovendien vormen het gebrek aan transparantie in governance en de potentie voor benchmark-gaming ethische risico's, vooral voor praktici buiten NLP die mogelijk niet de expertise hebben om benchmark-methodologieën kritisch te evalueren.

Het onderzoek concludeert dat evaluatie-infrastructuur moet worden herontworpen om overeen te komen met hoe onderzoekers deze daadwerkelijk gebruiken, met inachtneming van kostengegevens, taakspecifieke granulariteit en transparantie met betrekking tot stemdemografie en governance, in plaats van te vertrouwen op rangschikkingen met één score die de heterogene nuttigheid die onderzoekers vereisen, niet vastleggen.