Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework

Dit paper introduceert HUMAINE, een demografisch bewust evaluatiekader dat op basis van gesprekken met ruim 23.000 deelnemers aantoont dat de voorkeur voor grote taalmodellen sterk varieert per leeftijdsgroep en dat traditionele benchmarks vaak de complexiteit van menselijke evaluatie missen.

De kern

🧠 De Grote AI-Keuring: Waarom de huidige testjes niet genoeg zijn

Stel je voor dat je een nieuwe auto wilt kopen. De fabrikant geeft je een cijfer voor de snelheid (0-100 km/u in 3 seconden) en de brandstofefficiëntie. Dat zijn technische benchmarks. Ze zijn belangrijk, maar ze vertellen je niets over of de stoelen comfortabel zijn, of de radio goed klinkt, of de auto zich veilig aanvoelt in de regen.

Tot nu toe hebben we AI-modellen (zoals chatbots) vooral getest op die "snelheid en brandstof". Maar mensen vinden die tests vaak saai en niet echt relevant voor hun dagelijks leven.

Daarom hebben de auteurs van dit paper (van het bedrijf Prolific) een nieuwe manier bedacht, genaamd HUMAINE. Het is alsof ze niet alleen kijken naar de cijfers op de teststrook, maar een hele proefrit organiseren met duizenden echte mensen uit heel verschillende achtergronden.

🎯 Wat is HUMAINE eigenlijk?

HUMAINE is een groot experiment waarbij 23.404 mensen uit de VS en het UK met 28 verschillende AI-modellen hebben gepraat.

In plaats van dat de AI een meerkeuzetest doet, mochten de mensen zelf een onderwerp kiezen (bijv. "Help me een recept bedenken" of "Leg uit waarom de lucht blauw is"). Ze praatten met twee modellen tegelijk en moesten dan zeggen: "Welke vond jij beter?" of "Ze waren even goed."

Maar hier komt het slimme deel: Ze hebben niet zomaar willekeurige mensen gevraagd. Ze hebben zorgvuldig gekeken naar wie er meepraat:

• Jongeren (18-34) vs. Ouderen (55+).
• Verschillende etnische achtergronden.
• Verschillende politieke voorkeuren.

Het is alsof je een restaurant niet laat beoordelen door alleen maar 20-jarige studenten, maar door een mix van studenten, gepensioneerden, vegetariërs en vleeseters. Zo zie je pas echt of het eten voor iedereen lekker is.

🔍 De Drie Grootste Ontdekkingen

De onderzoekers hebben drie verrassende dingen ontdekt:

1. De "Koning" is niet voor iedereen de koning

In de eindstand (de ranglijst) wint Google's Gemini 2.5 Pro met overmacht. Het is de "beste" AI.

• De analogie: Stel je voor dat Gemini de beste allround sporter is. Hij kan hard rennen, goed springen en zwemmen.
• Het probleem: Maar als je kijkt naar specifieke groepen, verandert het beeld. Jongeren vonden een ander model (Mistral) vaak leuker en sneller. Ouderen vonden Gemini juist veel betrouwbaarder en duidelijker.
• De les: Er is niet één "beste" AI. De beste AI hangt af van wie je bent. Als je alleen kijkt naar het gemiddelde cijfer, mis je deze belangrijke verschillen.

2. Leeftijd is de belangrijkste factor

Je zou denken dat politieke voorkeur of etniciteit het meeste uitmaakt. Maar nee, leeftijd was de grootste oorzaak van meningsverschil.

• De analogie: Jongeren en ouderen kijken naar een AI alsof ze naar twee verschillende films kijken. Jongeren willen snelheid, grappigheid en een strakke stijl. Ouderen willen duidelijkheid, betrouwbaarheid en dat de AI niet "uitvliegt".
• Het gevolg: Een AI die perfect is voor een tiener, kan voor een grootvader verwarrend of onbetrouwbaar aanvoelen. De huidige AI's zijn vaak getraind op de mening van jonge tech-liefhebbers, waardoor ze voor oudere mensen minder goed werken.

3. Sommige dingen zijn moeilijk te beoordelen

De mensen moesten de AI beoordelen op vijf punten:

1. Taak uitvoeren (Rekenen, schrijven, redeneren).
2. Communicatiestijl (Is het vriendelijk?).
3. Vloeiendheid (Gaat het gesprek soepel?).
4. Vertrouwen, Ethiek & Veiligheid.
5. Algemene winnaar.

• De ontdekking: Mensen waren heel snel om te zeggen wie de "Algemene winnaar" was (alleen 10% zei: "Ze waren gelijk"). Maar bij de categorie Vertrouwen en Veiligheid waren ze heel onzeker (65% zei: "Ze waren gelijk").
• De analogie: Het is alsof je vraagt: "Wie is de beste kok?" (dat is makkelijk te zeggen). Maar als je vraagt: "Wie gebruikt de veiligste messen en is het meest ethisch?", is dat heel lastig te zien als je alleen maar een paar hapjes proeft.
• De les: Om te weten of een AI veilig is, moet je niet zomaar een kort gesprek voeren. Je moet specifieke situaties bedenken (bijv. "Wat doe je als iemand vraagt om een gevaarlijk recept?").

🛠️ Waarom is dit belangrijk voor de toekomst?

Vroeger dachten we: "Als een AI een hoge score haalt op de test, is hij goed voor iedereen."
HUMAINE zegt: "Nee, dat klopt niet."

Als AI-bedrijven alleen kijken naar het gemiddelde cijfer, bouwen ze systemen die perfect zijn voor een specifieke groep (vaak jonge, tech-savvy mannen), maar die falen voor de rest van de wereld.

De boodschap van dit paper is simpel:
We moeten stoppen met het zoeken naar één "gouden cijfer" voor AI. In plaats daarvan moeten we kijken naar:

• Voor wie werkt deze AI het beste?
• Voor welk doel is hij het beste?
• Is hij veilig en betrouwbaar voor mijn specifieke situatie?

🏁 Conclusie

De auteurs hebben hun hele dataset, de ranglijst en de software openbaar gemaakt. Ze hopen dat dit een nieuwe standaard wordt: AI testen met een menselijk gezicht, rekening houdend met leeftijd, cultuur en echte behoeften.

Kortom: Het is tijd om AI niet meer te zien als een robot die een examen doet, maar als een gesprekspartner die we moeten begrijpen voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework", gepresenteerd als conferentiepaper bij ICLR 2026.

1. Het Probleem

De evaluatie van Large Language Models (LLM's) staat voor een kritiek "evaluatiekloof". Bestaande methoden hebben drie fundamentele tekortkomingen:

• Automatische benchmarks (zoals MMLU, HELM) meten technische vaardigheden maar missen de subjectieve, dynamische kwaliteit van mens-AI-interactie en real-world relevantie.
• Bestaande menselijke voorkeursevaluaties (zoals Chatbot Arena) lijden onder vertekende steekproeven (self-selected, anonieme gebruikers), oppervlakkige beoordelingsdiepte (weinig interactie) en reductisme (vermindering tot één enkele metriek).
• Gebrek aan demografische nuance: Aggregatie van scores maskeert belangrijke verschillen in voorkeuren tussen verschillende bevolkingsgroepen, wat leidt tot modellen die niet optimaal presteren voor diverse gebruikers.

2. Methodologie: Het HUMAINE Framework

HUMAINE is een raamwerk voor multidimensionale, demografisch bewuste meting van mens-AI-interactie.

Dataverzameling:

• Deelnemers: 23.404 deelnemers, gestratificeerd over 22 demografische groepen (gebaseerd op leeftijd, etniciteit en politieke affiniteit) in de VS en het VK.
• Modellen: 28 state-of-the-art modellen (o.a. Google Gemini, DeepSeek, Mistral, Grok).
• Proces: Deelnemers voerden natuurlijke, meervoudige conversaties (minimaal 3 beurten) uit met twee geanonimiseerde modellen tegelijkertijd. Deelnemers konden hun eigen onderwerp kiezen.
• Kwaliteitsborging: Real-time monitoring door een AI-judge (gpt-4o-mini) om lage inspanning of spam te detecteren.

Evaluatiemetrics:
In plaats van één "winnaar", werden vijf dimensies gebruikt, afgeleid uit een pilotstudie met factoranalyse:

1. Core Task Performance & Reasoning: Taakuitvoering en redenering.
2. Communication Style & Presentation: Toon, persoonlijkheid en duidelijkheid.
3. Interaction Fluidity & Adaptiveness: Vloeiheid van het gesprek en aanpassingsvermogen.
4. Trust, Ethics & Safety: Betrouwbaarheid en ethisch gedrag.
5. Overall Winner: Een holistische voorkeur.

Statistische Analyse:

• Model: Een hiërarchisch Bayesiaans Bradley-Terry-Davidson (BTD) model.
• Kenmerken: Dit model converteert paarsgewijze vergelijkingen (A vs. B vs. Gelijkspel) naar continue vaardigheidsratings. Het houdt rekening met demografische heterogeniteit door demografische aanpassingen (u) hiërarchisch te modelleren rondom een globale vaardigheidsparameter (θ).
• Post-stratificatie: De resultaten worden aangepast aan de bevolkingsgegevens (census) van de VS en het VK om representatieve schattingen te garanderen.
• Adaptieve Sampling: Een TrueSkill-algoritme selecteerde modelparen strategisch om onzekerheid te maximaliseren en convergentie te versnellen.

3. Belangrijkste Bijdragen

1. Het HUMAINE Framework: Een methodologie die sampling-bias, oppervlakkige beoordeling en metriek-reductisme aanpakt.
2. Groot Dataset: 119.890 multidimensionale menselijke oordelen van 23.404 deelnemers, inclusief gestructureerde metadata over conversatiedynamiek.
3. Empirische Inzichten: Gedetailleerde analyse van hoe modelranks verschuiven per demografische groep en evaluatiedimensie.
4. Levende Benchmark: Een open-source framework met een live leaderboard die updates bij nieuwe modelreleases.

4. Resultaten en Kerninzichten

A. Prestatiehiërarchie:

• Google/gemini-2.5-pro staat duidelijk bovenaan met een 95,6% posterior kans om de beste te zijn.
• Er is een duidelijke hiërarchie, maar de verschillen tussen de lagere modellen zijn statistisch minder significant.

B. Demografische Heterogeniteit (Leeftijd als sleutelfactor):

• Leeftijd is de belangrijkste drijver van voorkeursverschillen, veel meer dan etniciteit of politieke affiniteit.
• Een model kan in rangschikkingen aanzienlijk schommelen tussen leeftijdsgroepen (±2,8 rangposities). Bijvoorbeeld: mistralai/magistral-medium-2506 is favoriet bij jongeren (18-34) maar zakt sterk bij ouderen (55+), terwijl gemini-2.5-pro juist beter scoort bij oudere groepen.
• Beslistheid: Oudere gebruikers tonen meer onzekerheid (hogere "tie"-rates) in hun oordelen, wat suggereert dat modellen die zijn getuned op tech-savvy jongeren, oudere gebruikers mogelijk niet goed bedienen.

C. Verschil per Evaluatiedimensie:

• De rangschikking van modellen verandert sterk afhankelijk van de dimensie. Een model dat goed is in redeneren, hoeft niet per se de beste communicatiestijl te hebben.
• Discriminatiekracht: Er is een groot verschil in hoe goed gebruikers modellen kunnen onderscheiden per dimensie.
  • Overall Winner: Zeer onderscheidend (10% gelijkspelen).
  • Trust, Ethics & Safety: Zeer weinig onderscheidend (65% gelijkspelen), wat suggereert dat deze kwaliteiten in open conversaties moeilijk te evalueren zijn of dat modellen hierop convergeren.

D. Conversatieanalyse:

• De dataset dekt diverse domeinen (gezondheid, sport, technologie) en taakcomplexiteiten. De meeste gesprekken waren informatief (71,5%).

5. Betekenis en Conclusie

Het paper concludeert dat de zoektocht naar één universele "beste" LLM-score misleidend is.

• Context is cruciaal: "De beste" is afhankelijk van de gebruiker (demografie) en het doel (dimensie).
• Demografische blindvlek: Huidige evaluaties verbergen prestatiekloven tussen leeftijdsgroepen, wat leidt tot ongelijke AI-ervaringen.
• Methodologische aanpassing: Evaluatiemethoden moeten worden afgestemd op wat ze meten. Voor complexe kwaliteiten zoals ethiek zijn gespecialiseerde scenario's nodig in plaats van algemene conversaties.

HUMAINE biedt een weg naar een meer eerlijke, betrouwbare en mensgerichte AI-ontwikkeling door de nuance van menselijke voorkeuren te respecteren in plaats van deze te reduceren tot één getal. De dataset en leaderboard zijn openbaar beschikbaar gesteld.