💬 NLP

What Do People Actually Want From AI? Mapping Preference Plurality

Door 1.500 open vragen te analyseren uit 75 landen, onthult dit artikel dat huidige AI-alignmentmethoden zoals RLHF er niet in slagen de diepgaande pluraliteit en contextuele nuance van menselijke voorkeuren te vatten, zoals blijkt uit het feit dat zelfs breed gewenste eigenschappen zoals "waarheidsgetrouwheid" door verschillende gebruikers op uiteenlopende, vaak incompatibele manieren worden gedefinieerd.

Oorspronkelijke auteurs: Julia Sepúlveda Coelho, Scott A. Hale

Gepubliceerd 2026-06-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julia Sepúlveda Coelho, Scott A. Hale

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert één gigantische taart te bakken die voor iedereen ter wereld perfect smaakt. Je vraagt 1.500 mensen uit 75 verschillende landen wat ze in hun stukje willen hebben. Je krijgt een berg antwoorden. De één wil het zoet, de ander wil het pittig, sommigen willen dat het op een bloem lijkt, en anderen willen dat het op een robot lijkt.

Stel je nu voor dat de bakker (het AI-bedrijf) besluit alle individuele aantekeningen te negeren. In plaats daarvan nemen ze een "meerderheidsstem," prakken ze alle conflicterende wensen samen tot één enkel smaakprofiel en bakken ze één gigantische taart. Ze noemen dit "alignment" (afstemming)—het zorgen dat de AI overeenkomt met menselijke waarden.

Dit artikel, "What Do People Actually Want From AI? Mapping Preference Plurality," betoogt dat deze "one-size-fits-all" taart een ramp is. De auteurs, Julia Sepúlveda Coelho en Scott A. Hale, keken naar echte, open gesprekken met mensen om te zien wat ze werkelijk willen, en ze ontdekten dat de huidige methode om deze AI-taarten te bakken fundamenteel kapot is.

Hier is de uitsplitsing van hun bevindingen, met behulp van eenvoudige analogieën:

1. De "Waarheid"-valstrik: Iedereen wil het, maar niemand is het eens over wat het is

Het meest voorkomende wat mensen vroegen was "Waarheidsgetrouwheid." Ongeveer de helft van de respondenten zei: "Ik wil dat de AI de waarheid spreekt."

De bevinding van het artikel: Het woord "waarheid" is een kameleon. Voor de één betekent het: "geef me feiten uit een tekstboek." Voor een ander betekent het: "toon me alle kanten van het argument, zelfs de impopulaire." Voor iemand anders betekent het: "citeer je bronnen als een journalist," terwijl anderen gewoon "geen vooroordelen" willen.
De analogie: Stel je voor dat iedereen het erover eens is dat ze "vers fruit" willen. Maar wanneer je vraagt wat dat betekent, wil de één een appel, de ander een mango en een derde een fruitsalade. Als de bakker simpelweg "fruit" in het recept zet zonder te vragen welk fruit, is het resultaat een rommeltje. Het artikel stelt dat omdat AI-bedrijven "waarheid" behanden als een enkele, eenvoudige instructie, ze de nuance missen dat mensen totaal verschillende definities hebben van wat als waar wordt beschouwd.

2. Het "Menselijke" debat: Sommigen willen een vriend, anderen een hulpmiddel

Een groot punt van discussie was of de AI zich als een mens moet gedragen.

De splitsing: Ongeveer 33% van de mensen zei: "Nee! Gedraag je niet als een mens. Ik wil een duidelijk, robotisch hulpmiddel." Maar 57% zei: "Ja! Wees warm, vriendelijk en empathisch. Klink niet als een kille machine."
De analogie: Het is alsof je een groep mensen vraagt of ze willen dat een gids een gezellige, vriendelijke lokale bewoner is die grappen vertelt, of een stille, efficiënte robot die alleen maar de weg wijst. De huidige AI-"bakker" probeert beide tegelijk te zijn, wat vaak resulteert in een AI die nep, griezelig of irritant meegaand (alleen maar instemmen om aardig te zijn) aanvoelt.

3. Het "Guardrail"-probleem: Veiligheid versus Censuur

Mensen waren ook het oneens over hoeveel de AI "gecontroleerd" of beperkt zou moeten worden.

De splitsing: Sommige mensen willen strikte veiligheidsregels (guardrails) om te voorkomen dat de AI iets schadelijks of beledigends zegt. Anderen vinden deze regels slechts "censuur" en vinden dat de AI ongelegen waarheden mag vertellen, zelfs als die controversieel zijn.
De analogie: Stel je een bibliotheek voor. De ene groep mensen wil een bibliothecaris die je stopt bij het lenen van boeken met "slechte ideeën." De andere groep wil een bibliotheek zonder bibliothecaris, zodat je alles kunt lezen, zelfs als het gevaarlijk is. Het artikel vond dat wanneer AI-bedrijven deze standpunten middelen, ze vaak eindigen met een systeem dat voor sommigen overdreven voorzichtig voelt en voor anderen gevaarlijk beperkend is.

4. Het "Gemiddelde" is een leugen

Het grootste probleem dat de auteurs identificeren, is de methode die ze gebruiken om deze AI's te trainen, genaamd RLHF (Reinforcement Learning from Human Feedback).

Hoe het nu werkt: De AI krijgt twee antwoorden te zien (A en B) en mensen kiezen de winnaar. De AI leert om de "gemiddelde" winnaar te kiezen.
De fout: Het artikel betoogt dat je menselijke waarden niet kunt middelen. Als 50% van de mensen "onpopulaire meningen" wil en 50% "veiligheid", dan is het gemiddelde geen perfect evenwicht; het is een modderig, verward signaal dat niemand tevreden stelt.
Het resultaat: De AI eindigt met "hallucineren" (dingen verzinnen) of overdreven voorzichtig zijn, niet omdat het kapot is, maar omdat de instructies die het kreeg een verwarde mix waren van tegenstrijdige verlangens. Het artikel noemt dit "epistemisch geweld"—een chique manier om te zeggen dat door ieders unieke, complexe visies in een enkele, simpele doos te dwingen, we de nuance van wat mensen echt bezighoudt, uitwissen.

5. Context is van belang (De "Het hangt ervan af"-factor)

Mensen zeiden vaak dingen als: "Wees vriendelijk, tenzij ik om een serieuze juridische analyse vraag," of "Wees streng, tenzij ik een verhaal vertel."

Het probleem: Huidige AI-trainingsmethoden zijn als een binaire schakelaar (Aan/Uit). Ze hebben moeite om de "dimmerknop" van de menselijke context te begrijpen. Ze kunnen niet gemakkelijk leren dat een regel "standaard" van toepassing moet zijn, maar kan worden uitgezet "indien gevraagd."

De Kernboodschap

Het artikel concludeert dat de techsector probeert een politiek en cultureel probleem op te lossen met een wiskundig probleem. Ze proberen een "universele" AI te creëren die voor iedereen spreekt, maar doen daarmee eigenlijk de diversiteit die ze beweren te vertegenwoordigen, de mond.

Kortom: We proberen een wereldwijde AI te bouwen door een kleine, niet-representatieve groep mensen te laten stemmen over een enkele set regels. Het resultaat is een AI die niet echt begrijpt wat iemand wil, omdat hij werd gedwongen om een "middenweg" te kiezen die niet bestaat in de echte wereld. De auteurs suggereren dat we moeten stoppen met het proberen te bouwen van één perfecte AI voor iedereen en in plaats daarvan moeten nadenken over hoe we verschillende groepen hun eigen versies kunnen geven die passen bij hun specifieke waarden.

Technische Samenvatting: Wat willen mensen eigenlijk van AI? Het in kaart brengen van de pluraliteit van voorkeuren

Probleemstelling

De huidige afstemming van Large Language Models (LLM's) leunt zwaar op Reinforcement Learning from Human Feedback (RLHF), een proces dat menselijke voorkeuren aggregeert om modellen te trainen om volgens "menselijke waarden" te handelen. De auteurs stellen dat dit paradigma fundamentele beperkingen kent: het aggregeert conflicterende voorkeuren tot één enkel beloningssignaal, vertrouwt op niet-representatieve steekproeven (vaak WEIRD-demografieën), en maakt gebruik van binaire paarvergelijkingen die er niet in slagen de nuance, context en epistemologische diversiteit van menselijke intentie te vatten. Bijgevolg riskeert de industriële zoektocht naar één enkel "afgestemd" model het afvlakken van gesitueerde, betwiste en pluralistische waarden tot een vorm van "epistemisch geweld", waarbij minderheidsperpectieven worden geabsorbeerd door een vals consensus. Het kernprobleid is dat huidige methoden niet het onderscheid kunnen maken tussen diepe morele overtuigingen en oppervlakkige voorkeuren, noch de uiteenlopende definities van gedeelde waarden (bijv. "waarachtigheid") of de contextuele aard van gebruikersverlangens (bijv. "standaardmatig" versus "indien gevraagd") kunnen vatten.

Methodologie

De studie maakt gebruik van een mixed-methods benadering om de PRISM-dataset te analyseren, een enquête onder 1.500 Engelstalige crowdworkers uit 75 landen. Deze dataset biedt een grotere demografische diversiteit dan typische alignment-studies, inclusclusief census-representatieve steekproeven uit het VK en de VS.

Gegevensverzameling: Deelnemers reageerden op een open vraag waarin hen werd gevraagd de kenmerken, eigenschappen of functies te beschrijven die een AI consistent zou moeten vertonen, inclusief welke gedragingen vermeden moeten worden en hoe gedrag kan veranderen over verschillende contexten.
Kwalitatieve Codering: De auteurs hanteerden een hybride mens-LLM coderingsstrategie.
- Codeboek: Gebaseerd op de Schwartz Theory of Basic Values (via het ValueCompass-framework), pasten de auteurs een codeboek aan om specifieke categorieën relevant voor AI op te nemen, zoals Menselijkheid (Human Likeness), Relatiezoekend (Relationship Seeking) en Sociale Orde (Social Order/guardrails).
- Proces: Een menselijke onderzoeker voerde een open codering uit op 400 reacties om een inductieve benadering vast te stellen. Een LLM werd vervolgens gebruikt om bij te dragen aan de codering van de volledige dataset, waarbij een tweede menselijke annotator onafhankelijk een steekproef van 10% codeerde voor validatie. De inter-annotator overeenkomst (Cohen's $\kappa$ ) was matig ( $\approx 0.49$ –$0.55$), wat de inherente subjectiviteit van waarde-annotatie weerspiegelt.
- Scoring: Reacties werden gecodeerd als Positief (1), Gemengd/Onduidelijk (0) of Negatief (-1) voor elke waardedimensie.
Kwantitatieve Analyse: De auteurs voerden verkennende LASSO logistische regressies uit, gevolgd door OLS-regressies, om demografische voorspellers (geslacht, opleiding, culturele regio, etc.) te identificeren voor de meest frequente, controversiële en niet-gewenste waarden.
Fe fact-checking: Een willekeurige steekproef van 50 gebruiker-AI-conversaties uit de dataset werd geanalyseerd om de geformuleerde voorkeuren te vergelijken met werkelijke gebruikersinteracties en de feitelijke juistheid van de modeloutputs.

Belangrijkste Bijdragen

Empirisch Bewijs van Voorkeurspluraliteit: De studie toont aan dat zelfs waarden met een hoge geaggregeerde vraag, zoals "waarachtigheid" (gevraagd door 49% van de respondenten), fundamenteel uiteenlopende epistemologische definities verbergen. Sommige gebruikers eisen bronvermelding van feiten, anderen wetenschappelijke consensus, en weer anderen de inclusie van impopulaire of marginale standpunten.
Identificatie van Controversiële Waarden: Het onderzoek identificeert waarden die niet alleen divers zijn, maar ook actief betwist worden. Menselijkheid (het simuleren van menselijk gedrag) en Sociale Orde (AI-guardrails/veiligheidsfilters) zijn polariserend, waarbij aanzienlijke delen van de respondenten deze eigenschappen expliciet verwerpen als "creepy", "censuur" of "verwaterd".
Kritiek op Binaire Aggregatie: Het artikel levert bewijs dat binaire voorkeursmodellen (RLHF) er niet in slagen om contextuele onderscheiden te vatten (bijv. "wees niet menselijk tenzij daarom gevraagd") en dat het aggregeren van deze signalen in één enkel beloningsmodel onvermijdelijk nuance en minderheidsvoorkeuren opoffert.
Demografische Correlaten: De studie brengt in kaart hoe specifieke demografieën correleren met waarde-voorkeuren. Zo waren mannelijke respondenten minder geneigd om Behulpzaamheid, Vriendschap & Liefde of Beleefdheid aan te vragen, terwijl respondenten met een graduate diploma eerder Waarachtigheid en Voorzichtigheid aan vroegen, maar minder vaak Vriendschap.

Resultaten

Frequentie van Waarden: Waarachtigheid was de meest gevraagde waarde (49%), gevolgd door Behulpzaam/Vriendschap/Liefde (23%), Nut (22%) en Beleefdheid (22%). Negen waarden (bijv. Rijkdom, Innerlijke Harmonie) werden door geen enkele deelnemer aangevraagd.
Divergerende Definities: De kwalitatieve analyse toonde aan dat "waarachtigheid" geen monolithisch concept is. Het varieert van een eis voor "neutrale" feiten tot een vereiste voor "diverse wereldbeelden" of "onpopulaire meningen".
Controversescores: Menselijkheid en Sociale Orde vertoonden hoge controversescores. Hoewel 57% van degenen die Menselijkheid noemden dit wenste, wees 33% dit af. Evenzo wenste 65% Sociale Orde (guardrails), terwijl 23% deze verwierp als censuur.
Niet-gewenste Eigenschappen: Invloedrijk (AI die probeert de meningen van de gebruiker te beïnvloeden) was de meest afgewezen eigenschap, die door 18% van de respondenten werd afgewezen die prioriteit geven aan gebruikersautonomie en neutraliteit.
Realiteit versus Voorkeur: In de conversatieanalyse slaagden gebruikers er vaak niet in om hallucinaties in modeloutputs te detecten, en in sommige gevallen gaven zij de voorkeur aan feitelijk onjuiste antwoorden die aansloten bij hun bestaande vooroordelen of verwachtingen, wat wijst op een kloof tussen geformuleerde voorkeuren en daadwerkelijk gedrag.
Demografische Patronen:
- Geslacht: Mannen waren aanzienlijk minder geneigd om Behulpzaam/Vriendschap/Liefde en Beleefdheid aan te vragen.
- Opleiding: Hogere opleiding correleerde met verzoeken om Waarachtigheid, Voorzichtigheid en Diversiteit, maar lagere verzoeken voor Vriendschap.
- Cultuur: Latijns-Amerikaanse respondenten waren minder geneigd om Waarachtigheid aan te vragen; Germanische Europeanen waren eerder geneigd tot Voorzichtigheid; Noord- en Centraal-/Oost-Europeanen waren eerder geneigd tot Customisatie.

Betekenis en Claims

Het artikel betoogt dat de huidige industriestandaard van het nastreven van één enkel, universeel afgestemd LLM gebaseerd is op een "illusie van consensus". Door gesitueerde en betwiste voorkeuren af te vlakken tot een enkel beloningsmodel, kunnen alignment-praktijken onbedoeld nut ongelijk verdelen en een "algoritmische uitwissing" van minderheidsperspectieven uitvoeren.

De auteurs beweren dat:

Alignment is Politiek: Het proces van het definiëren van AI-waarden is geen technisch optimalisatieprobleem, maar een politiek probleem dat gepaard gaat met "private, onverantwoordelijke soevereiniteit".
Huidige Methoden Falen: Het voortbestaan van hoge hallucinatie-percentages en sycophantie (vleierij) in goed gefinancierde modellen suggereert dat RLHF er niet in slaagt werkelijke gebruikersvoorkeuren te identificeren, met name met betrekking tot onzekerheid en waarheid.
Noodzaak voor Pluralisme: De bevindingen ondersteunen een verschuiving naar personalisatie, waarbij modellen aangepast kunnen worden om uiteenlopende gebruikers-waardekaders te reflecteren, in plaats van alle gebruikers te dwingen in één enkel "universeel" waardesysteem.
Hervorming van Governance: De auteurs pleiten voor procedurele rechtvaardigheid in alignment, en roepen op tot transparante, open en participatieve methoden die een breder scala aan belanghebbenden omvatten, bewegend weg van de "lege betekenaars" van "behulpzaam, eerlijk en ongevaarlijk".

Het artikel concludeert dat het erkennen van de complexiteit en de strijd rondom menselijke waarden een vereiste is voor het ontwikkelen van AI-systemen die niet louter optimaliseren voor een wiskundig gemiddelde, maar de pluraliteit van de menselijke intentie respecteren.