💻 computer science

Characterizing the ability of LLMs to recapitulate Americans' distributional responses to public opinion polling questions across political issues

Dit onderzoek introduceert een nieuw raamwerk waarbij grote taalmodellen direct worden gevraagd om verdelingen van meningen te voorspellen, wat volgens de auteurs goedkoper en nauwkeuriger is dan het simuleren van individuele respondenten, terwijl de prestaties bovendien systematiser voorspelbaar zijn over verschillende demografische groepen en onderwerpen.

Oorspronkelijke auteurs: Eric Gong, Nathan E. Sanders, Bruce Schneier

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Eric Gong, Nathan E. Sanders, Bruce Schneier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je wilt weten wat de hele Amerikaanse bevolking denkt over belangrijke onderwerpen zoals gezondheidszorg, immigratie of het klimaat. Vroeger deden onderzoekers dit door duizenden mensen te bellen of te mailen met vragenlijsten. Dit is echter duur, tijdrovend en steeds moeilijker: steeds meer mensen nemen de telefoon niet op of willen niet meedoen.

In dit artikel onderzoeken de auteurs of kunstmatige intelligentie (LLMs) deze mensen kan vervangen. Ze willen weten of een slimme computer kan voorspellen hoe de gemiddelde Amerikaan zou antwoorden op een enquête, zonder dat ze echt iemand hoeven te bellen.

Hier is de kern van hun onderzoek, vertaald in een simpel verhaal met een paar creatieve vergelijkingen:

1. De twee manieren om de computer te vragen

De onderzoekers hebben getest op twee verschillende manieren om de AI te laten "denken" als een mens:

Manier A: De "Siliconen Pop" (Single Individual Query)
Stel je voor dat je een poppetje maakt en zegt: "Je bent nu een man uit Texas die conservatief is. Wat vind jij van dit onderwerp?" De poppeter geeft één antwoord.
Om een beeld te krijgen van de hele bevolking, moet je dit poppetje 20 keer achter elkaar laten spelen. Maar hier zit een addertje onder het gras: de poppeter is vaak te zeker van zichzelf. Hij denkt steeds hetzelfde. Het resultaat is een saaie, eenduidige menigte, terwijl echte mensen juist heel verschillend denken. Het is alsof je een koor laat zingen waarbij iedereen exact dezelfde noot zingt, terwijl je in het echt een hele symfonie met verschillende tonen wilt horen.
Manier B: De "Directe Distributie" (Direct Distribution Query)
Hier vragen ze de AI niet om één antwoord te geven, maar direct: "Geef me direct een grafiek met percentages: hoeveel mensen denken A, hoeveel denken B, en hoeveel denken C?"
Dit is alsof je de AI vraagt om direct het gemiddelde van een heel orkest te beschrijven, in plaats van één muzikant te laten spelen.

2. Wat bleek eruit?

De onderzoekers hebben de antwoorden van de AI vergeleken met de echte antwoorden van 60.000 Amerikanen (uit een grote enquête genaamd CES).

De winnaar: De Directe Distributie (Manier B) won het ruimschoots.
- De AI gaf een veel realistischer beeld van hoe mensen verschillend denken. Bij de "Siliconen Pop" (Manier A) dachten de AI-antwoorden vaak allemaal hetzelfde, wat onnatuurlijk is.
- De Directe Methode was ook sneller en goedkoper. In plaats van 20 keer te vragen, hoefde je het maar één keer te vragen.
- Het was vooral beter in het voorspellen van de "spreiding": hoe verdeeld de meningen zijn.

3. Kunnen we weten wanneer de AI goed is?

Dit is misschien wel het coolste deel van het onderzoek. De onderzoekers ontdekten dat je van tevoren kunt voorspellen hoe goed de AI zal presteren, nog voordat je de vraag stelt.

Stel je voor dat je een weersvoorspelling doet. Je kijkt niet pas naar de lucht als het regent, maar je kijkt naar de barometer en de windrichting.

De AI werkt het beste bij gematigde mensen (niet te links, niet te rechts).
De AI werkt minder goed bij extreem conservatieve groepen (ze begrijpen hun standpunten soms niet helemaal).
De AI werkt minder goed bij bepaalde onderwerpen, zoals abortus, maar beter bij andere, zoals immigratie.

Met een wiskundig model konden de auteurs deze "weersvoorspelling" maken. Ze kunnen nu zeggen: "Als je deze vraag stelt aan deze groep mensen, is de kans groot dat de AI een betrouwbaar antwoord geeft. Maar als je die andere vraag stelt, moet je beter een echte mens vragen."

4. Waarom is dit belangrijk?

Vroeger was het alsof je blindelings een gok deed met de AI: "Misschien werkt het, misschien niet."
Nu hebben we een GPS-systeem voor opiniepeilingen.

Kostenbesparing: Het is veel goedkoper om een computer te vragen dan duizenden mensen te bellen.
Betrouwbaarheid: Omdat we nu weten wanneer de AI fouten maakt, kunnen we die fouten corrigeren of de AI gebruiken om de echte mensenpeilingen aan te vullen (bijvoorbeeld om groepen te bereiken die moeilijk te bereiken zijn, zoals jongeren of specifieke minderheden).

Samenvattend

Deze paper zegt: "Vergeet die saaie poppetjes die steeds hetzelfde antwoord geven. Vraag de AI direct om het grote plaatje (de verdeling). En gelukkig kunnen we nu al voorspellen waar de AI goed is en waar hij wat minder goed is, zodat we slim kunnen beslissen wanneer we hem inzetten en wanneer we beter een echte mens moeten bellen."

Het is een stap in de richting van een nieuwe manier van democratie begrijpen: sneller, goedkoper, en met een beter inzicht in wat de mensen echt denken.

1. Probleemstelling

Traditionele politieke opiniepeilingen worden steeds moeilijker uitvoerbaar door stijgende kosten, dalende responspercentages en een gebrek aan representativiteit van bepaalde demografische groepen. Hoewel onderzoekers zoeken naar alternatieven, zoals het analyseren van sociale media, hebben Large Language Models (LLMs) potentieel om menselijke populatiestudies te versterken.

Echter, bestaande methoden om LLMs te gebruiken voor opiniepeilingen hebben beperkingen:

Enkele Individu Query (Single Individual - SI): LLMs worden gevraagd om zich voor te doen als een specifiek individu en één antwoord te geven. Dit leidt vaak tot een gebrek aan variatie (homogeniteit) in de gegenereerde antwoorden, omdat het model neigt naar het meest waarschijnlijke antwoord.
Token-probabiliteiten: Het gebruik van ruwe next-token probabilities om een verdeling te schatten, resulteert vaak in onderschatting of overschatting van de homogeniteit van de menselijke verdeling.
Bias: LLMs vertonen systematische biases, waarbij ze minder nauwkeurig zijn bij minderheidsgroepen en de voorkeuren van hoger opgeleide individuen defaulteren.

Het paper onderzoekt of een nieuwe aanpak, waarbij de LLM direct wordt gevraagd om een verdeling van antwoorden te voorspellen in plaats van individuele respondenten te simuleren, nauwkeuriger en voorspelbaarder is.

2. Methodologie

De auteurs hebben een nieuw raamwerk ontwikkeld en getest tegen de Cooperative Election Study (CES) 2022, een dataset met ongeveer 60.000 Amerikaanse volwassenen.

Data: 84 meerkeuzevragen over diverse politieke thema's (zorg, fiscaliteit, sociale gelijkheid, buitenlandse relaties) en 20 demografische permutaties (gebaseerd op Ras, Geslacht en Ideologie).
Model: OpenAI's GPT-4o-mini.
Twee Frameworks vergeleken:
1. Single Individual (SI) Query: De LLM wordt 20 keer per vraag-demografie combinatie gequeryd om één antwoord te geven alsof het een persoon is. Een verdeling wordt geconstrueerd door deze 20 antwoorden te aggregeren.
2. Direct Distribution (DD) Query: De LLM wordt één keer per combinatie gequeryd met de instructie om direct de numerieke verdeling van antwoorden voor de specifieke demografie te genereren. Variaties in prompts (zoals "Chain-of-Thought" en een "Distribution Reminder" om te benadrukken dat de verdeling niet symmetrisch hoeft te zijn) werden getest.
Evaluatiemetrieken:
- MD (Mean Difference): Afwijking van het gemiddelde sentiment.
- SDD (Standard Deviation Difference): Hoe goed de spreiding (homogeniteit) van de menselijke verdeling wordt nagebootst.
- NEMD (Normalized Earth-Mover's Distance): Een maat voor de algehele overeenkomst tussen de twee verdelingen (Wasserstein-afstand).
Analyse: Vector-embeddings (via text-embedding-3-small) werden gebruikt om semantische vraaginhoud te kwantificeren. Bayesiaanse Ridge-regressiemodellen werden getraind om de prestaties (NEMD, MD, SDD) te voorspellen op basis van demografie, vraag-embeddings en prompt-variabelen.

3. Belangrijkste Resultaten

A. Superioriteit van het Direct Distribution (DD) Framework

Het DD-framework presteerde consistent beter dan het SI-framework:

Nauwkeurigheid: DD had in 77,3% van de gevallen een lagere NEMD (betere algehele overeenkomst) dan SI.
Gemiddeld Sentiment: DD voorspelde het gemiddelde sentiment (MD) 10,4% nauwkeuriger dan SI.
Spreiding (Homogeniteit): Dit is het meest kritieke verschil. Het SI-framework overschatte de homogeniteit aanzienlijk (lage standaarddeviatie), omdat het model vaak hetzelfde antwoord gaf bij herhaalde queries. Het DD-framework underschatte de homogeniteit licht, maar bleef veel dichter bij de menselijke spreiding dan SI.
Kosten: DD vereist slechts één query per vraag-demografie combinatie, terwijl SI 20 queries vereist, wat DD aanzienlijk goedkoper maakt.

B. Voorspelbaarheid van Prestaties

Een belangrijke bevinding is dat de prestaties van het DD-framework systematisch en voorspelbaar variëren op basis van:

Demografie: De nauwkeurigheid varieert per ideologische groep. Het model voorspelt gematigde groepen het beste. De fout (MD) neemt toe bij extremere groepen (zowel links als rechts), met de grootste afwijkingen bij conservatieve groepen.
Vraagthema: Door middel van regressieanalyse en embeddings kon worden vastgesteld dat bepaalde onderwerpen (bijv. "Abortus/Reproductieve Rechten" en "Ras & Gender Attitudes") systematisch beter worden voorspeld dan anderen.
Prompt Engineering: Het toevoegen van een "Chain-of-Thought" reminder verbeterde de algehele overeenkomst (NEMD) door de onderschatting van homogeniteit te verminderen, ten koste van een marginale toename in de afwijking van het gemiddelde sentiment.

C. Voorspellende Modellen

De auteurs toonden aan dat een regressiemodel (Bayesian Ridge met interactietermen) de prestaties van de LLM (NEMD, MD, SDD) kan voorspellen op basis van enkel vooraf bekende informatie: de demografie, de vraagtekst (via embeddings) en de gebruikte prompt.

Het model bereikte een $R^2$ van 0,526 voor NEMD, 0,268 voor MD en 0,687 voor SDD op de testset.
Dit betekent dat onderzoekers a priori kunnen inschatten hoe betrouwbaar een LLM-peiling zal zijn voor een specifieke vraag en groep, zonder eerst de peiling uit te voeren.
Voor het SI-framework was een dergelijke voorspelling niet mogelijk (negatieve $R^2$ ), wat aangeeft dat DD een veel meer gestructureerde en voorspelbare methode is.

4. Bijdragen en Significantie

Nieuw Framework: Het paper introduceert en valideert de "Direct Distribution Query" als superieur alternatief voor het simuleren van individuele respondenten voor opiniepeilingen.
Kostenefficiëntie: De methode reduceert de rekenkosten en tijd drastisch (1 query vs. 20 queries) terwijl de nauwkeurigheid toeneemt.
Voorspelbaarheid: Het biedt een mechanisme om de onzekerheid van AI-peilingen te kwantificeren. Onderzoekers kunnen nu beslissen wanneer ze op een LLM kunnen vertrouwen en wanneer ze traditionele menselijke peilingen nodig hebben.
Insight in Bias: Het paper kwantificeert systematisch waar LLMs falen (bijv. bij extreme ideologische groepen en bij het herkennen van de spreiding binnen groepen), wat essentieel is voor het corrigeren van deze bias in toekomstige toepassingen.
Toekomstperspectief: De auteurs stellen dat LLMs waarschijnlijk niet menselijke peilingen volledig zullen vervangen, maar als krachtig hulpmiddel kunnen dienen om steekproeven aan te vullen (bijv. via post-stratificatie) en om de meningen van moeilijk bereikbare groepen te schatten.

Conclusie

Het paper concludeert dat het direct vragen om een verdeling van antwoorden aan een LLM (DD-framework) een robuustere, goedkopere en voorspelbaardere methode is voor het simuleren van publieke opinie dan het simuleren van individuen. Dit opent de weg voor een hybride peilingsparadigma waarbij AI wordt ingezet voor snelle, kostenefficiënte schattingen, met een ingebouwd mechanisme om de betrouwbaarheid van die schattingen te beoordelen op basis van de vraag en de doelgroep.