Can AI Truly Represent Your Voice in Deliberations? A Comprehensive Study of Large-Scale Opinion Aggregation with LLMs

Titel

Kan AI je stem werkelijk vertegenwoordigen in deliberaties? Een uitgebreide studie van grootschalige opinieaggregatie met LLM's.

1. Het Probleem

Grootschalige publieke deliberaties (zoals burgervergaderingen en parlementaire debatten) genereren duizenden vrije tekstbijdragen die samengevat moeten worden voor beleidsdoeleinden. Hoewel Large Language Models (LLM's) veelbelovend zijn voor het genereren van deze samenvattingen, brengen ze twee kritieke risico's met zich mee:

1. Onderschatting van minderheidsperspectieven: LLM's neigen ertoe meerderheidsopvattingen te oververtegenwoordigen en minderheidsperspectieven te negeren, wat onrechtvaardigheid in hoge-stakes contexten veroorzaakt.
2. Onbetrouwbare evaluatie: Bestaande methoden vertrouwen vaak op "LLM-as-a-judge" (LLM's die andere LLM's beoordelen). Het paper toont aan dat deze algemene LLM's een zwakke correlatie vertonen met menselijke oordelen en zelf subjectief of onstabiel kunnen zijn.

Er is een dringend tekort aan schaalbare, betrouwbare en menselijk onderbouwde benchmarks om te evalueren of LLM's samenvattingen kunnen produceren die representatief, informatief, neutraal en beleidsrelevant zijn.

2. Methodologie

De auteurs introduceren een volledig evaluatiekader bestaande uit een dataset en een gespecialiseerd beoordelingsmodel.

A. DELIBERATIONBANK (Dataset)

Dit is een grootschalige, menselijk onderbouwde benchmark bestaande uit twee delen:

• Opiniedataset: 3.000 vrije tekstbijdragen verzameld van 300 Amerikaanse deelnemers per vraag (totaal 10 vragen) over trending maatschappelijke thema's (technologie, sociale media, openbaar beleid). De vragen zijn verdeeld in 'Open-ended' en 'Binary' (voor/tegen).
• Samenvattingen: Generatie van 750 samenvattingen door 5 verschillende LLM's (o.a. GPT-5, Claude-4, Gemini-2.5, DeepSeek, Qwen3) met variërende inputgroottes (van 10 tot 300 opinies).
• Menselijke annotatie: 4.500 menselijke beoordelingen door een apart panel van 450 deelnemers per vraag. Elke annotator schreef eerst een eigen mening en beoordeelde vervolgens de gegenereerde samenvattingen op vier dimensies:
  1. Representativiteit: Wordt het individuele standpunt semantisch vastgelegd?
  2. Informativiteit: Is de samenvatting gedetailleerd en niet-redundant?
  3. Neutraliteit: Vermijdt de samenvatting vooroordelen?
  4. Beleidsgoedkeuring: Is de samenvatting geschikt voor beleidsmakers?

B. DELIBERATIONJUDGE (Beoordelingsmodel)

Om menselijke evaluatie te schalen, trainden de auteurs een specifiek model:

• Architectuur: Een fijngefineerde (fine-tuned) DeBERTa-v3-base (een encoder-model).
• Training: Het model werd getraind op de menselijke annotaties (zowel rating-taken als vergelijkingstaken) via Supervised Fine-Tuning (SFT).
• Output: Het model voorspelt een continu vector van vier scores (0-1) voor de vier evaluatiedimensies.
• Voordeel: Het is aanzienlijk sneller (0,03 sec per item) en goedkoper dan het gebruik van grote LLM's als beoordelaars, terwijl het een hogere correlatie met menselijke oordelen behaalt.

3. Belangrijkste Resultaten

A. Beoordeling van LLM's als Samenvatter

De auteurs hebben 18 verschillende LLM's (zowel gesloten als open-source, variërend van 0.6B tot 235B parameters) gebenchmarkt:

• Prestaties: GPT-5 en Claude-4 families presteerden het beste (gemiddelde score ~0.62). Qwen3-32B presteerde verrassend goed, voornamelijk vanwege zijn neutraliteit.
• Schaalbaarheid: De prestaties verbeteren met de grootte van het model, maar vertonen geen perfecte monotonie.
• Inputgrootte: LLM's profiteren van een toename van de input (van 10 naar ~100 opinies), maar prestaties platte af bij grotere datasets (>100 opinies), wat wijst op beperkte schaalbaarheid in het verwerken van zeer grote deliberaties.
• Vraagtype: Modellen presteren over het algemeen beter op 'Binary' vragen dan op 'Open-ended' vragen, omdat de eerste beperkter zijn.

B. Systematische Bias tegen Minderheden

De studie onthulde een consistent en zorgwekkend patroon:

• Onderschatting: Alle geteste modellen vertonen systematisch lagere scores voor "representativiteit" bij minderheidsperspectieven vergeleken met meerderheidsopvattingen.
• Twee soorten minderheden: De auteurs onderscheiden twee types minderheden die slechts voor ~10% overlappen:
  1. Subjectieve minderheid: Mensen die voelen dat hun mening anders is (vaak uitgedrukt met onzekerheid).
  2. Objectieve (semantische) minderheid: Opinions die semantisch uniek zijn binnen een cluster (bepaald via Local Outlier Factor), zelfs als de schrijver zich niet als minderheid voelt.
• Conclusie: Beide types worden systematisch genegeerd door LLM's, maar om verschillende redenen (onzekerheid vs. zeldzame semantische patronen).

C. Effectiviteit van DELIBERATIONJUDGE

• Correlatie: DELIBERATIONJUDGE bereikt een Spearman-correlatie van 0.70 met menselijke oordelen (en tot 1.00 voor informativiteit), wat aanzienlijk hoger is dan de correlatie van state-of-the-art LLM's als beoordelaars (max ~0.35-0.40).
• Efficiëntie: Het model is tot 100x sneller dan grote LLM's en schaalbaar zonder dat de kosten exponentieel stijgen met de inputgrootte.

4. Bijdragen

1. DELIBERATIONBANK: Een nieuwe, grote dataset met 3.000 menselijke opinies en 4.500 menselijke beoordelingen, specifiek ontworpen voor het evalueren van deliberatie-samenvattingen.
2. DELIBERATIONJUDGE: Een gespecialiseerd, fijngefineerd DeBERTa-model dat menselijke voorkeuren nauwkeuriger en efficiënter simuleert dan generieke LLM's.
3. Empirisch Bewijs van Bias: Een rigoureuze studie die aantoont dat LLM's systematisch minderheidsperspectieven onderschatten, ongeacht het modeltype of de grootte, en dat dit een fundamenteel probleem is in deliberatieve AI.

5. Betekenis en Impact

Dit paper is van cruciaal belang voor de ontwikkeling van AI voor democratische processen en beleidsvorming.

• Betrouwbaarheid: Het toont aan dat het vertrouwen op "LLM-as-a-judge" voor dergelijke gevoelige taken riskant is en dat gespecialiseerde, menselijk getrainde modellen nodig zijn.
• Fairness: Het benadrukt dat huidige LLM's niet "neutraal" zijn in de zin van het evenwichtig vertegenwoordigen van alle stemmen; ze neigen naar de meerderheid.
• Toekomst: De dataset en het beoordelingsmodel bieden een fundament voor het ontwikkelen van eerlijkere, representatievere AI-systemen die echt kunnen bijdragen aan grootschalige publieke deliberatie zonder de stemmen van minderheden te verliezen.

Kortom, terwijl AI de schaalbaarheid van deliberatie kan vergroten, vereist het gebruik ervan strikte evaluatiekaders om te voorkomen dat het de democratische waarde van diversiteit en inclusiviteit ondermijnt.