💻 computer science

Political Neutrality as Balanced Approval: A Large-Scale Human Evaluation of AI Responses

Dit artikel introduceert een nieuwe definitie van politieke neutraliteit van AI die is gebaseerd op het maximaliseren en balanceren van goedkeuring onder tegenovergestelde politieke groepen, valideert deze aan de hand van een grootschalige dataset voor menselijke evaluatie (PARETO) met meer dan 7.000 deelnemers, en onthult dat hoewel geavanceerde modellen hoge grensoverschrijdende goedkeuring kunnen bereiken, hun standaardantwoorden vaak een liberale bias vertonen.

Oorspronkelijke auteurs: Jonathan Stray, David Zhai Yang, Steven Luo, Miu Nicole Takagi, Serina Chang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Stray, David Zhai Yang, Steven Luo, Miu Nicole Takagi, Serina Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een diner geeft waar twee gasten, laten we ze "Links" en "Rechts" noemen, fel van mening verschillen over een onderwerp zoals abortus of wapenbeheersing. Ze schreeuwen elkaar toe en kunnen het niet eens worden over wat de "waarheid" is.

Stel je nu voor dat je een slimme robotbediende (de AI) huurt om hen te bedienen. Je doel is niet om een kant te kiezen of hen te vertellen wie gelijk heeft. Je doel is om een gerecht te serveren dat zowel Links als Rechts lekker vindt, ook al zijn ze het oneens over het recept.

Dit artikel gaat over het leren van die robotbediende hoe hij dat precies moet doen.

Het Grote Probleem: De "Weigering"-valstrik

Voorheen, wanneer mensen deze robots controversiële vragen stelden, deden de robots vaak een van de twee dingen:

Ze kozen een kant: Ze klonken als Links of Rechts, waardoor de ander boos werd.
Ze weigerden te antwoorden: Ze zeiden: "Ik kan daar niet over praten", waardoor iedereen zich genegeerd voelde.

De onderzoekers wilden weten: Kunnen we een AI maken die deze moeilijke vragen beantwoordt op een manier waardoor beide kanten zeggen: "Oké, ik kan met dat antwoord leven"?

Het Nieuwe Recept: "Gebalanceerde Goedkeuring"

De auteurs bedachten een nieuwe definitie van "neutraliteit". Ze noemen het Gebalanceerde Goedkeuring.

Stel je het voor als een koorddanser.

Het Koord: Dit is de lijn van maximale mogelijke tevredenheid.
Het Doel: De AI moet op het koord staan waar Links tevreden is EN Rechts tevreden is tegelijkertijd.
De Vangst: Als de AI te ver naar links leunt, wordt Rechts boos. Als het te ver naar rechts leunt, wordt Links boos. Het "perfecte" neutrale antwoord is de exacte plek op het koord waar beide kanten even tevreden zijn.

De onderzoekers noemen dit de "Pareto-grens". In gewone taal is het de "beste mogelijke deal" waarbij je de ene kant niet gelukkiger kunt maken zonder de andere kant ongelukkiger te maken.

Het Experiment: Een Enorme Proeverij

Om dit te testen, vroegen de onderzoekers de robots niet zomaar om te raden. Ze organiseerden een enorme proeverij:

Het Menu: Ze kozen 20 hete hangijzers (zoals abortus, wapenbeheersing en studentenleningen).
De Gasten: Ze werven 7.434 echte mensen uit de VS.
De Chefs: Ze gebruikten 5 verschillende top-AI-modellen (zoals GPT, Claude en Gemini).
De Gerechten: Voor elke vraag maakten ze vier soorten antwoorden:
- De Standaard: Wat de AI van nature zegt.
- Het "Voor"-gerecht: Een antwoord dat alleen voor de ene kant pleit.
- Het "Tegen"-gerecht: Een antwoord dat alleen voor de andere kant pleit.
- Het "Gebalanceerde" gerecht: Een speciaal antwoord dat een korte alinea voor beide kanten gaf, en dit dan neutraal afmaakte.

Vervolgens vroegen ze de gasten: "Hoeveel keur je dit antwoord goed?"

Wat Ze Vonden: De Verassende Resultaten

1. Het "Gebalanceerde Gerecht" was de favoriet van de menigte.
Hoewel Links en Rechts elkaars ideeën haatten, vonden ze beide het gebalanceerde antwoord leuk.

Het Magische Getal: Het gebalanceerde antwoord kreeg hoge goedkeuringscijfers (boven de 60%) van beide kanten bij bijna elk onderwerp.
De Ruil: Je zou denken: "Als ik wil dat mijn kant wint, zou ik een gebalanceerd antwoord haten." Maar de studie vond dat mensen slechts ongeveer 10% van hun goedkeuring verloren bij het overschakelen van een "mijn kant wint"-antwoord naar een "gebalanceerd" antwoord. Dat is een kleine prijs om te betalen voor een AI die de andere kant niet laat schreeuwen.

2. De meeste robots zijn stiekem "Links".
Toen de onderzoekers keken wat de robots van nature zeiden (zonder speciale instructies), neigden de meeste van hen (GPT, Claude, Gemini, Llama) naar de liberale/linkse kant. Ze kregen meer goedkeuring van Links dan van Rechts.

De Uitzondering: Eén robot, Grok, was anders. Het neigde niet naar links; soms naar rechts, soms naar links, afhankelijk van het onderwerp.

3. Boze vragen zijn moeilijker te beantwoorden.
Wanneer gebruikers de robots vragen stelden die al boos of geladen waren (bijvoorbeeld: "Waarom zijn liberalen zo stom?"), kregen de robots lagere goedkeuringscijfers. Het is veel moeilijker om neutraal te zijn wanneer de vraag zelf een gevecht is.

4. De "Beide Kanten"-mythe.
Sommige mensen maken zich zorgen dat het tonen van "beide kanten" nep of zwak is. Maar de studie toonde aan dat wanneer de AI sterke argumenten voor beide kanten presenteerde, mensen het eigenlijk eerlijker vonden. Het enige moment waarop mensen het gebalanceerde antwoord haatten, was wanneer ze voelden dat de AI het "nep deed" of hun specifieke zorgen negeerde.

De Conclusie

Dit artikel bewijst dat het mogelijk is om AI te bouwen die optreedt als een eerlijke mediator. Het hoeft geen robot te zijn die weigert te spreken, en het hoeft ook geen robot te zijn die een team kiest.

Door te streven naar Gebalanceerde Goedkeuring – het vinden van het antwoord dat de meeste mensen aan tegenstrijdige kanten gehoord en gerespecteerd doet voelen – kunnen we AI creëren die mensen vertrouwen, zelfs wanneer ze het met elkaar oneens zijn. Het is als een robotbediende die erin slaagt een maaltijd te serveren die de hele familie tevreden stelt, zelfs als ze het niet eens kunnen worden over wat ze als volgende moeten bestellen.

Technische Samenvatting: Politieke Neutraliteit als Gebalanceerde Goedkeuring

Probleemdefinitie

Naarmate AI-systemen steeds meer fungeren als primaire informatiebronnen, is hun potentie om politieke houdingen te vormen en epistemische fragmentatie te veroorzaken, aanleiding geworden tot dringende zorgen over politieke neutraliteit. Huidige definities van neutraliteit zijn vaak vaag, afhankelijk van ondoorzichtige bedrijfsbenchmarks of simplistische metrieken zoals een "liberaal versus conservatief" kant, die geen rekening houden met nuance per specifiek vraagstuk. Bovendien testen bestaande evaluatiemethoden modellen vaak met statische politieke kompas-tests of meerkeuzevragen in plaats van open-ended gebruikersinteracties. De kernuitdaging is politieke neutraliteit te definiëren op een manier die empirisch toetsbaar is, generaliseerbaar over diverse politieke contexten, en in staat om vertrouwen te behouden tussen groepen met fundamenteel tegenstrijdige waarden.

Methodologie

De auteurs stellen een nieuwe definitie van politieke neutraliteit voor AI voor, gebaseerd op politieke theorie (Mill, Rawls) en praktijken van conflictbemiddeling. Ze definiëren een neutraal antwoord als één dat Maximale Gelijke Goedkeuring (Maximum Equal Approval, MEA) bereikt: een antwoord dat ligt op de Pareto-grens van goedkeuringscores tussen tegenstrijdige groepen, terwijl het de onbalans tussen die scores minimaliseert.

Om deze definitie te operationaliseren en te testen, construeerden de auteurs de PARETO-benchmark en voerden ze een grootschalig menselijk evaluatiestudie uit:

Selectie van Vraagstukken en Canonieke Vragen: De studie richt zich op 20 controversiële, op waarden gebaseerde beleidsvraagstukken in de VS (bijvoorbeeld abortus, wapenbeheersing, transrechten). Voor elk vraagstuk werd een "canonieke" surveyvraag geïdentificeerd om de belangrijkste dimensie van meningsverschil te definiëren, waarbij antwoorden werden gekoppeld aan "Voor" en "Tegen"-standpunten.
Prompt Engineering: Om ecologische validiteit te waarborgen, werden 200 gebruikersprompts afkomstig van Reddit gebruikt. Deze prompts werden systematisch gecategoriseerd in vijf valenties: Sterk Voor, Voor, Neutraal, Tegen, en Sterk Tegen.
Generatie van Antwoorden: Vijf frontier-AI-modellen (GPT, Claude, Gemini, Grok, Llama) werden geëvalueerd. Voor elke prompt genereerde de studie acht verschillende antwoordtypes:
- Standaard: Het natuurlijke antwoord van het model.
- Eenzijdig: Argumenten gegenereerd vanuit het perspectief van de "Voor"-kant en de "Tegen"-kant.
- Gebalanceerd: Een geconstrueerd antwoord dat één alinea bevat vanuit het perspectief van elke kant en een afsluitende zin die trade-offs erkent.
Menselijke Evaluatie: Er werd een studie uitgevoerd met 7.434 deelnemers gerekruteerd via Prolific. Deelnemers gaven hun eigen standpunten over de vraagstukken aan en beoordeelden AI-antwoorden op zeven Likert-schaal statements (waaronder goedkeuring, eerlijkheid, bias en vertrouwen) en leverden feedback in vrije tekst. Dit resulteerde in 208.152 menselijke evaluaties.

Belangrijkste Bijdragen

Een Nieuwe Definitie van Neutraliteit: Het artikel formaliseert politieke neutraliteit als Maximale Gelijke Goedkeuring (MEA). In tegenstelling tot eerdere benaderingen die bias proberen te vermijden of een specifieke verdeling nastreven, streeft deze definitie naar het maximaliseren van goedkeuring over tegenstrijdige groepen heen, terwijl die goedkeuring in evenwicht wordt gehouden. Hiermee wordt neutraliteit effectief behandeld als een instrument om gepolariseerde samenlevingen te overbruggen, in plaats van louter het vermijden van belediging.
De PARETO Dataset en Benchmark: De auteurs publiceren een uitgebreide dataset met 208.152 menselijke evaluaties van 1.600 AI-antwoorden over 20 vraagstukken. Deze bevat de prompts, modeloutput en gedetailleerde menselijke ratings, en biedt een strenge standaard voor het meten van vooruitgang richting politieke neutraliteit.
Empirische Validatie van Gebalanceerde Antwoorden: De studie toont aan dat het mogelijk is AI-antwoorden te genereren die hoge goedkeuringspercentages behalen bij beide kanten van een controversie, zelfs wanneer die kanten het fundamenteel oneens zijn over de inhoud van het vraagstuk.

Resultaten

Haalbaarheid van Gebalanceerde Goedkeuring: Over alle 20 vraagstukken heen bereikte het gebalanceerde antwoord (het presenteren van argumenten van beide kanten) het meest frequent het empirische MEA-punt. Het bereikte de Pareto-grens in 85% van de vraagstukken en handhaafde een gemiddeld goedkeuringsverschil van minder dan 1% tussen conservatieve en liberale deelnemers ( $s_{cons} - s_{lib} \approx -0,01$ ).
Lage Kosten van Balans: Hoewel eenzijdige antwoorden de hoogste goedkeuring behaalden bij hun respectievelijk uitgelijnde groepen, hield het gebalanceerde antwoord een relatief kleine "kost" in. Gemiddeld verloor het gebalanceerde antwoord minder dan 10% in goedkeuring vergeleken met het eenzijdige antwoord dat overeenkwam met het standpunt van de deelnemer, wat suggereert dat gebalanceerde modellen levensvatbaar kunnen blijven, zelfs voor partijdige gebruikers.
Standaardantwoorden Vertonen Liberale Neiging: Met uitzondering van Grok, kregen de standaardantwoorden van GPT, Claude, Gemini en Llama consequent hogere goedkeuring van de liberale kant dan van de conservatieve kant. De standaardantwoorden van Grok varieerden, met een liberale neiging op sommige vraagstukken en een conservatieve neiging op andere.
Invloed van Promptlading: AI-antwoorden kregen aanzienlijk lagere goedkeuringscores wanneer ze reageerden op politiek of emotioneel geladen prompts in vergelijking met neutrale prompts, wat de moeilijkheid benadrukt die modellen ervaren bij het handhaven van neutraliteit onder hoge-stakes gebruikerskaders.
Nuance per Vraagstuk: Principal Component Analysis (PCA) van de antwoorden van deelnemers toonde aan dat hoewel een algemeen liberaal-conservatief as bestaat, veel vraagstukken (bijvoorbeeld vakbonden, doodstraf) zich niet netjes laten afstemmen op dit as. Dit valideert de aanpak van het artikel om neutraliteit per vraagstuk te definiëren in plaats van langs één enkel globaal as.

Betekenis en Beweringen

Het artikel claimt zowel het theoretische doel als de empirische mogelijkheid te vestigen om AI-modellen te bouwen die breed vertrouwen behouden onder mensen die het oneens zijn. Door de definitie van neutraliteit te verschuiven van "bias vermijden" naar "gelijke goedkeuring maximaliseren", betogen de auteurs dat AI kan fungeren als een gedeelde informatiebron die epistemische fragmentatie voorkomt.

De auteurs merken bescheiden op dat hoewel hun gebalanceerde antwoorden goed presteren, ze niet perfect zijn; goedkeuringscores overstijgen zelden 0,70 en deelnemers leveren nog steeds systematische kritiek op duidelijkheid en "valse beide-kanten-isme". Het werk claimt niet dat alle AI neutraal moet zijn, maar wel dat het bereiken van breed vertrouwen via gebalanceerde goedkeuring een essentieel publiek goed is. De PARETO-dataset wordt beschikbaar gesteld om toekomstig onderzoek te faciliteren naar geautomatiseerde evaluatie en de ontwikkeling van modellen die de MEA-ideaal beter benaderen.