Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

Technische Samenvatting: Grokipedia vs. Wikipedia: Een LLM-gebaseerde audit van politieke neutraliteit langs ideologieën

Probleemstelling
Online encyclopedieën fungeren als cruciale publieke kennisbronnen die de politieke opinie en het democratische discours vormgeven. Terwijl Wikipedia te maken heeft gehad met beschuldigingen van een "links-georiënteerde" of "liberale" bias, lanceerde xAI eind 2025 Grokipedia als een alternatieve encyclopedie, volledig gegenereerd door het Grok Large Language Model (LLM), gepositioneerd als een meer neutrale bron. De centrale onderzoeksvraag is of een door een LLM gegenereerde encyclopedie een grotere neutraliteit biedt dan een door mensen bewerkte, of dat het simpelweg een andere ideologische bias implementeert. Bovendien onderzoekt de studie, aangezien LLM's zelf ook vooroordelen kunnen hebben, hoe de keuze van de evaluator de beoordelingen van neutraliteit beïnvloedt.

Methodologie
De auteurs stellen een grootschalige audit-methodologie voor, gebaseerd op door experts gecodeerde ideologische dimensies en een panel van diverse LLM-judges. Het proces bestaat uit drie hoofdfasen:

1. Dataset Constructie:

   • Onderwerpen: De studie maakt gebruik van de WhoGov-dataset om 9.752 regeringsleden uit 177 landen (2016–2023) te identificeren.
   • Ideologische Grondslag: Om circulariteit te voorkomen (waarbij LLM's de ideologieën definiëren die ze meten), mappen de auteurs deze politici naar negen door experts gecodeerde ideologische dimensies uit de V-Party dataset. Deze dimensies omvatten culturele inclusiviteit, openheid voor immigratie, LGBT-gelijkheid, seculiere positionering, vrouwenarbeidsgelijkheid, anti-clientelisme, politiek pluralisme, anti-populisme en economisch rechtse standpunten.
   • Artikelverzameling: De auteurs extraheerden 1.394 gekoppelde artikelparen (Wikipedia vs. Grokipedia) voor politici die in beide bronnen een vermelding hadden, met een minimale lengte van 300 woorden en verificatie van de relevantie van de inhoud.

2. LLM Judges:

   • Vier verschillende LLM's werden ingezet als judges om neutraliteit te beoordelen: Grok-4 (de generator van Grokipedia), Claude-Opus-4.6 (getraind op politieke evenredigheid), DeepSeek-V4-Pro (een niet-Westers model) en Mistral-Medium-3.5 (een Europees model).
   • Prompting: De judges kregen de opdracht om artikelen te beoordelen op een 5-punts Likert-schaal (van "sterk bevooroordeeld tegen" tot "sterk bevooroordeeld ten gunste van") op basis van een formele definitie van neutraliteit, geïnspireerd door het Wikipedia Neutral Point of View (NPOV)-principe. Deze definitie bevatte criteria zoals het proportioneel presenteren van standpunten, het vermijden van oordelende taal en het onderscheiden van feiten van meningen.
   • Robuustheid: Een robuustheidstest bevestigde dat het verwijderen van de specifieke neutraliteitsdefinitie uit de prompt de richting van de beoordelingen niet significant veranderde.

3. Analyse:

   • Descriptieve Statistiek: Analyse van stemverdelingen en inter-rater betrouwbaarheid.
   • Regressieanalyse: De auteurs gebruikten Ordinary Least Squares (OLS) regressies om het effect van de negen ideologische dimensies op de neutraliteitsbeoordelingen te schatten.
     • Neutrality Differential Model: Schat het gat in neutraliteitsbeoordelingen tussen Wikipedia en Grokipedia ($\Delta Y$) als functie van ideologie.
     • Individuele Bronmodellen: Afzonderlijke regressies voor elke encyclopedie om te bepalen hoe specifieke ideologieën correleren met waargenomen bias binnen elke bron.

Belangrijkste Bijdragen

• Schaal en Omvang: Dit is de grootste studie tot nu toe die Grokipedia en Wikipedia vergelijkt, waarbij 1.394 artikelparen worden geanalyseerd (vergeleken met eerdere studies van 6 of 395 paren) en waarbij de volledige artikelen worden onderzocht in plaats van alleen de inleidingen.
• Expert Gronding: In tegen tegenstelling tot eerder werk dat LLM's gebruikte om ideologische scores te genereren, verankert deze studie de analyse in de door experts gecodeerde V-Party dataset, waardoor de ideologische categorieën orthogonaal zijn aan de LLM-oordelen.
• Multi-Judge Framework: De studie introduceert een panel van vier LLM's met gedocumenteerde diverse ideologische tendensen (Westers, niet-Westers, links-georiënteerd, rechts-georiënteerd, centristisch) om evaluator-bias te onderscheiden van inhoud-bias.
• Versie-specificiteit: De studie analyseert Grokipedia versie 0.2, waarbij zij opmerkingen maakt over significante verschillen in artikellengte en inhoud vergeleken met de V0.1 versie gebruikt in eerder onderzoek.

Resultaten

• Algemene Bias: Alle vier de LLM-judges beoordeelden Grokipedia als conterend meer bevooroordeeld dan Wikipedia. Grokipedia had een hoger aandeel artikelen dat als bevooroordeeld werd beoordeeld (39% vs. 29,7% voor Wikipedia).
• Richting van de Bias:
  • Grokipedia: Werd beoordeeld als gunstig bevooroordeeld ten gunste van economisch rechtse politici en zij die politiek pluralisme steunen. Daarentegen werd het beoordeeld als straffend (minder neutraal) voor politici met sociaal-liberale opvattingen, specifisch met betrekking tot LGBT-rechten en vrouwenarbeidsrechten.
  • Wikipedia: Werd als algemener neutraal beoordeeld, maar vertoonde een tendens naar gunstige bias voor politici met sociaal-liberale standpunten (LGBT en vrouwenrechten).
• Invloed van de Evaluator:
  • De LLM-judges varieerden aanzienlijk in strengheid. DeepSeek was de meest laconieke (86,9% neutrale beoordelingen), terwijl Claude de strengste was (25% neutrale beoordelingen).
  • Ondanks de verschillen in strengheid, waren de judges het grotendeels eens over de richting van de bias.
  • Cruciale Bevinding: Zelfs Grok, het model dat de inhoud van Grokipedia genereerde, beoordeelde Grokipedia als minder neutraal dan Wikipedia. Dit suggereert dat de ideologische patronen inherent zijn aan de gegenereerde inhoud en niet een artefact zijn van de evaluator-bias.

Betekenis en Claims
Het artikel beweert dat de keuze van de encyclopedie aanzienlijk van invloed is op de perceptie van politici op basis van hun ideologische profielen, in plaats van enkel op basis van hun biografieën. De bevindingen dagen het idee uit dat door LLM gegenereerde encyclopedieën inherent neutraler zijn; in plaats daarvan lijken ze systematische ideologische structuren te implementeren, die potentieel economisch rechtse en democratische normen bevoordelen, terwijl ze sociaal-liberalisme benadelen.

De studie benadrukt dat:

1. Door LLM gegenereerde inhoud niet immuun is voor bias: Grokipedia vertoont duidelijke ideologische vooroordelen die verschillen van die van Wikipedia.
2. Diversiteit van evaluatoren cruciaal is: Het vertrouwen op een enkele LLM-judge (vooral één met een specifieke ideologische neiging zoals Grok of DeepSeek) zou de omvang van de bias-verschillen kunnen onderschatten.
3. Auditing noodzakelijk is: Nu overheden en bedrijven snel kennisbases kunnen genereren, zijn methoden om hun ideologische positionering op grote schaal te auditeren essentieel voor de integriteit van publieke informatie-ecosystemen.

De auteurs blijven bescheiden en erkennen dat hun maatstaf voor bias afhankelijk is van hun specifieke operationalisering van neutraliteit en de beperkingen van het gebruik van LLM's als judges (bijv. potentiële identiteitsbiases). Zij beweren niet de absolute waarheid te hebben ontdekt, maar hebben systematische patronen geïdentificeerd in hoe deze twee encyclopedieën politieke figuren portretteren.