Wikipedia and Grokipedia: A Comparison of Human and Generative Encyclopedias

Probleemstelling
Hoewel systemen gebaseerd op Large Language Models (LLM's) steeds vaker worden gebruikt voor zoekopdrachten, samenvattingen en automatische tekstproductie, blijft hun specifieke rol bij het bemiddelen van encyclopedische inhoud onderbelicht. Bestaand onderzoek heeft Wikipedia uitgebreid onderzocht als een collaborief kennissysteem, met de focus op redactionele conflicten, polarisatie en governance. Daarentegen heeft onderzoek naar generatieve systemen zich grotendeels gericht op hallucinaties, bias en feitelijke juistheid. Er bestaat een aanzienlijke kloof in het begrip van hoe generatieve systemen interageren met gevestigde referentiekennis-infrastructuren. Specifiek is het onduidelijk hoe generatieve bemiddeling de structurele organisatie van encyclopedische inhoud verandert, inclusief hoe inhoud wordt geselecteerd, herschreven, gestabiliseerd en geframed wanneer deze afkomstig is van door mensen gecureerde bronnen zoals Wikipedia. Deze studie adresseert deze kloof door Wikipedia en Grokipedia, een generatieve encyclopedie gebouwd bovenop Wikipedia, systematisch te vergelijken om te bepalen hoe generatieve bemiddeling de referentie-inhoud vormgeeft voorbij individuele outputs.

Methodologie
De auteurs voerden een systematische, paginagewijze vergelijking uit tussen Wikipedia en Grokipedia over drie topische domeinen: Amerikaanse politiek, geopolitiek en content gerelateerd aan complottheorieën. De analyse richtte zich op vier complementaire dimensies:

1. Inhoudelijke selectie en herschrijven: De studie modelleerde de paginapresentatie in Grokipedia als een functie van de populariteit van Wikipedia-pagina's (weergaven), referentiedichtheid en redactionele activiteit (bewerkingen en terugdraaiingen). Logistische regressie werd gebruikt om de waarschijnlijkheid te bepalen dat een Wikipedia-pagina in Grokipedia verschijnt en de waarschijnlijkheid dat die geïncludeerde pagina generatief wordt herschreven. Kenmerken werden gediscretiseerd in ordinale niveaus (Laag, Midden, Hoog, Zeer Hoog) om heavy-tailed distributies te behanden.
2. Redactionele participatie en complexiteit: Om veranderingen in de redactionele dynamiek te beoordelen, analyseerden de auteurs de bewerkingsactiviteit op beide platforms tijdens een specifieke periode (eind oktober tot november 2025). Ze pasten een fitness–complexiteitskader toe (geadapteerd van economische productanalyse) op de editor–pagina bipartiete matrix. In dit model worden editors behandeld als "landen" en pagina's als "producten", waardoor de paginacomplexiteit kan worden geschat op basis van de "fitness" (breedte en ervaring) van de bijdragende editors.
3. Narratieve structuur: De narratieve organisatie werd gereconstrueerd met behulp van Abstract Meaning Representation (AMR) om actor–relatie-netwerken uit artikelteksten te extraheren. Entiteiten dienden als knopen, en gerichte randen codeerden relaties (agent–doelwit) met toegewezen polariteiten (ondersteunend, conflicterend, neutraal). Dit maakte een vergelijking mogelijk van globale narratieve structuren en lokale sentimentbalansen (uitgaand en inkomend) tussen de twee bronnen.
4. Evaluatieve framing: De auteurs analyseerden de "lead section" van artikelen (de inleidende tekst voor de eerste koptekst) om framing te meten langs twee dimensies: lovetende framing (prijzing/bewondering) en conflict/controversie framing (geschillen). Een LLM (gemma3:4b) werd gebruikt om zinnen binnen de lead sections te classificeren, waarbij scores werden gegenereerd voor het deel van de tekst dat deze framings vertoont.

Belangrijkste resultaten

• Niet-uniforme selectie: Grokipedia bemonster Wikipedia niet uniform. Inclusie correleert positief met pagina-populariteit, referentiedichtheid en redactionele activiteit. Pagina's met een hogere zichtbaarheid en recente redactionele conflicten worden vaker opgenomen.
• Herschrijpatronen: Onder de geïncludeerde pagina's is de waarschijnlijkheid van generatieve herschrijving positief geassocieerd met referentiedichtheid en recente redactionele activiteit (bewerkingen en terugdraaiingen). Omgekeerd zijn zeer populaire pagina's eerder geneigd om verbatim te worden gereproduceerd. Dit sugggeert dat Grokipedia vaker ingrijpt op pagina's die gekenmerkt worden door instabiliteit en onenigheid.
• Redactionele dynamiek: Hoewel beide platforms pieken in bewerkingsactiviteit laten zien als gevolg van gebeurtenissen, concentreerden de editors van Grokipedia hun activiteit op bredere, duurzame onderwerpen (bijv. Elon Musk, historische figuren) in plaats van de specifieke nieuwsgebeurtenissen die de Wikipedia-bewerkingen aanstuurden. De fitness–complexiteitsanalyse onthulde een zwakke positieve correlatie in paginacomplexiteit tussen de twee platforms, wat aangeeft dat de samenstelling van de bijdragersgemeenschappen voor dezelfde onderwerpen aanzienlijk verschilt.
• Narratieve stabiliteit: Ondanks generatieve herschrijving blijft de globale narratieve structuur grotendeels consistent. Actor–relatie-netwerken vertonen vergelijkbare niveaus van reciprociteit en cyclische structuren, en de rangschikking van prominente entiteiten is consistent over de twee bronnen.
• Framing verschuivingen: Hoewel de algemene framing gecorreleerd is, treden er gelokaliseerde verschuivingen op. Grokipedia vertoont meer lovende framing en een verminderde nadruk op conflict voor specifieke saillante onderwerpen, met name binnen de Amerikaanse politiek (bijv. Donald Trump, Marjorie Taylor Greene) en content gerelateerd aan complottheorieën.

Belangrijkste bijdragen
Het artikel biedt een systematische empirische vergelijking van referentie- en generatieve encyclopedische systemen, waarbij de focus verschuift van geïsoleerde feitelijke fouten naar de analyse van structurele eigenschappen. Het demonstreert dat generatieve systemen de kern van de narratieve organisatie van bestaande referentie-inhoud behouden, terwijl ze deze significant veranderen:

1. Selectie: Prioriteit geven aan pagina's met een hoge zichtbaarheid en hoog conflict.
2. Herschrijven: Ingrijpen op pagina's met een hoge referentiedichtheid en redactionele instabiliteit.
3. Framing: Het introduceren van gelokaliseerde verschuivingen naar een lovende taal en minder conflictgeoriënteerde taal voor specifieke actoren.

Betekenis
De studie stelt dat generatieve encyclopedische systemen niet louter als tekstgeneratoren moeten worden beschouwd, maar als bemiddelende lagen die bestaande kennis-infrastructuren reorganiseren. De bevindingen suggereren dat evaluaties die uitsluitend gebaseerd zijn op accuratesse of ideologische bias onvoldoende zijn. In plaats daarvan moet de impact van generatieve systemen worden begrepen via de lens van inhoudelijke selectie, de consolidatie van betwiste materiaal door herschrijven, en de wijzigingen in de evaluatieve framing op het punt van presentatie. De auteurs concluderen dat hoewel de structurele ruggengraat van encyclopedische kennis behouden blijft, de generatieve bemiddelingslaag de manier waarop inhoud wordt geselecteerd, gestabiliseerd en gepresenteerd aan de gebruiker fundamenteel verandert.