Wikipedia and Grokipedia: A Comparison of Human and Generative Encyclopedias

Problematica
Sebbene i sistemi basati su Large Language Models (LLM) siano sempre più utilizzati per la ricerca, la sintesi e la produzione automatizzata di testi, il loro ruolo specifico nella mediazione dei contenuti enciclopedici rimane sottoesplorato. La ricerca esistente ha esaminato ampiamente Wikipedia come sistema di conoscenza collaborativo, concentrandosi sul conflitto editoriale, la polarizzazione e la governance. Al contrario, la ricerca sui sistemi generativi si è concentrata principalmente su allucinazioni, bias e accuratezza fattuale. Esiste una lacuna significativa nella comprensione di come i sistemi generativi interagiscano con le infrastrutture di conoscenza di riferimento consolidate. Nello specifico, non è chiaro come la mediazione generativa alteri l'organizzazione strutturale del contenuto enciclopedico, inclusi il modo in cui il contenuto viene selezionato, riscritto, stabilizzato e inquadrato quando tratto da fonti curate da esseri umani come Wikipedia. Questo studio affronta tale lacuna confrontando sistematicamente Wikipedia e Grokipedia, un'enciclopedia generativa costruita sopra Wikipedia, per determinare come la mediazione generativa rimodelli il contenuto di riferimento oltre i singoli output.

Metodologia
Gli autori hanno condotto un confronto sistematico a livello di pagina tra Wikipedia e Grokipedia attraverso tre domini tematici: politica statunitense, geopolitica e contenuti relativi a teorie del complotto. L'analisi si è concentrata su quattro dimensioni complementari:

1. Selezione e riscrittura del contenuto: Lo studio ha modellato l'inclusione delle pagine in Grokipedia come funzione della popolarità della pagina di Wikipedia (visualizzazioni), della densità di riferimenti e dell'attività editoriale (modifiche e reversione). È stata utilizzata la regressione logistica per determinare la probabilità che una pagina di Wikipedia appaia in Grokipedia e la probabilità che tale pagina inclusa venga riscritta in modo generativo. Le caratteristiche sono state discretizzate in livelli ordinali (Basso, Medio, Alto, Molto Alto) per gestire distribuzioni a coda pesante.
2. Partecipazione editoriale e complessità: Per valutare i cambiamenti nelle dinamiche editoriali, gli autori hanno analizzato l'attività di editing su entrambe le piattaforme durante una finestra specifica (fine ottobre - novembre 2025). Hanno applicato un framework fitness–complessità (adattato dall'analisi dei prodotti economici) alla matrice bipartita editore–pagina. In questo modello, gli editori sono trattati come "paesi" e le pagine come "prodotti", consentendo la stima della complessità della pagina basata sulla "fitness" (ampiezza ed esperienza) degli editori contribuenti.
3. Struttura narrativa: L'organizzazione narrativa è stata ricostruita utilizzando l'Abstract Meaning Representation (AMR) per estrarre reti attore-relazione dai testi degli articoli. Le entità fungono da nodi, e gli archi diretti codificano le relazioni (agente–target) con polarità assegnate (di supporto, di conflitto, neutre). Ciò ha permesso il confronto tra le strutture narrative globali e i bilanciamenti di sentimento locali (uscenti e entranti) tra le due fonti.
4. Inquadramento valutativo: Gli autori hanno analizzato la "sezione introduttiva" (lead section) degli articoli (il testo introduttivo prima del primo titolo) per misurare l'inquadramento lungo due dimensioni: inquadramento laudativo (lode/ammirazione) e inquadramento di conflitto/controversia (dispute). Un LLM (gemma3:4b) è stato utilizzato per classificare le frasi all'interno delle sezioni introduttive, generando punteggi per la frazione di testo che esibisce tali inquadramenti.

Risultati Chiave

• Selezione non uniforme: Grokipedia non campiona Wikipedia in modo uniforme. L'inclusione è correlata positivamente con la popolarità della pagina, la densità di riferimenti e l'attività editoriale. Le pagine con maggiore visibilità e recente conflitto editoriale hanno maggiori probabilità di essere incluse.
• Modelli di riscrittura: Tra le pagine incluse, la probabilità di riscrittura generativa è associata positivamente alla densità di riferimenti e all'attività editoriale recente (modifiche e reversioni). Al contrario, le pagine altamente popolari hanno maggiori probabilità di essere riprodotte letteralmente. Ciò suggerisce che Grokipedia interviene più frequentemente sulle pagine caratterizzate da instabilità e disaccordo.
• Dinamiche editoriali: Sebbene entrambe le piattaforme mostrino picchi di editing guidati da eventi, gli editori di Grokipedia hanno concentrato l'attività su argomenti ampi e duraturi (es. Elon Musk, figure storiche) piuttosto che sugli specifici eventi di attualità che hanno guidato l'editing su Wikipedia. L'analisi fitness–complessità ha rivelato una debole correlazione positiva nella complessità delle pagine tra le due piattaforme, indicando che la composizione delle comunità di contributori differisce significativamente per gli stessi argomenti.
• Stabilità narrativa: Nonostante la riscrittura generativa, la struttura narrativa globale rimane ampiamente coerente. Le reti attore-relazione mostrano livelli simili di reciprocità e struttura ciclica, e la classifica delle entità prominenti è coerente tra le due fonti.
• Spostamenti di inquadramento: Sebbene l'inquadramento generale sia correlato, si verificano spostamenti localizzati. Grokipedia esibisce un inquadramento più laudativo e una riduzione dell'enfasi sul conflitto per specifici temi salienti, particolarmente all'interno della politica statunitense (es. Donald Trump, Marjorie Taylor Greene) e dei contenuti legati alle teorie del complotto.

Contributi Chiave
Il documento fornisce un confronto empirico sistematico tra sistemi enciclopedici di riferimento e generativi, andando oltre gli errori fattuali isolati per analizzare le proprietà strutturali. Dimostra che i sistemi generativi preservano l'organizzazione narrativa centrale del contenuto di riferimento esistente pur alterando significativamente:

1. Selezione: Priorità alle pagine ad alta visibilità e alto conflitto.
2. Riscrittura: Intervento più frequente sulle pagine con alta densità di riferimenti e instabilità editoriale.
3. Inquadramento: Introduzione di spostamenti localizzati verso un linguaggio laudativo e meno orientato al conflitto per specifici attori.

Significatività
Lo studio sostiene che i sistemi enciclopedici generativi non debbano essere visti solo come generatori di testo, ma come livelli di mediazione che riorganizzano le infrastrutture di conoscenza esistenti. I risultati suggeriscono che le valutazioni basate esclusivamente sull'accuratezza o sul bias ideologico siano insufficienti. Inveve, l'impatto dei sistemi generativi deve essere compreso attraverso la lente della selezione dei contenuti, della consolidazione del materiale contestato attraverso la riscrittura e delle alterazioni dell'inquadramento valutativo al punto di presentazione. Gli autori concludono che, sebbene lo scheletro strutturale della conoscenza enciclopedica sia preservato, lo strato di mediazione generativa cambia fondamentalmente il modo in cui il contenuto viene selezionato, stabilizzato e presentato all'utente.