💬 NLP

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

Un audit su larga scala che confronta Grokipedia e Wikipedia rivela che la versione generata da un LLM, Grokipedia, è valutata come meno neutrale rispetto a Wikipedia da molteplici giudici IA, con Grokipedia che esibisce un pregiudizio a favore di politici economicamente di destra mentre penalizza quelli socialmente liberali, laddove Wikipedia mostra la tendenza opposta.

Autori originali: Filippos Vlahos, Guillaume Bied, Tijl De Bie

Pubblicato 2026-07-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Filippos Vlahos, Guillaume Bied, Tijl De Bie

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una gigantesca e frenetica biblioteca dove tutti sono invitati a scrivere libri. Per anni, una biblioteca chiamata Wikipedia è stata il luogo più popolare, ma alcune persone si sono lamentate del fatto che i bibliotecari di lì abbiano un certo "vibe" — forse pendono un po' troppo verso un lato dello spettro politico, come un coro che canta solo canzoni sulla pioggia quando splende il sole. Recentemente, una nuova biblioteca ha aperto le porte, chiamata Grokipedia, costruita interamente da un super-cervello informatico (un'IA) chiamato Grok. I creatori di questa nuova biblioteca hanno promesso che sarebbe stata la zona "neutrale" definitiva, un luogo privo di ogni pregiudizio umano, fatto solo di fatti puri. Ma ecco la grande domanda: può un robot essere davvero più equo di una folla di umani? Per capirlo, dobbiamo comprendere alcune cose. Primo, il "pregiudizio politico" è come un paio di occhiali colorati; se li indossi, il mondo appare di un certo colore, anche se il mondo stesso è grigio. Secondo, i "Large Language Models" (LLM) sono i cervelli informatici che scrivono questi articoli; sono come studenti incredibilmente veloci che hanno letto quasi tutto su internet e possono scrivere saggi in pochi secondi. Infine, la "neutralità" in questo contesto significa scrivere delle persone senza farle apparire come eroi o cattivi, descrivendo semplicemente chi sono. Questo articolo è una storia investigativa per capire se la nuova biblioteca robotica sia effettivamente più equa di quella vecchia umana, o se indossi semplicemente un paio di occhiali colorati diverso.

I ricercatori, un team dell'Università di Ghent, hanno deciso di sottoporre Grokipedia e Wikipedia al test con un esperimento massiccio. Non si sono limitati a leggere pochi articoli; hanno raccolto 1.394 coppie di articoli, dove ogni coppia descriveva esattamente lo stesso funzionario governativo (come un presidente o un ministro), ma una versione era scritta da umani su Wikipedia e l'altra dall'IA su Grokipedia. Per giudicare l'equità di questi articoli, non hanno chiesto a una sola persona; hanno usato quattro diversi giudici IA (incluso lo stesso Grok, oltre a Claude, Mistral e DeepSeek) per valutare quanto fosse neutrale ciascun articolo. Avevano anche un'arma segreta: una lista di 9 diversi "segnali ideologici" (come "supporta l'immigrazione", "supporta i diritti delle donne" o "supporta il libero mercato") che gli esperti avevano già assegnato a ciascun politico. Ciò ha permesso ai ricercatori di vedere se gli articoli trattavano i politici in modo diverso in base alle loro convinzioni politiche.

I risultati sono stati un po' sorprendenti, e forse un po' ironici. In primo luogo, i giudici IA concordavano sul fatto che nessuna delle due enciclopedie fosse perfettamente neutrale. Infatti, Grokipedia è stata valutata come avente articoli piamente più distorti rispetto a Wikipedia. Quando i giudici hanno guardato da vicino come si manifestasse il pregiudizio, hanno trovato un modello chiaro. Grokipedia sembrava avere una predilezione per i politici economicamente "di destra" (quelli che vogliono meno regolamentazione governativa e stati di welfare più piccoli) e per coloro che sostenevano le norme democratiche. Tuttavia, era molto più dura con i politici che sostenevano visioni socialmente liberali, come il supporto ai diritti LGBT o ai diritti lavorativi delle donne. Wikipedia, d'altra parte, è stata valutata come più favorevole verso quei politici socialmente liberali, ma i ricercatori hanno scoperto che, nel complesso, Wikipedia era comunque vista come più neutrale di Grokipedia.

Forse il colpo di scena più affascinante della storia riguarda Grok, l'IA che ha scritto Grokipedia. Si potrebbe pensare che se chiedi a un robot di giudicare il proprio lavoro, esso dirà: "Ehi, sono perfetto!". Ma lo studio ha scoperto che Grok ha effettivamente valutato la propria enciclopedia (Grokipedia) come meno neutrale rispetto alla Wikipedia scritta dagli umani. Questo suggerisce che il pregiudizio non è solo un errore nel modo in cui i giudici assegnano i punteggi, ma che il pregiudizio è effettivamente radicato negli articoli scritti da Grok. I ricercatori suggeriscono che, sebbene Grokipedia sia stata costruita per essere un'alternativa neutrale, ha finito per incorporare un tipo di ideologia diverso — uno che favorisce il conservatorismo economico e penalizza il liberalismo sociale.

Lo studio ha anche esaminato il comportamento dei diversi giudici IA. Non erano tutti uguali. Ad esempio, un giudice chiamato DeepSeek era molto generoso, definendo quasi tutto "neutrale", mentre un altro chiamato Claude era molto più severo, trovando pregiudizi in molti più articoli. Tuttavia, nonostante queste differenze di severità, tutti i giudici concordavano sulla direzione del pregiudizio: Grokipedia favoriva la destra economica, e Wikipedia tendeva leggermente verso la sinistra sociale. I ricercatori concludono che, sebbene l'IA possa scrivere voci enciclopediche rapidamente, ciò non la rende automaticamente più equa. Infatti, la scelta dell'enciclopedia che si legge potrebbe cambiare il modo in cui si vedono i politici, a seconda di quale "gusto" politico l'enciclopedia preferisce. Lo studio suggerisce che dobbiamo fare attenzione ai contenuti generati dall'IA e che l'uso di un team diversificato di giudici (sia umani che macchine) è il modo migliore per individuare questi pregiudizi nascosti.

Sintesi Tecnica: Grokipedia vs Wikipedia: Un Audit dell'Neutralità Politica lungo le Ideologie basato su LLM

Problematica
Le enciclopedie online fungono da basi critiche per la conoscenza pubblica che modellano l'opinione politica e il discorso democratico. Mentre Wikipedia ha affrontato accuse di pregiudizio "sinistro" o "liberale", xAI ha lanciato Grokipedia alla fine del 2025 come un'enciclopedia alternativa generata interamente dal Large Language Model (LLM) Grok, posizionandosi come una fonte più neutrale. La domanda centrale di ricerca è se un'enciclopedia generata da un LLM offra una maggiore neutralità rispetto a una redatta da esseri umani, o se semplicemente incorpori un diverso pregiudizio ideologico. Inoltre, dato che gli stessi LLM possono possedere dei bias, lo studio indaga come la scelta del valutatore influenzi le valutazioni della neutralità.

Metodologia
Gli autori propongono una metodologia di audit su larga scala basata su dimensioni ideologiche codificate da esperti e un panel di diversi giudici LLM. Il processo prevede tre fasi principali:

Costruzione del Dataset:
- Soggetti: Lo studio utilizza il dataset WhoGov per identificare 9.752 membri di governi da 177 paesi (2016–2023).
- Fondamento Ideologico: Per evitare la circolarità (dove gli LLM definiscono le ideologie che stanno misurando), gli autori mappano questi politici su nove dimensioni ideologiche codificate da esperti dal dataset V-Party. Queste dimensioni includono l'inclusività culturale, l'apertura all'immigrazione, l'uguaglianza LGBT, il posizionamento secolare, l'uguaglianza lavorativa delle donne, l'anti-clientelismo, il pluralismo politico, l'anti-populismo e la posizione economica di destra.
- Raccolta degli Articoli: Gli autori hanno estratto 1.394 coppie di articoli corrispondenti (Wikipedia vs Grokipedia) per politici che avevano voci in entrambe le fonti, rispettando una lunghezza minima di 300 parole e verificando la pertinenza del contenuto.
Giudici LLM:
- Sono stati impiegati quattro distinti LLM come giudici per valutare la neutralità: Grok-4 (il generatore di Grokipedia), Claude-Opus-4.6 (addestrato per l'equità politica), DeepSeek-V4-Pro (un modello non occidentale) e Mistral-Medium-3.5 (un modello europeo).
- Prompting: Ai giudici è stato chiesto di valutare gli articoli su una scala Likert a 5 punti (da "fortemente parziale contro" a "fortemente parziale a favore") basandosi su una definizione formale di neutralità ispirata al principio di Punto di Vista Neutrale (NPOV) di Wikipedia. Questa definizione includeva criteri quali la presentazione proporzionale dei punti di vista, l'evitare un linguaggio giudicante e la distinzione tra fatti e opinioni.
- Robustezza: Un test di robustezza ha confermato che rimuovere la specifica definizione di neutralità dal prompt non ha alterato significativamente la direzione delle valutazioni.
Analisi:
- Statistica Descrittiva: Analisi della distribuzione dei voti e dell'affidabilità inter-rater.
- Analisi di Regressione: Gli autori hanno impiegato regressioni Ordinary Least Squares (OLS) per stimare l'effetto delle nove dimensioni ideologiche sulle valutazioni di neutralità.
  - Modello del Differenziale di Neutralità: Stima il divario nelle valutazioni di neutralità tra Wikipedia e Grokipedia ( $\Delta Y$ ) in funzione dell'ideologia.
  - Modelli per Singola Fonte: Regressioni separate per ciascuna enciclopedia per determinare come specifiche ideologie correlino con il pregiudizio percepito all'interno di ciascuna fonte.

Contributi Chiave

Scala e Portata: Questo è il più grande studio che confronta Grokipedia e Wikipedia ad oggi, analizzando 1.394 coppie di articoli (rispetto ai precedenti studi di 6 o 395 coppie) ed esaminando l'intero contenuto degli articoli anziché solo le introduzioni.
Fondamento Esperto: A differenza di lavori precedenti che utilizzavano LLM per generare punteggi ideologici, questo studio ancora l'analisi al dataset V-Party codificato da esperti, garantendo che le categorie ideologiche siano ortogonali ai giudizi dell'LLM.
Framework Multi-Giudice: Lo studio introduce un panel di quattro LLM con tendenze ideologiche documentate (occidentali, non occidentali, orientati a sinistra, orientati a destra, centristi) per separare il bias del valutatore dal bias del contenuto.
Specificità della Versione: Lo studio analizza la versione 0.2 di Grokipedia, notando differenze significative nella lunghezza e nel contenuto rispetto alla versione V0.1 utilizzata nella ricerca precedente.

Risultati

Bias Complessivo: Tutti e quattro i giudici LLM hanno valutato Grokipedia come contenente più bias rispetto a Wikipedia. Grokipedia ha una quota maggiore di articoli valutati come parziali (39% rispetto al 29,7% di Wikipedia).
Direzione del Bias:
- Grokipedia: Valutata come favorevolmente parziale verso politici economicamente di destra e coloro che sostengono il pluralismo politico. Al contrario, è stata valutata come penalizzante (meno neutrale) nei confronti di politici con posizioni socialmente liberali, specificamente riguardo ai diritti LGBT e ai diritti lavorativi delle donne.
- Wikipedia: Valutata come più neutrale nel complesso, ma mostra una tendenza al bias favorevole per politici con posizioni socialmente liberali (diritti LGBT e diritti delle donne).
Influenza del Valutatore:
- I giudici LLM variavano significativamente in termini di severità. DeepSeek è stato il più indulgente (86,9% di valutazioni neutrali), mentre Claude è stato il più severo (25% di valutazioni neutrali).
- Nonostante le differenze di severità, i giudici concordavano ampiamente sulla direzione del bias.
- Risultato Cruciale: Persino Grok, il modello che ha generato Grokipedia, ha valutato Grokipedia come meno neutrale di Wikipedia. Ciò suggerisce che i pattern ideologici sono intrinseci al contenuto generato piuttosto che un artefatto del bias del valutatore.

Significatività e Rivendicazioni
L'articolo sostiene che la scelta dell'enciclopedia influisce significativamente sulla percezione dei politici in base ai loro profili ideologici piuttosto che solo sulle loro biografie. I risultati sfidano la nozione che le enciclopedie generate da LLM siano intrinsecamente più neutrali; esse sembrano invece incorporare strutture ideologiche sistematiche, potenzialmente favorendo la destra economica e le norme democratiche, penalizzando al contempo il liberalismo sociale.

Lo studio sottolinea che:

Il contenuto generato da LLM non è immune dal bias: Grokipedia esibisce bias ideologici distinti che differiscono da quelli di Wikipedia.
La diversità dei valutatori è critica: Affidarsi a un singolo giudice LLM (specialmente uno con una specifica inclinazione ideologica come Grok o DeepSeek) potrebbe sottostimare l'entità dei divari di bias.
L'audit è necessario: Poiché i governi e le corporazioni possono generare rapidamente basi di conoscenza, i metodi per sottoporre a audit il loro posizionamento ideologico su larga scala sono vitali per l'integritità degli ecosistemi informativi pubblici.

Gli autori mantengono un approccio modesto, riconoscendo che la loro misura di bias è condizionata dalla specifica operazionalizzazione della neutralità e dai limiti dell'uso di LLM come giudici (ad esempio, potenziali bias di identità). Non pretendono di aver scoperto la verità assoluta, ma piuttosto di aver identificato pattern sistematici nel modo in cui queste due enciclopedie ritraggono le figure politiche.

Articoli simili