💬 NLP

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

Uma auditoria em larga escala comparando a Grokipedia e a Wikipedia revela que a Grokipedia, gerada por LLM, é classificada como menos neutra que a Wikipedia por múltiplos juízes de IA, com a Grokipedia exibindo um viés favorável a políticos economicamente de direita enquanto penaliza os socialmente liberais, ao passo que a Wikipedia mostra a tendência oposta.

Autores originais: Filippos Vlahos, Guillaume Bied, Tijl De Bie

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Filippos Vlahos, Guillaume Bied, Tijl De Bie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca gigante e movimentada onde todos são convidados a escrever os livros. Por anos, uma biblioteca chamada Wikipedia foi o lugar mais popular, mas algumas pessoas reclamaram que os bibliotecários de lá têm uma "vibe" específica — talvez eles se inclinem demais para um lado do espectro político, como um coro que só canta músicas sobre chuva quando o sol está brilhando. Recentemente, uma nova biblioteca abriu chamada Grokipedia, construída inteiramente por um cérebro de computador superinteligente (uma IA) chamado Grok. Os criadores desta nova biblioteca prometeram que ela seria a zona de "neutralidade" definitiva, um lugar sem o viés humano, apenas fatos puros. Mas a grande questão é: um robô pode ser realmente mais justo que uma multidão de humanos? Para descobrir, precisamos entender algumas coisas. Primeiro, "viés político" é como um par de óculos coloridos; se você os usa, o mundo parece de uma certa cor, mesmo que o mundo em si seja cinza. Segundo, "Modelos de Linguagem de Grande Escala" (LLMs) são os cérebos de computador que escrevem esses artigos; eles são como estudantes incrivelmente rápidos que leram quase tudo na internet e podem escrever ensaios em segundos. Finalmente, "neutralidade", neste contexto, significa escrever sobre pessoas sem fazê-las parecer heróis ou vilões, apenas descrevendo quem elas são. Este artigo é uma história de detetive sobre se a nova biblioteca de robôs é realmente mais justa do que a antiga biblioteca humana, ou se ela apenas usa um par diferente de óculos coloridos.

Os pesquisadores, uma equipe da Universidade de Ghent, decidiram colocar a Grokipedia e a Wikipedia à prova com um experimento massivo. Eles não leram apenas alguns artigos; eles reuniram 1.394 pares de artigos, onde cada par descrevia exatamente o mesmo funcionário do governo (como um presidente ou um ministro), mas uma versão foi escrita por humanos na Wikipedia e a outra pela IA na Grokipedia. Para julgar a imparcialidade desses artigos, eles não perguntaram apenas a uma pessoa; eles usaram quatro diferentes IAs "juízes" (incluindo o próprio Grok, além de Claude, Mistral e DeepSeek) para avaliar o quão neutro cada artigo era. Eles também tinham uma arma secreta: uma lista de 9 diferentes "bandeiras ideológicas" (como "apoia a imigração", "apoia os direitos das mulheres" ou "apoia o livre mercado") que especialistas já haviam atribuído a cada político. Isso permitiu aos pesquisadores ver se os artigos tratavam os políticos de forma diferente com base em suas crenças políticas.

Os resultados foram um pouco surpreendentes e talvez um pouco irônicos. Primeiro, os juízes de IA concordaram que nenhuma das enciclopédias era perfeitamente neutra. Na verdade, a Grokipedia foi classificada como tendo artigos mais enviesados no geral do que a Wikipedia. Quando os juízes olharam de perto como o viés aparecia, encontraram um padrão claro. A Grokipedia parecia ter uma preferência por políticos que eram economicamente de "direita" (aqueles que querem menos regulação governamental e estados de bem-estar social menores) e aqueles que apoiavam normas democráticas. No entanto, era muito mais dura com políticos que mantinham visões socialmente liberais, como aqueles que apoiam os direitos LGBT ou os direitos trabalhistas das mulheres. A Wikipedia, por outro lado, foi avaliada como sendo mais favorável aos políticos socialmente liberais, mas os pesquisadores descobriram que, no geral, a Wikipedia ainda era vista como mais neutra do que a Grokipedia.

Talvez a reviravolta mais fascinante da história envolva o Grok, a IA que escreveu a Grokipedia. Você poderia pensar que, se pedir a um robô para julgar seu próprio trabalho, ele diria: "Ei, eu sou perfeito!". Mas o estudo descobriu que o Grok na verdade classificou sua própria enciclopédia (a Grokipedia) como menos neutra do que a Wikipedia escrita por humanos. Isso sugere que o viés não é apenas um erro na forma como os juízes estão pontuando; o viés está, na verdade, incorporado nos artigos que o Grok escreveu. Os pesquisadores sugerem que, embora a Grokipedia tenha sido construída para ser uma alternativa neutra, ela acabou incorporando um tipo diferente de ideologia — uma que favorece o conservadorismo econômico e penaliza o liberalismo social.

O estudo também observou como os diferentes juízes de IA se comportaram. Eles não eram todos iguais. Por exemplo, um juiz chamado DeepSeek foi muito generoso, chamando quase tudo de "neutro", enquanto outro chamado Claude foi muito mais rigoroso, encontrando viés em muitos mais artigos. No entanto, mesmo com essas diferenças de rigor, todos os juízes concordaram sobre a direção do viés: a Grokipedia favorecia a direita econômica, e a Wikipedia inclinava-se ligeiramente para a esquerda social. Os pesquisadores concluem que, embora a IA possa escrever entradas de enciclopédia rapidamente, isso não a torna automaticamente mais justa. De fato, a escolha da enciclopédia que você lê pode mudar como você vê os políticos, dependendo de qual "sabor" político aquela enciclopédia prefere. O estudo sugere que precisamos ter cuidado com o conteúdo gerado por IA e que usar uma equipe diversificada de juízes (tanto humanos quanto máquinas) é a melhor maneira de detectar esses vieses ocultos.

Resumo Técnico: Grokipedia vs. Wikipedia: Uma Auditoria de Neutralidade Política ao Longo de Ideologias Baseada em LLM

Problema
As enciclopédias online funcionam como bases críticas de conhecimento público que moldam a opinião política e o discurso democrático. Enquanto a Wikipedia enfrentou acusações de viés "de esquerda" ou "liberal", a xAI lançou a Grokipedia no final de 2025 como uma alternativa de enciclopédia gerada inteiramente pelo Large Language Model (LLM) Grok, posicionando-a como uma fonte mais neutra. A questão central de pesquisa é se uma enciclopédia gerada por LLM entrega maior neutralidade do que uma editada por humanos, ou se ela simplesmente incorpora um viés ideológico diferente. Além disso, dado que os próprios LLMs podem possuir vieses, o estudo investiga como a escolha do avaliador influencia as avaliações de neutralidade.

Metodologia
Os autores propõem uma metodologia de auditoria em larga escala fundamentada em dimensões ideológicas codificadas por especialistas e um painel de diversos juízes de LLM. O processo envolve três etapas principais:

Construção do Conjunto de Dados:
- Assuntos: O estudo utiliza o conjunto de dados WhoGov para identificar 9.752 membros de governos de 177 países (2016–2023).
- Fundamentação Ideológica: Para evitar circularidade (onde os LLMs definem as ideologias que estão medindo), os autores mapeiam esses políticos em nove dimensões ideológicas codificadas por especialistas do conjunto de dados V-Party. Essas dimensões incluem inclusão cultural, abertura à imigração, igualdade LGBT, posicionamento secular, igualdade de trabalho feminino, anti-clientelismo, pluralismo político, anti-populismo e postura de direita econômica.
- Coleta de Artigos: Os autores extraíram 1.394 pares de artigos correspondentes (Wikipedia vs. Grokipedia) para políticos que possuíam entradas em ambas as fontes, atendendo a um comprimento mínimo de 300 palavras e verificando a relevância do conteúdo.
Juízes LLM:
- Quatro LLMs distintos foram empregados como juízes para avaliar a neutralidade: Grok-4 (o gerador da Grokipedia), Claude-Opus-4.6 (treinado para imparcialidade política), DeepSeek-V4-Pro (um modelo não ocidental) e Mistral-Medium-3.5 (um modelo europeu).
- Prompting: Os juízes foram solicitados a avaliar os artigos em uma escala Likert de 5 pontos (de "fortemente enviesado contra" a "fortemente enviesado a favor") com base em uma definição formal de neutralidade inspirada no princípio de Ponto de Vista Neutro (NPOV) da Wikipedia. Esta definição incluiu critérios como apresentar pontos de vista proporcionalmente, evitar linguagem de julgamento e distinguir fatos de opiniões.
- Robustez: Um teste de robustez confirmou que a remoção da definição específica de neutralidade do prompt não alterou significativamente a direção das classificações.
Análise:
- Estatística Descritiva: Análise das distribuições de votos e confiabilidade inter-avaliador.
- Análise de Regressão: Os autores empregaram regressões de Mínimos Quadrados Ordinários (OLS) para estimar o efeito das nove dimensões ideológicas nas classificações de neutralidade.
  - Modelo de Diferencial de Neutralidade: Estima a lacuna nas classificações de neutralidade entre Wikipedia e Grokipedia ( $\Delta Y$ ) como uma função da ideologia.
  - Modelos de Fonte Individual: Regressões separadas para cada enciclopédia para determinar como ideologias específicas se correlacionam com o viés percebido dentro de cada fonte.

Principais Contribuições

Escala e Escopo: Este é o maior estudo comparando Grokipedia e Wikipedia até o momento, analisando 1.394 pares de artigos (comparado a estudos anteriores de 6 ou 395 pares) e examinando a totalidade dos artigos em vez de apenas as introduções.
Fundamentação por Especialistas: Ao contrário de trabalhos anteriores que usaram LLMs para gerar pontuações ideológicas, este estudo ancora a análise no conjunto de dados V-Party codificado por especialistas, garantindo que as categorias ideológicas sejam ortogonais aos julgamentos do LLM.
Estrutura de Múltiplos Juízes: O estudo introduz um painel de quatro LLMs com tendências ideológicas documentadas diversas (ocidentais, não ocidentais, de esquerda, de direita, centristas) para separar o viés do avaliador do viés do conteúdo.
Especificidade de Versão: O estudo analisa a versão 0.2 da Grokipedia, observando diferenças significativas no comprimento e conteúdo dos artigos em relação à versão V0.1 usada em pesquisas anteriores.

Resultos

Viés Geral: Todos os quatro juízes LLM classificaram a Grokipedia como contendo mais viés do que a Wikipedia. A Grokipedia teve uma parcela maior de artigos classificados como enviesados (39% vs. 29,7% para a Wikipedia).
Direção do Viés:
- Grokipedia: Foi classificada como favoravelmente enviesada em relação a políticos economicamente de direita e àqueles que apoiam o pluralismo político. Por outro lado, foi classificada como penalizando (menos neutra) políticos com visões socialmente liberais, especificamente em relação aos direitos LGBT e direitos de trabalho das mulheres.
- Wikipedia: Foi classificada como mais neutra no geral, mas mostrou uma tendência de viés favorável para políticos com posturas socialmente liberais (direitos LGBT e direitos das mulheres).
Influência do Avaliador:
- Os juízes LLM variaram significamente em rigor. O DeepSeek foi o mais leniente (86,9% de classificações neutras), enquanto o Claude foi o mais rigoroso (25% de classificações neutras).
- Apesar das diferenças de rigor, os juízes concordaram amplamente sobre a direção do viés.
- Descoberta Crucial: Mesmo o Grok, o modelo que gerou a Grokipedia, classificou a Grokipedia como menos neutra que a Wikipedia. Isso sugere que os padrões ideológicos são intrínsecos ao conteúdo gerado, e não um artefato do viés do avaliador.

Significância e Alegações
O artigo alega que a escolha da enciclopédia afeta significativamente a percepção dos políticos com base em seus perfis ideológicos, e não apenas em suas biografias. As descobertas desafiam a noção de que enciclopédias geradas por LLM são inerentemente mais neutras; em vez disso, elas parecem incorporar estruturas ideológicas sistemáticas, potencialmente favorecendo a direita econômica e as normas democráticas enquanto penalizam o liberalismo social.

O estudo enfatiza que:

O conteúdo gerado por LLM não é imune ao viés: A Grokipedia exibe vieses ideológicos distintos que diferem da Wikipedia.
A diversidade do avaliador é crítica: Depender de um único juiz LLM (especialmente um com uma tendência ideológica específica como Grok ou DeepSeek) poderia subestimar a magnitude das lacunas de viés.
A auditoria é necessária: À medida que governos e corporações podem gerar bases de conhecimento rapidamente, métodos para auditar seu posicionamento ideológico em escala são vitais para a integridade dos ecossistemas de informação pública.

Os autores mantêm a modéstia, reconhecendo que sua medida de viés é condicional à sua operacionalização específica de neutralidade e às limitações de usar LLMs como juízes (ex: potenciais vieses de identidade). Eles não alegam ter descoberto a verdade absoluta, mas sim identificado padrões sistemáticos na forma como estas duas enciclopédias retratam figuras políticas.

Mais como este