Wikipedia and Grokipedia: A Comparison of Human and Generative Encyclopedias

Enunciado do Problema
Embora sistemas baseados em Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados para busca, sumarização e produção automatizada de texto, seu papel específico na mediação de conteúdo enciclopédico permanece subexplorado. Pesquisas existentes examinaram extensivamente a Wikipédia como um sistema de conhecimento colaborativo, focando em conflito editorial, polarização e governança. Por outro lado, a pesquisa sobre sistemas generativos tem se concentrado amplamente em alucinações, viés e precisão factual. Existe uma lacuna significativa na compreensão de como os sistemas generativos interagem com infraestruturas de conhecimento de referência estabelecidas. Especificamente, não está claro como a mediação generativa altera a organização estrutural do conteúdo enciclopédico, incluindo como o conteúdo é selecionado, reescrito, estabilizado e enquadrado quando extraído de fontes curadas por humanos, como a Wikipédia. Este estudo aborda essa lacuna comparando sistematicamente a Wikipédia e a Grokipedia, uma enciclopédia generativa construída sobre a Wikipédia, para determinar como a mediação generativa remodela o conteúdo de referência além de saídas individuais.

Metodologia
Os autores realizaram uma comparação sistemática, ao nível de página, entre a Wikipédia e a Grokipedia em três domínios tópicos: política dos EUA, geopolítica e conteúdo relacionado a conspirações. A análise focou em quatro dimensões complementares:

1. Seleção de Conteúdo e Reescrita: O estudo modelou a inclusão de páginas na Grokipedia como uma função da popularidade da página na Wikipédia (visualizações), densidade de referências e atividade editorial (edições e reversões). A regressão logística foi utilizada para determinar a probabilidade de uma página da Wikipédia aparecer na Grokipedia e a probabilidade de que essa página incluída fosse generativamente reescrita. As características foram discretizadas em níveis ordinais (Baixo, Médio, Alto, Muito Alto) para lidar com distribuições de cauda pesada.
2. Participação Editorial e Complexidade: Para avaliar as mudanças na dinâmica editorial, os autores analisaram a atividade de edição em ambas as plataformas durante um período específico (final de outubro a novembro de 2025). Eles aplicaram um framework de aptidão–complexidade (adaptado da análise de produtos econômicos) à matriz bipartida editor–página. Neste modelo, os editores são tratados como "países" e as páginas como "produtos", permitindo a estimativa da complexidade da página com base na "aptidão" (amplitude e experiência) dos editores contribuintes.
3. Estrutura Narrativa: A organização narrativa foi reconstruída usando Representação de Significado Abstrato (AMR) para extrair redes de ator–relação dos textos dos artigos. Entidades serviram como nós, e arestas direcionadas codificaram relações (agente–alvo) com polaridades atribuídas (favorável, conflituosa, neutra). Isso permitiu a comparação das estruturas narrativas globais e dos equilíbrios de sentimento locais (saída e entrada) entre as duas fontes.
4. Enquadramento Avaliativo: Os autores analisaram a "seção de introdução" (lead section) dos artigos (o texto introdutório antes do primeiro cabeçalho) para medir o enquadramento ao longo de duas dimensões: enquadramento laudatório (elogio/admiração) e enquadramento de conflito/controvérsia (disputas). Um LLM (gemma3:4b) foi utilizado para classificar sentenças dentro das seções de introdução, gerando pontuações para a fração de texto que exibe esses enquadramentos.

Principais Resultados

• Seleção Não Uniforme: A Grokipedia não amostra a Wikipédia de forma uniforme. A inclusão é positivamente correlacionada com a popularidade da página, densidade de referências e atividade editorial. Páginas com maior visibilidade e conflito editorial recente têm maior probabilidade de serem incluídas.
• Padrões de Reescrita: Entre as páginas incluídas, a probabilidade de reescrita generativa está positivamente associada à densidade de referências e à atividade editorial recente (edições e reversões). Inversamente, páginas altamente populares têm maior probabilidade de serem reproduzidas verbatim. Isso sugere que a Grokipedia intervém com mais frequência em páginas caracterizadas por instabilidade e desacordo.
• Dinâmicas Editoriais: Embora ambas as plataformas mostrem picos de edição impulsionados por eventos, os editores da Grokipedia concentraram a atividade em tópicos amplos e duradouros (ex: Elon Musk, figuras históricas) em vez dos eventos de notícias específicos que impulsionaram a edição na Wikipédia. A análise de aptidão–complexidade revelou uma correlação positiva fraca na complexidade da página entre as duas plataformas, indicando que a composição das comunidades de contribuidores difere significamente para os mesmos tópicos.
• Estabilidade Narrativa: Apesar da reescrita generativa, a estrutura narrativa global permanece amplamente consistente. As redes de ator–relação mostram níveis semelhantes de reciprocidade e estrutura cíclica, e o ranking de entidades proeminentes é consistente entre as fontes.
• Mudanças de Enquadramento: Embora o enquadramento geral seja correlacionado, ocorrem mudanças localizadas. A Grokipedia exibe mais enquadramento laudatório e uma redução na ênfase de conflito para tópicos salientes específicos, particularmente dentro da política dos EUA (ex: Donald Trump, Marjorie Taylor Greene) e conteúdo relacionado a conspirações.

Principais Contribuições
O artigo fornece uma comparação empírica sistemática de sistemas enciclopédicos de referência e generativos, indo além de erros factuais isolados para analisar propriedades estruturais. Demonstra que os sistemas generativos preservam a organização narrativa central do conteúdo de referência existente enquanto alteram significativamente:

1. Seleção: Priorizando páginas de alta visibilidade e alto conflito.
2. Reescrita: Intervindo mais em páginas com alta densidade de referências e instabilidade editorial.
3. Enquadramento: Introduzindo mudanças localizadas em direção a uma linguagem laudatória e menos orientada ao conflito para atores específicos.

Significância
O estudo afirma que os sistemas enciclopédicos generativos não devem ser vistos apenas como geradores de texto, mas como camadas mediadoras que reorganizam as infraestruturas de conhecimento existentes. Os achados sugerem que avaliações baseadas apenas em precisão ou viés ideológico são insuficientes. Em vez disso, o impacto dos sistemas generativos deve ser compreendido através da lente da seleção de conteúdo, da consolidação de material contestado através da reescrita e das alterações no enquadramento avaliativo no ponto de apresentação. Os autores concluem que, embora a espinha dorsal estrutural do conhecimento enciclopédico seja preservada, a camada de mediação generativa altera fundamentalmente como o conteúdo é selecionado, estabilizado e apresentado ao usuário.