WikiSTAR: A System for Shedding Light on the Hidden History of Scientific Wikipedia Articles

Resumo Técnico do WIKISTAR: Um Sistema para Lançar Luz sobre a História Oculta de Artigos Científicos da Wikipedia

Declaração do Problema
A Wikipedia serve como uma fonte primária para o entendimento científico público, e seu histórico de revisões abertamente acessível oferece um registro longitudinal único de como o conhecimento científico evolui. No entanto, o grande volume de edições rotineiras (ex: formatação, refraseamento) obscurece mudanças cientificamente significativas. Isolar essas edições importantes manualmente é altamente trabalhoso, deixando a história científica dos artigos oculta e inacessível. Embora trabalhos anteriores tenham classificado edições gerais ou visualizado conflitos de autoria, essas abordagens operam no nível da página inteira ou do token e não focam na significância científica específica das mudanças. Há uma necessidade de um sistema que possa detectar, quantificar e contextualizar mudanças textuais científicas de forma automática em um nível granular para revelar como conceitos científicos são introduzidos, debatidos e refinados ao longo do tempo.

Metodologia
Os autores apresentam o WIKISTAR (Scientific Tracking of Article Revisions), um sistema projetado para extrair, classificar e visualizar edições científicas ao nível de seção. A metodologia consiste em três estágios primários:

1. Identificação e Vinculação de Seções:

   • O sistema recupera revisões de artigos via API do MediaWiki e analisa o wikitexto bruto em seções constituintes usando parsers baseados em regex.
   • Para criar "pares de edição de seção" (a versão atual e a versão imediatamente anterior de uma seção específica), o sistema correlaciona seções entre revisões. Como as seções não são estáveis (podem ser renomeadas, divididas ou mescladas), o sistema busca retroativamente através das revisões e calcula duas medidas de similaridade: similaridade de título (distância de Levenshtein normalizada) e similaridade de conteúdo (similaridade de cosseno sobre embeddings). Uma seção é correspondida ao candidato mais recente que exceda um limiar de similaridade.

2. Classificação de Edição Científica:

   • A tarefa central é definida como classificação de edição científica: atribuir rótulos a pares de edição de seção com base em uma taxonomia de dez tipos de edições cientificamente significativas desenhadas por especialistas (ex: Nova Informação Científica, Termos Técnicos Adicionados, Mudança na Narrativa Científica, Referências Acadêmicas Adicionadas) além de um rótulo de Edição Não Científica.
   • O sistema utiliza Grandes Modelos de Linguagem (LLMs) como classificadores. Os autores avaliaram sete modelos (incluindo variantes do GPT-5, LLaMA 3.3 e Qwen3-Next) contra um benchmark anotado por humanos.
   • Refinamentos de engenharia de prompt, como solicitar que o modelo primeiro determine se uma edição é científica e sinalize erros comuns de definição, melhoraram significativamente o desempenho.

3. Visualização Interativa:

   • Os dados classificados são apresentados através de visualizações interativas que permitem aos usuários explorar o histórico em diferentes granularidades:
     • Visão Geral do Histórico: Um resumo cronológico gerado por LLM das principais afirmações científicas e mudanças de narrativa.
     • Tendências ao Longo do Tempo: Um gráfico de linhas interativo mostrando a frequência de tipos de edição ao longo do tempo, com a capacidade de filtrar por seção e gerar resumos de texto de períodos específicos.
     • Comparação de Seções: Um mapa de calor comparando tendências de tipos de edição entre diferentes seções do artigo.
     • Evolução da Seção: Uma visão que mostra o ciclo de vida das seções (aparecimento, renomeação, edição).
     • Tabela de Edições: Uma tabela filtrável de todas as edições com metadados.

Principais Contribuições

1. Sistema WIKISTAR: Um sistema inovador para rastrear a evolução do conteúdo científico em artigos da Wikipedia, preenchendo a lacuna entre registros de revisão brutos e insights científicos acionáveis.
2. Tarefa de Classificação de Edição Científica: A introdução de uma tarefa de classificação específica para seções da Wikipedia, fundamentada em uma taxonomia de 10 rótulos desenhada por especialistas em Wikipedia científica.
3. WIKISTAR-BENCH: O lançamento do primeiro conjunto de dados anotado por humanos para esta tarefa, contendo 1.387 pares de edição ao nível de seção em três domínios (Biologia, Ciência da Computação e Neurociência). O conjunto de dados demonstra alta concordância inter-anotador (média do Cohen's $\kappa$ pareado = 0,89).
4. Avaliação Empírica: Uma comparação abrangente de sete LLMs como classificadores, estabelecendo o GPT-5-mini e o GPT-5.4 como os melhores desempenhos (escores Macro-F1 de 0,83 e 0,82, respectivamente).

Resultos

• Desempenho de Classificação: No WIKISTAR-BENCH, o modelo com melhor desempenho (GPT-5-mini) alcançou um Macro-F1 de 0,83 e um Micro-F1 de 0,86. O desempenho variou por tipo de rótulo: o modelo destacou-se em rótulos objetivos com sinais textuais explícitos (ex: Wikilink Adicionado F1=0,89), mas teve dificuldades com rótulos interpretativos (ex: Mudança na Narrativa Científica F1=0,61), onde a concordância humana também foi menor.
• Consistência de Domínio: O desempenho manteve-se estável entre Biologia, Ciência da Computação e Neurociência, indicando que a taxonomia e os prompts generalizam bem sem sofrer overfitting para um único domínio.
• Estudo com Usuários: Em um estudo com três especialistas (um editor da Wikipedia/físico, um jornalista científico e um filósofo da ciência), os participantes avaliaram o sistema positivamente em uma escala Likert de 5 pontos (avaliações médias de 4,33–5,00). Os participantes relataram que o WIKISTAR revelou padrões que eles não conseguiriam descobrir facilmente manualmente, provocou novas questões de pesquisa e permitiu análises anteriormente consideradas impraticáveis devido ao volume de dados.

Significância
O artigo afirma que o WIKISTAR torna o histórico de edições científicas da Wikipedia acessível a pesquisadores, jornalistas e cientistas em uma escala anteriormente impossível. Ao mover-se da leitura atenta manual e trabalhosa de históricos de revisão para a análise automatizada ao nível de seção, o sistema permite o estudo da evolução do conhecimento como um "registro longitudinal rico". Os autores posicionam o WIKISTAR como a primeira ferramenta a operar ao nível de seção especificamente para significância científica, permitindo que os usuários rastreiem como conceitos científicos se desenvolvem, onde a atenção se concentra e como as narrativas mudam ao longo do tempo. O lançamento do benchmark e do código visa facilitar novas pesquisas sobre a representação da ciência em enciclopédias online.