Multilingual Reference Need Assessment System for Wikipedia

Resumo Técnico: Sistema Multilíngue de Avaliação de Necessidade de Referências para a Wikipédia

1. O Problema

A verificabilidade é um pilar central da política de conteúdo da Wikipédia, exigindo que todas as afirmações sejam apoiadas por fontes confiáveis. No entanto, devido ao alto volume de edições diárias (aproximadamente seis por segundo), a identificação manual de afirmações sem citações é lenta e propensa a atrasos.

• Contexto: Em setembro de 2025, mais de 550.000 artigos na Wikipédia em inglês continham marcadores de "citação necessária".
• Desafio: A maioria das pesquisas anteriores focou apenas na edição em inglês. Existe uma lacuna significativa na detecção automatizada de afirmações sem suporte em um contexto multilíngue e em ambientes de produção com restrições de recursos (latência e hardware limitado).

2. Metodologia

O sistema proposto é uma solução de aprendizado supervisionado projetada para avaliar a cobertura de referências em artigos da Wikipédia em escala.

• Definição de Necessidade de Referência (RN): O sistema calcula uma pontuação baseada na proporção de afirmações não citadas que realmente necessitam de uma fonte. A fórmula considera apenas as sentenças sem citação, ignorando as já verificadas por editores humanos (que servem como padrão-ouro).
• Coleta e Processamento de Dados:
  • Fonte de Dados: Utilizou-se artigos "em destaque" (Featured Articles) de 5 idiomas principais (Inglês, Francês, Alemão, Espanhol e Russo) para criar o conjunto de treinamento, assumindo que essas sentenças já possuem a estrutura de citação ideal.
  • Pré-processamento: O texto em wikitext foi convertido para texto simples, preservando a localização das tags de referência. Sentenças duplicadas foram removidas e seções irrelevantes (como "Referências" ou "Veja Também") foram filtradas.
  • Atributos de Entrada: O modelo recebe o código do idioma, o título da seção, a sentença alvo, a sentença anterior e a posterior (triplete de sentenças).
• Arquitetura do Modelo:
  • Modelo Base: Fine-tuning do DistilBERT multilíngue (uma versão destilada e mais leve do BERT multilíngue).
  • Treinamento: O modelo foi treinado em 100.000 sentenças (20k por idioma de treinamento) e validado em 20.000 sentenças.
  • Implantação (Deployment): O sistema roda em uma infraestrutura de produção baseada apenas em CPUs (sem GPUs dedicadas para inferência), utilizando o KServe em Kubernetes, com um limite de latência de 500ms.
• Otimização: Foram aplicadas técnicas de pós-treinamento, incluindo quantização (PyTorch INT8, Intel NC) e exportação para ONNX, para reduzir o tamanho do modelo e acelerar a inferência.

3. Principais Contribuições

1. Sistema Multilíngue em Produção: Introdução de um sistema de código aberto capaz de avaliar a necessidade de referências nas 10 edições linguísticas da Wikipédia com maior número de usuários ativos.
2. Análise de Trade-offs (Precisão vs. Latência): Estudo detalhado comparando Modelos de Linguagem Grandes (LLMs) e Modelos de Linguagem Pequenos (SLMs) sob restrições rigorosas de recursos.
3. Liberação de Recursos: Disponibilização pública do código de treinamento e inferência, bem como dos dados utilizados, para fomentar pesquisas sobre credibilidade da informação na web.

4. Resultados

• Desempenho do Modelo: O modelo DistilBERT multilíngue (com sequência de entrada de 128 tokens) alcançou um AUC-ROC de 0,765 e uma precisão de 0,688 na tarefa de classificação binária.
• Comparação com LLMs:
  • LLMs (como Llama-3-70B e Mistral-7B) foram testados em modo zero-shot. Embora tenham desempenho superior ao aleatório, seus tempos de latência foram significativamente maiores (de 0,1s a mais de 5s) e não superaram o modelo SLM fine-tuned em termos de equilíbrio entre precisão e velocidade.
  • O modelo SLM otimizado (DistilBERT) foi ~2x mais rápido que a versão não otimizada, mantendo a mesma precisão.
• Generalização: O modelo, treinado em 5 idiomas, demonstrou capacidade de generalização em 10 idiomas, incluindo 5 não vistos durante o treinamento (Japonês, Persa, Italiano, Português e Chinês). O desempenho foi particularmente bom em Português, Persa e Italiano.
• Eficiência: O sistema atende ao requisito de latência de produção (<500ms), operando exclusivamente em CPUs.

5. Significância e Impacto

• Viabilidade Operacional: O trabalho demonstra que, para tarefas específicas e complexas de política da Wikipédia, SLMs fine-tuned são uma solução mais viável e eficiente do que LLMs genéricos em ambientes com restrições de infraestrutura.
• Escalabilidade Global: Ao focar em um sistema multilíngue, o projeto aborda a desigualdade de recursos entre as diferentes edições da Wikipédia, oferecendo ferramentas de suporte a editores em comunidades menores.
• Aplicação Prática: O sistema já foi implantado em produção para auxiliar reutilizadores externos e editores na avaliação da verificabilidade de artigos, servindo como um passo fundamental para a manutenção da integridade do conhecimento na Wikipédia.

Limitações Notadas: O sistema depende de dados de artigos em destaque, o que pode não refletir perfeitamente a estrutura de artigos menores ou em idiomas com poucos recursos. Além disso, o viés cultural nas políticas de citação (baseadas em idiomas ocidentais) pode afetar a precisão em comunidades linguísticas distintas.