Wiki Dumps to Training Corpora: South Slavic Case

1. Declaração do Problema

As línguas do sul dos eslavos (sérvio, croata, esloveno, bósnio, macedônio, búlgaro e servo-croata) estão significativamente sub-representadas em recursos de Processamento de Linguagem Natural (PLN) em larga escala, quando comparadas a línguas europeias principais como o inglês ou o alemão. Essa escassez limita o desenvolvimento de modelos linguísticos especializados e de dados de treinamento multilíngues para a região.

Embora os projetos da Wikimedia (Wikipédia, Wikisource, Wikilivros, Wikiquote, Wikinotícias) ofereçam vastas quantidades de texto aberto, os dumps brutos não são imediatamente utilizáveis para treinamento. Eles contêm:

• Marcação Wiki: Sintaxe complexa, modelos, links e metadados que obscurecem a linguagem natural.
• Conteúdo de Baixa Qualidade/Gerado: Uma parte significativa dos artigos é gerada mecanicamente a partir de bancos de dados estruturados. Esses artigos exibem padrões repetitivos, formulação genérica e alta redundância textual, o que pode distorcer distribuições estatísticas e degradar o desempenho de Modelos de Linguagem (LMs) se não forem removidos.

2. Metodologia

O artigo propõe um pipeline de duas fases para transformar dumps brutos da Wikimedia (datados de 1º de abril de 2026) em corpora de alta qualidade e linguisticamente ricos.

Fase 1: Extração e Limpeza de Texto

Esta fase foca na análise sintática de dumps XML brutos e no isolamento de texto em linguagem natural, utilizando uma combinação de expressões regulares e a biblioteca mwparserfromhell. O processo envolve cinco etapas específicas:

1. Limpeza e Análise Inicial: Uma passagem por regex remove ruído comum de marcação (modelos, imagens, tags estruturais) para simplificar a entrada para o analisador. Atenção específica é dada a modelos aninhados e tags de imagem localizadas.
2. Tratamento de Categorias: As tags de categoria são extraídas para uma lista de metadados separada e removidas do corpo do texto para evitar que elementos não prosaicos contaminem o corpus.
3. Remoção de Marcação: O pipeline remove comentários, argumentos e modelos não essenciais. Crucialmente, processa modelos específicos (por exemplo, poesia, citações) para reter seu conteúdo linguístico, descartando instruções de formatação.
4. Wikilinks e Tabelas:
   • Links: Os links são simplificados para reter apenas o texto visível (por exemplo, [[Alvo|Visível]] torna-se Visível).
   • Tabelas: Estruturas complexas de tabelas são analisadas linha por linha. O sistema equilibra tags não fechadas, extrai o conteúdo das células e as concatena em texto simples para preservar informações sem artefatos de marcação.
5. Tratamento de Seções e Normalização:
   • Projetos Gerais: Seções como "Referências", "Galeria" e "Links externos" são descartadas.
   • Wikiquote: A lógica é invertida; apenas seções contendo citações são retidas.
   • Títulos: Os títulos são normalizados e enumerados (por exemplo, 1, 1.1) para preservar a estrutura do documento.
6. Limpeza Final: Uma passagem final remove tags residuais semelhantes a HTML, links interwiki e palavras mágicas (por exemplo, __TOC__), normalizando espaços em branco e garantindo uma saída de texto puro.

Fase 2: Filtragem (Deduplicação)

Para abordar o problema de artigos gerados mecanicamente e de baixa qualidade, o artigo emprega uma estratégia de filtragem de similaridade baseada em n-gramas:

1. Codificação Vetorial: Os textos são tokenizados, normalizados (minúsculas, substituição de dígitos) e convertidos em vetores numéricos. Apenas os primeiros 500 tokens de artigos com menos de 2.000 palavras são usados para codificação, focando no início do texto onde padrões de modelos frequentemente aparecem.
2. Agrupamento: Os artigos são agrupados por suas categorias extraídas para garantir que comparações de similaridade sejam realizadas dentro de grupos tematicamente coerentes, em vez de entre tópicos não relacionados. Clusters grandes são divididos para gerenciar a carga computacional.
3. Pontuação de Similaridade (MinHashing):
   • Em vez da similaridade de Jaccard computacionalmente cara, o sistema utiliza MinHashing em representações de trigramas para aproximar a similaridade.
   • Os artigos dentro de um cluster são comparados em pares. Uma pontuação de similaridade é calculada com base na fração de posições de hash correspondentes.
4. Determinação do Limiar:
   • Para cada artigo, as três melhores pontuações de similaridade são médias.
   • O algoritmo KneeLocator é aplicado à distribuição dessas pontuações para identificar o "joelho" da curva. Este ponto serve como o limiar que separa o conteúdo escrito por humanos do conteúdo gerado por modelos/redundante.
   • Artigos que excedem esse limiar são removidos completamente.

3. Contribuições Principais

• Corpus Multi-Projeto Abrangente: Este é o primeiro esforço na região do sul dos eslavos para agregar dados de cinco projetos distintos da Wikimedia (Wikipédia, Wikisource, Wikilivros, Wikiquote, Wikinotícias) em sete línguas, em vez de depender exclusivamente da Wikipédia.
• Pipeline de Filtragem Avançado: A implementação de deduplicação baseada em MinHash especificamente ajustada para detectar artigos gerados por modelos em línguas do sul dos eslavos, abordando uma lacuna crítica nos recursos existentes.
• Framework Agnóstico à Língua: Embora focado nas línguas do sul dos eslavos, a metodologia é projetada para ser generalizável para outras famílias linguísticas.
• Metodologia Publicamente Disponível: O artigo detalha os padrões específicos de regex, escolhas de bibliotecas (mwparserfromhell, gensim) e parâmetros algorítmicos utilizados, fornecendo um modelo reprodutível para outros pesquisadores.

4. Resultados

O estudo processou dumps de 1º de abril de 2026, resultando nos seguintes resultados:

• Volume de Dados:
  • Sérvio (sr): O maior conjunto de dados, com 134 milhões de palavras apenas da Wikipédia, além de contribuições significativas da Wikisource (21M) e Wikinotícias (~7,5M).
  • Esloveno (sl): Notável por ter um conjunto de dados massivo da Wikisource (61,4M de palavras), quase igual ao tamanho de sua Wikipédia, refletindo uma forte digitalização de textos literários/históricos.
  • Búlgaro (bg): Segundo maior conjunto de dados da Wikipédia (~99M de palavras) com todos os cinco projetos ativos.
  • Servo-croata (sh): Representado apenas pela Wikipédia (~50M de palavras).
• Impacto da Filtragem:
  • O processo de filtragem reduziu significativamente o tamanho do corpus para remover redundância.
  • Sérvio: Perdeu quase 50% dos artigos (de ~529k para ~224k) e ~58% das palavras, indicando uma alta prevalência de conteúdo baseado em modelos.
  • Bósnio (bs) e Servo-croata (sh): Também experimentaram reduções acentuadas.
  • Búlgaro (bg) e Esloveno (sl): Retiveram a maioria de seus artigos, sugerindo níveis mais baixos de redundância automatizada.
• Melhoria de Qualidade:
  • A análise da distância delta de cosseno mostrou que a distribuição de frequência de tokens do corpus filtrado se aproximou mais da de um corpus linguístico geral (SrpKor2013) em comparação com o dump não filtrado da Wikipédia. Isso confirma que a filtragem removeu com sucesso distribuições distorcidas e repetitivas causadas pela geração por modelos.

5. Significado

Este trabalho fornece um recurso fundamental para a comunidade de PLN que trabalha com línguas do sul dos eslavos. Ao entregar corpos limpos, deduplicados e linguisticamente diversos, o artigo:

• Permite o treinamento de Modelos de Linguagem de Grande Escala (LLMs) mais robustos e precisos para essas línguas sub-representadas.
• Facilita a pesquisa linguística comparativa na família linguística do sul dos eslavos.
• Demonstra que a limpeza sistemática e a deduplicação agressiva são essenciais para converter dados brutos da web em conjuntos de treinamento de alta qualidade, impedindo que os modelos aprendam padrões de "boilerplate" em vez de uso autêntico da linguagem.
• Oferece um pipeline escalável e reprodutível que pode ser adaptado para outras línguas de baixos recursos.