Resumo Técnico: Auditoria da Qualidade de Dados para PNL de Baixo Recurso e Multilíngue

Declaração do Problema

Embora a Wikipedia seja amplamente considerada um recurso fundamental e de alta qualidade para o Processamento de Linguagem Natural (PLN), particularmente para o pré-treinamento de modelos de linguagem multilíngues, essa suposição de qualidade inerente é cada vez mais desafiada em contextos de baixo recurso e multilíngues. Estudos recentes sugerem que as edições da Wikipedia em línguas não inglesas frequentemente contêm conteúdo não natural, traduzido por máquina ou gerado por bots, que pode ser incompreensível para falantes nativos. Confiar em dados tão ruidosos pode levar a desempenho deficiente dos modelos e tecnologias não confiáveis. No entanto, auditar manualmente a qualidade de mais de 340 edições linguísticas ativas (contendo um estimado de 65 milhões de artigos) é inviável. Há uma falta de métodos sistemáticos e baseados em dados para quantificar a qualidade da Wikipedia nessas edições diversas e para entender o impacto a jusante da filtragem de conteúdo de baixa qualidade.

Metodologia

Os autores propõem um framework de auditoria baseado em dados que aplica procedimentos de filtragem de dados — tipicamente reservados para texto da web ruidoso e não curado — a toda a Wikipedia não inglesa. A hipótese central é que, se uma edição da Wikipedia for robusta a essas etapas de limpeza, ela é de maior qualidade; inversamente, a remoção significativa de dados indica a presença de conteúdo de baixa qualidade.

A metodologia envolve três etapas principais:

1. Processos de Filtragem de Dados:

   • Filtragem de Script: Uso de expressões regulares para remover caracteres que não pertencem ao(s) script(s) documentado(s) oficialmente para um idioma específico. Isso visa contaminação por scripts estrangeiros, frequentemente resultante de artefatos de tradução automática ou links mal formatados.
   • Deduplicação de Correspondência Exata: Remoção de artigos com texto idêntico, mas IDs ou títulos diferentes. Isso visa artigos de preenchimento, modelos e texto de enchimento.
   • Deduplicação MinHash: Uso de Hashing Sensível à Localidade (LSH) para identificar e remover artigos quase duplicados (similaridade de Jaccard > 0,85). Isso visa conteúdo gerado por bots e artigos repetitivos que variam ligeiramente em frases ou hiperlinks.

2. Construção de Taxonomia de Qualidade:

   • Os autores aplicam esses filtros a todas as Wikipedias não inglesas.
   • Eles realizam agrupamento k-means na porcentagem de documentos e caracteres restantes para categorizar as edições em quatro níveis de qualidade (Nível 1 a Nível 4), variando de menos removido (maior qualidade) a mais removido (menor qualidade).

3. Validação e Avaliação a Jusante:

   • Análise de Correlação: Os níveis de qualidade propostos são comparados com métricas alternativas, incluindo a métrica DEPTH+ (uma medida de profundidade de edição aprimorada), a proporção de artigos gerados por bots e heurísticas padrão em nível de documento (por exemplo, comprimento da palavra, entropia de unigrama).
   • Experimentos a Jusante: O impacto da filtragem é avaliado em três cenários usando modelos treinados na Wikipedia bruta (raw_wiki) versus Wikipedia filtrada (+filters):
     • Pré-treinamento Monolíngue: Treinamento de modelos mini DeBERTa em 50 idiomas e avaliação no SIB200 (classificação de tópicos).
     • Adaptação Linguística: Adaptação do XLM-R a novos idiomas e ajuste fino no SIB200 e BELEBELE (compreensão de leitura multilíngue).
     • Pré-treinamento Multilíngue: Pré-treinamento de modelos multilíngues de tamanho base nas 100 principais Wikipedias e avaliação no BELEBELE e XNLI.

Principais Contribuições

1. Evidência Empírica de Problemas de Qualidade: O estudo fornece dados empíricos mostrando que aproximadamente 11,68% dos caracteres totais e 29,36% dos documentos totais são removidos das Wikipedias não inglesas ao aplicar filtros de limpeza padrão. Isso revela problemas sistemáticos, como contaminação por scripts, modelos repetidos e altas concentrações de conteúdo gerado por bots.
2. Taxonomia de Qualidade: Os autores estabelecem uma classificação de qualidade de quatro níveis para as Wikipedias não inglesas. Essa taxonomia mostra forte correspondência com DEPTH+, proporções de artigos de bots e medidas heurísticas, validando a abordagem de filtragem como um proxy para qualidade.
3. Análise de Impacto a Jusante: O artigo demonstra que modelos treinados em dados filtrados geralmente igualam ou superam aqueles treinados em dados brutos. Notavelmente, os maiores ganhos de desempenho são observados para edições linguísticas de menor qualidade (Níveis 3 e 4), sugerindo que a remoção de ruído é particularmente benéfica para cenários de baixo recurso.
4. Kit de Ferramentas de Código Aberto: Os autores lançam um kit de ferramentas de PLN de código aberto (texieve) para limpeza de dados de texto em muitos idiomas.

Resultados

• Eficiência de Filtragem: O processo de filtragem removeu uma parte substancial dos dados, com a deduplicação MinHash respondendo pela maioria das remoções (28,33% dos artigos). Idiomas como Cebuano, Sueco e Vietnamita apresentaram redução significativa de dados (35–80% dos documentos removidos), em grande parte devido a conteúdo gerado por bots.
• Correlação de Níveis: Os níveis de qualidade correlacionam-se negativamente com as proporções de artigos de bots (ρ = −0,56) e positivamente com DEPTH+ (ρ = 0,31). As distribuições heurísticas (por exemplo, comprimento da palavra, entropia) também se alinham monotonicamente com os níveis, com o Nível 1 exibindo as características mais "de alta qualidade".
• Desempenho do Modelo:
  • No pré-treinamento monolíngue, a maioria dos idiomas mostrou diferenças de desempenho negligenciáveis entre raw_wiki e +filters, confirmando que os dados removidos eram de baixa qualidade. No entanto, o Cebuano apresentou uma melhoria de 12% com a filtragem, enquanto o Acehnês sofreu uma queda, provavelmente devido ao seu conjunto de dados já pequeno ser reduzido desproporcionalmente.
  • Na adaptação linguística, os modelos adaptados com dados +filters geralmente tiveram melhor desempenho, particularmente em configurações zero-shot no BELEBELE.
  • No pré-treinamento multilíngue, os resultados foram mistos, mas geralmente mostraram que os dados filtrados não prejudicaram o desempenho e frequentemente forneceram pequenos ganhos para idiomas de nível inferior.

Significado e Alegações

O artigo afirma que a suposição de que a Wikipedia possui "alta qualidade" inerente não é universalmente válida, particularmente para edições não inglesas e de baixo recurso. O estudo serve como um primeiro passo para estabelecer melhores práticas conscientes de qualidade para o uso da Wikipedia em PLN.

Os autores enfatizam que sua abordagem automatizada e agnóstica a modelos demonstra que um pré-processamento simples pode discernir efetivamente entre dados de boa e má qualidade. Eles argumentam que entender e levar em conta essas variações de qualidade é essencial para desenvolver tecnologias linguísticas mais equitativas e eficazes, especialmente para idiomas de baixo recurso, onde a margem de erro é pequena. O trabalho estabelece as bases para futuros esforços de criação e curadoria de conjuntos de dados, sugerindo que pesquisas futuras devem envolver-se com as comunidades de edição da Wikipedia para entender melhor as fontes de variação de qualidade.

O artigo mantém-se modesto em seu escopo, notando limitações como a restrição a modelos apenas codificadores (devido a modelos decodificadores existentes provavelmente serem pré-treinados na Wikipedia) e a dependência de benchmarks não derivados da Wikipedia para evitar fatores de confusão. Ele não propõe novas arquiteturas de modelos, mas sim defende uma auditoria rigorosa de dados como pré-requisito para o desenvolvimento eficaz de PLN.