SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

Resumo Técnico: SomaliWeb v1

Declaração do Problema
Apesar do somali ser uma língua mundial majoritária com aproximadamente 25 milhões de falantes e um ecossistema digital vibrante (notícias, diáspora, redes sociais), carece de um corpus de pré-treinamento dedicado, documentado e de língua única. O texto somali existente está fragmentado em distribuições multilíngues (por exemplo, HPLT v2, CC100, MADLAD-400, mC4) ou existe como uploads pequenos e não documentados no Hugging Face. Essa lacuna de infraestrutura impede que os praticantes auditem a qualidade dos dados de treinamento e força os pesquisadores a re-derivar repetidamente corpora a partir de despejos multilíngues brutos, redescobrindo os mesmos problemas de qualidade. Além disso, não existe nenhum benchmark público para identificação de linguagem (LID) especificamente ajustado para o somali, e nenhum tokenizador correspondente foi lançado para abordar a "taxa de tokenização" (contagem de tokens ineficiente) enfrentada por línguas de recursos escassos em modelos centrados no inglês.

Metodologia: O Pipeline de Seis Estágios
Os autores apresentam o SomaliWeb v1, construído por meio de um pipeline reprodutível de seis estágios que agrega três fontes a montante: HPLT v2 (som_Latn), CC100 (so) e a Wikipédia em somali (dump de 2023-11-01). O pipeline processa um agregado inicial de 1.372.052 documentos (588M tokens) até um corpus final de 819.322 documentos (303M tokens).

1. Deduplicação Exata em Bytes: Os documentos são hashados (SHA-256) após normalização para minúsculas e colapso de espaços em branco. Isso remove 13,83% da entrada bruta, revelando que o HPLT v2 sozinho continha 17,27% de duplicatas exatas em bytes.
2. Normalização e Filtragem por Comprimento: Uma sequência de operadores repara mojibake (usando ftfy), aplica normalização Unicode NFC, colapsa espaços em branco e remove sequências repetidas de caracteres. Documentos com menos de 50 palavras são descartados. Este estágio corrige o mojibake em 56,06% dos documentos HPLT sobreviventes e remove 8,65% do corpus (principalmente documentos curtos).
3. Identificação de Linguagem (LID): O langdetect inicializado filtra documentos onde o somali é a previsão top-1 com confiança $\ge$ 0,50. Uma segunda passagem com GlotLID v3 rotula dialetos. Isso remove 0,21% dos documentos, principalmente vazamento de inglês.
4. Remoção de Quase-Duplicatas: MinHash com Hashing Sensível à Localidade (LSH) identifica quase-duplicatas usando tri-gramas de palavras. Candidatos são verificados com similaridade Jaccard exata ($\tau = 0,80$). Os clusters são mesclados, retendo o documento mais longo. Isso remove 10,57% dos documentos (113.896 documentos).
5. Filtragem de Qualidade: Os documentos são pontuados com base na cobertura de pentagramas de caracteres contra uma semente limpa de 2.221 artigos da Wikipédia em somali. Os 15% inferiores dos documentos por cobertura são descartados. Esta etapa revela assimetria na qualidade da fonte, com a Wikipédia descartando 20,61% de seus documentos em comparação com 5,76% para o CC100.
6. Lançamento e Tokenizador: O corpus final é embaralhado, dividido em 95/5 (treino/validação) e usado para treinar um tokenizador BPE-16K.

Principais Contribuições

• C1 (Artefato): A primeira versão documentada, de língua única, do corpus de pré-treinamento somali (819k documentos, ~303M tokens), lançado com um tokenizador companheiro e um cartão de conjunto de dados completo sob CC-BY-SA 4.0.
• C2 (Benchmark): O primeiro benchmark público lado a lado de três ferramentas de LID de produção (langdetect, GlotLID v3, fastText lid.176) em um conjunto de testes específico para o somali, fornecendo precisão, recall, F1 e vazão por classe com intervalos de confiança bootstrap de 95%.
• C3 (Medição): Uma auditoria quantificada da distribuição "limpa" de somali do HPLT v2, identificando três defeitos concretos: 17,3% de duplicatas exatas em bytes, 56,1% dos documentos contendo mojibake corrigível e 10,7% de quase-duplicatas entre documentos únicos em bytes.
• C4 (Ferramenta): Um tokenizador BPE-16K treinado no corpus limpo. Ele alcança 40,2% de maior eficiência de tokens (menos tokens por palavra) no devtest FLORES-200 em somali em comparação com o cl100k_base do GPT-4 e iguala a fertilidade de um tokenizador treinado no corpus HPLT bruto, apesar de usar um conjunto de treinamento 30% menor.

Resultados

• Retenção do Pipeline: O pipeline retém 59,7% da entrada agregada bruta. As quedas mais significativas ocorrem na Fase 1 (deduplicação) e na Fase 5 (filtragem de qualidade).
• Desempenho LID: Em um conjunto de testes de 200 linhas, o langdetect alcançou a maior pontuação F1 para somali (0,884), superando o GlotLID v3 (0,829) e o fastText lid.176 (0,140). Notavelmente, o fastText falhou em identificar a maioria dos documentos em somali (recall 0,075), enquanto o GlotLID frequentemente confundia o somali com línguas africanas de script latino filogeneticamente distantes (por exemplo, Oromo, Fulfulde) em vez do dialeto relacionado Maay Maay.
• Eficiência do Tokenizador: O tokenizador SomaliWeb v1 emite 35.867 tokens para o devtest FLORES-200, em comparação com 60.010 tokens para o cl100k_base. Isso representa uma redução de 1,67x na contagem de tokens, implicando uma possível redução nos custos de inferência e uma maior densidade de informação por token.
• Cobertura de Dialetos: O corpus final contém zero documentos identificados como Maay Maay (ymm_Latn), provavelmente devido à natureza oral do dialeto e à filtragem de fontes a montante. O corpus é explicitamente rotulado apenas como "Somali Padrão".

Significado e Alegações
O artigo enquadra o SomaliWeb v1 principalmente como uma auditoria de um artefato em vez de uma alegação de superioridade na modelagem de linguagem a jusante. Seu significado reside em:

1. Reprodutibilidade: Fornecer um pipeline documentado e exatamente reprodutível em bits que permite à comunidade auditar e iterar na curadoria de dados somalis.
2. Consciência de Qualidade: Demonstrar que dados multilíngues "disponíveis" não são necessariamente "limpos", e que defeitos significativos de qualidade (duplicatas, mojibake) persistem em lançamentos importantes como o HPLT v2.
3. Eficiência de Tokenização: Estabelecer que um tokenizador correspondente ao corpus pode reduzir significativamente a taxa de tokenização para o somali sem exigir arquiteturas de modelo maiores.
4. Fundação para Trabalho Futuro: Os autores afirmam explicitamente que as comparações de perplexidade de modelos de linguagem a jusante são adiadas para um lançamento futuro (v2), que incluirá estudos de ablação e comparações de baseline contra outros pipelines (por exemplo, CCNet).

O trabalho é modesto em suas alegações, reconhecendo limitações como a falta de limpeza de PII (específica para o somali), a natureza heurística do filtro de qualidade, o pequeno tamanho do conjunto de testes LID e a exclusão de dialetos não padrão. Posiciona-se como o primeiro passo em um esforço versionado para construir infraestrutura robusta de PNL para o Chifre da África.