SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

Resumen Técnico: SomaliWeb v1

Enunciado del Problema
A pesar de que el somalí es un idioma mayoritario mundial con aproximadamente 25 millones de hablantes y un ecosistema digital vibrante (noticias, diáspora, redes sociales), carece de un corpus de preentrenamiento documentado, dedicado y monolingüe. El texto somalí existente está fragmentado dentro de distribuciones multilingües (por ejemplo, HPLT v2, CC100, MADLAD-400, mC4) o existe como subidas pequeñas y no documentadas en Hugging Face. Esta brecha en la infraestructura impide que los profesionales auditen la calidad de los datos de entrenamiento y obliga a los investigadores a volver a derivar repetidamente corpus a partir de volcados multilingües crudos, redescubriendo los mismos problemas de calidad. Además, no existe un punto de referencia público para la identificación de idiomas (LID) específicamente ajustado al somalí, ni se ha publicado un tokenizador coincidente para abordar el "impuesto de tokenización" (conteos de tokens ineficientes) que enfrentan los idiomas de recursos limitados en modelos centrados en inglés.

Metodología: La Pipeline de Seis Etapas
Los autores presentan SomaliWeb v1, construido mediante una pipeline reproducible de seis etapas que agrega tres fuentes aguas arriba: HPLT v2 (som_Latn), CC100 (so) y la Wikipedia en somalí (volcado del 2023-11-01). La pipeline procesa un agregado inicial de 1.372.052 documentos (588M tokens) hasta reducirlo a un corpus final de 819.322 documentos (303M tokens).

1. Deduplicación Exacta en Bytes: Los documentos se hashan (SHA-256) después de la normalización a minúsculas y la colapso de espacios en blanco. Esto elimina el 13,83 % de la entrada cruda, revelando que HPLT v2 por sí solo contenía un 17,27 % de duplicados exactos en bytes.
2. Normalización y Filtrado por Longitud: Una secuencia de operadores repara el mojibake (usando ftfy), aplica normalización Unicode NFC, colapsa espacios en blanco y elimina secuencias repetidas de caracteres. Se descartan los documentos con menos de 50 palabras. Esta etapa corrige el mojibake en el 56,06 % de los documentos de HPLT supervivientes y elimina el 8,65 % del corpus (principalmente documentos cortos).
3. Identificación de Idioma (LID): langdetect semillado filtra los documentos donde el somalí es la predicción de primer lugar con una confianza $\ge$ 0,50. Un segundo paso con GlotLID v3 etiqueta los dialectos. Esto elimina el 0,21 % de los documentos, principalmente filtraciones de inglés.
4. Eliminación de Casi-Duplicados: MinHash con Hashing Sensible a la Localidad (LSH) identifica casi-duplicados utilizando trigramas de palabras. Los candidatos se verifican con similitud de Jaccard exacta ($\tau = 0,80$). Los clústeres se fusionan, reteniendo el documento más largo. Esto elimina el 10,57 % de los documentos (113.896 documentos).
5. Filtrado de Calidad: Los documentos se puntúan basándose en la cobertura de pentagramas de caracteres frente a una semilla limpia de 2.221 artículos de la Wikipedia en somalí. Se descartan el 15 % inferior de documentos por cobertura. Este paso revela una asimetría en la calidad de la fuente, con Wikipedia descartando el 20,61 % de sus documentos en comparación con el 5,76 % para CC100.
6. Lanzamiento y Tokenizador: El corpus final se mezcla, se divide 95/5 (entrenamiento/validación) y se utiliza para entrenar un tokenizador BPE-16K.

Contribuciones Clave

• C1 (Artefacto): La primera versión documentada de un corpus de preentrenamiento somalí monolingüe (819k documentos, ~303M tokens) lanzado con un tokenizador complementario y una tarjeta de conjunto de datos completa bajo CC-BY-SA 4.0.
• C2 (Punto de Referencia): El primer punto de referencia público lado a lado de tres herramientas de LID de producción (langdetect, GlotLID v3, fastText lid.176) en un conjunto de pruebas específico para somalí, proporcionando precisión, recuperación, F1 y rendimiento por clase con intervalos de confianza del 95 % mediante bootstrap.
• C3 (Medición): Una auditoría cuantificada de la distribución "limpia" de somalí de HPLT v2, identificando tres defectos concretos: 17,3 % de duplicados exactos en bytes, 56,1 % de documentos que contienen mojibake corregible y 10,7 % de casi-duplicados entre documentos únicos en bytes.
• C4 (Herramienta): Un tokenizador BPE-16K entrenado en el corpus limpiado. Logra un 40,2 % más de eficiencia de tokens (menos tokens por palabra) en la prueba de desarrollo FLORES-200 para somalí en comparación con cl100k_base de GPT-4 y iguala la fertilidad de un tokenizador entrenado en el corpus HPLT crudo a pesar de utilizar un conjunto de entrenamiento un 30 % más pequeño.

Resultados

• Retención de la Pipeline: La pipeline retiene el 59,7 % de la entrada agregada cruda. Las caídas más significativas ocurren en la Fase 1 (deduplicación) y la Fase 5 (filtrado de calidad).
• Rendimiento de LID: En un conjunto de pruebas de 200 filas, langdetect logró la puntuación F1 más alta para somalí (0,884), superando a GlotLID v3 (0,829) y fastText lid.176 (0,140). Cabe destacar que fastText no logró identificar la mayoría de los documentos somalíes (recuperación 0,075), mientras que GlotLID confundió frecuentemente el somalí con idiomas africanos de script latino filogenéticamente distantes (por ejemplo, oromo, fulfulde) en lugar del dialecto relacionado Maay Maay.
• Eficiencia del Tokenizador: El tokenizador SomaliWeb v1 emite 35.867 tokens para la prueba de desarrollo FLORES-200, en comparación con 60.010 tokens para cl100k_base. Esto representa una reducción de 1,67 veces en el conteo de tokens, lo que implica una posible reducción en los costos de inferencia y una mayor densidad de información por token.
• Cobertura de Dialectos: El corpus final contiene cero documentos identificados como Maay Maay (ymm_Latn), probablemente debido a la naturaleza oral del dialecto y al filtrado de fuentes aguas arriba. El corpus está etiquetado explícitamente únicamente como "Somalí Estándar".

Significado y Afirmaciones
El artículo enmarca SomaliWeb v1 principalmente como una auditoría de un artefacto en lugar de una afirmación de superioridad en el modelado de lenguaje aguas abajo. Su significado radica en:

1. Reproducibilidad: Proporcionar una pipeline documentada y exactamente reproducible a nivel de bits que permite a la comunidad auditar e iterar sobre la curación de datos somalíes.
2. Conciencia de Calidad: Demostrar que los datos multilingües "disponibles" no son necesariamente "limpios", y que defectos de calidad significativos (duplicados, mojibake) persisten en lanzamientos importantes como HPLT v2.
3. Eficiencia de Tokenización: Establecer que un tokenizador coincidente con el corpus puede reducir significativamente el impuesto de tokenización para el somalí sin requerir arquitecturas de modelos más grandes.
4. Fundamento para Futuros Trabajos: Los autores declaran explícitamente que las comparaciones de perplejidad de modelos de lenguaje aguas abajo se posponen para un lanzamiento futuro (v2), que incluirá estudios de ablación y comparaciones de línea base frente a otras pipelines (por ejemplo, CCNet).

El trabajo es modesto en sus afirmaciones, reconociendo limitaciones como la falta de limpieza de PII (específica para somalí), la naturaleza heurística del filtro de calidad, el pequeño tamaño del conjunto de pruebas de LID y la exclusión de dialectos no estándar. Se posiciona como el primer paso en un esfuerzo versionado para construir infraestructura de PNL robusta para el Cuerno de África.