💬 NLP

SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

Ce papier présente SomaliWeb v1, un corpus somali d'environ 303 millions de jetons, filtré pour la qualité et rendu public, accompagné d'un tokenizer BPE-16K correspondant et du premier benchmark public d'identification de la langue, qui révèle également des défauts de qualité significatifs dans les distributions de données somali multilingues existantes.

Auteurs originaux : Khalid Yusuf Dahir

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Khalid Yusuf Dahir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense bibliothèque chaotique contenant des livres dans des centaines de langues différentes. Pendant longtemps, le « rayon somali » de cette bibliothèque était un désordre. Ce n'était pas une salle dédiée avec un panneau clair ; au contraire, les livres somalis étaient dispersés au hasard dans d'immenses piles multilingues, souvent mélangés à des déchets, des pages déchirées ou des copies dupliquées.

SomaliWeb v1 est la première fois que quelqu'un est entré dans cette bibliothèque chaotique, a construit une salle dédiée uniquement au somali et l'a organisée correctement. Voici comment les auteurs l'ont fait, expliqué simplement :

1. Le problème : la bibliothèque « bruyante »

Avant ce projet, si vous vouliez enseigner à un ordinateur à comprendre le somali, vous deviez vous procurer un immense sac de textes multilingues provenant d'internet.

Le mélange : Il contenait du somali, mais aussi de l'anglais, du français et d'autres langues mélangés.
Le bruit : Même les versions « nettoyées » de ces sacs étaient pleines d'erreurs. Les auteurs ont constaté qu'un sac populaire (appelé HPLT v2) contenait :
- 17 % de doublons : Comme avoir le même livre imprimé 17 fois et agrafé ensemble.
- 56 % de « mojibake » : C'est lorsque le texte ressemble à du charabia (par exemple, Ã© au lieu de é) parce que l'ordinateur a mal lu les lettres. C'est comme un livre où l'encre a bave jusqu'à devenir du non-sens.
- Presque-doublons : Des livres qui sont identiques à 90 %, avec seulement quelques mots changés.

2. La solution : le « tamis » en six étapes

Les auteurs ont construit une machine en six étapes (un pipeline) pour filtrer le texte brut d'internet jusqu'à ne garder que les bonnes choses. Pensez-y comme à un processus de battage de l'or :

Étape 1 : Le détecteur de doublons. Ils ont analysé chaque document et jeté les copies exactes. Résultat : Ils ont supprimé environ 14 % du tas.
Étape 2 : Le poste de réparation. Ils ont utilisé un outil pour réparer le texte « charabia » et jeté tout ce qui était trop court (moins de 50 mots). Résultat : Ils ont réparé la moitié du texte restant et supprimé les extraits courts et inutiles.
Étape 3 : La police des langues. Ils ont effectué un test pour s'assurer que le texte était bien du somali. Si un document était majoritairement en anglais, il a été éjecté. Résultat : Une infime quantité de « fuite d'anglais » a été supprimée.
Étape 4 : Le chasseur de « quasi-clones ». Ils ont utilisé une astuce mathématique intelligente (MinHash) pour trouver des documents qui étaient identiques à 80 % les uns aux autres et n'ont gardé que la meilleure version. Résultat : Ils ont supprimé 10 % supplémentaires du tas.
Étape 5 : Le contrôle qualité. Ils ont comparé le texte à une « référence absolue » (Wikipédia somali) pour voir si les mots et les motifs ressemblaient à un somali fluide et naturel. Si un document semblait étrange ou cassé, il a été écarté. Résultat : Ils ont supprimé les 15 % inférieurs du texte de la plus basse qualité.
Étape 6 : La finition finale. Ils ont mélangé les documents restants, les ont divisés en un ensemble d'« entraînement » et un ensemble de « test », et ont créé un jaugeur (tokenizer) personnalisé.

3. Les nouveaux outils : un dictionnaire personnalisé

Lorsque les ordinateurs lisent du texte, ils décomposent les mots en plus petits morceaux appelés « jetons » (tokens).

L'ancienne méthode : Utiliser un dictionnaire générique (comme celui de GPT-4) signifiait que les mots somalis étaient hachés en morceaux minuscules et inefficaces. C'était comme essayer de manger une grande pizza avec une toute petite cuillère ; il faut de nombreuses, nombreuses cuillerées (jetons) pour finir le repas.
La nouvelle méthode : Les auteurs ont construit un dictionnaire personnalisé spécifiquement pour le somali.
- Le résultat : Leur dictionnaire est 40 % plus efficace. Il faut 40 % de « cuillerées » en moins pour lire la même quantité de texte. Cela économise de l'argent et de la puissance de calcul à quiconque utilisera ces données plus tard.

4. La référence : un « permis de conduire » pour les détecteurs de langues

Les auteurs ont également créé un test pour déterminer quel programme informatique est le meilleur pour identifier le texte somali. Ils ont testé trois outils populaires :

Le gagnant surprise : L'outil le plus ancien, appelé langdetect, s'est révélé le meilleur pour repérer le somali.
Le perdant : Un outil plus récent et plus complexe (fastText) a échoué lamentablement, pensant souvent que le somali était une langue complètement différente.
La conclusion : Juste parce qu'un outil est nouveau ne signifie pas qu'il est meilleur pour des langues spécifiques.

Résumé de ce qui a été publié

Les auteurs n'ont pas seulement écrit un article ; ils ont publié trois outils réels pour le public :

Le corpus : Une collection propre et de haute qualité de 819 000 documents somalis (environ 303 millions de mots).
Le jaugeur (tokenizer) : Un « dictionnaire » personnalisé qui lit le somali beaucoup plus efficacement que les versions génériques.
La référence (benchmark) : Une fiche de résultats publique montrant quels détecteurs de langues fonctionnent réellement pour le somali.

Ce qu'ils n'ont PAS fait (selon l'article) :
Ils n'ont pas encore entraîné un nouveau chatbot ou modèle de langage sur ces données. Ils ont seulement construit les ingrédients (les données propres et les outils) et prouvé que les ingrédients sont de haute qualité. Ils réservent la « cuisson » (l'entraînement d'un modèle et le test de son intelligence) pour une version future (v2).

En bref : SomaliWeb v1 est la première fois que quelqu'un a pris le texte somali désordonné et cassé d'internet, l'a nettoyé, organisé et remis aux chercheurs avec un ensemble d'outils personnalisé, afin qu'ils puissent enfin construire une meilleure IA pour les locuteurs somalis sans avoir à faire tout le nettoyage eux-mêmes.

Résumé Technique : SomaliWeb v1

Énoncé du Problème
Malgré le fait que le somali soit une langue mondiale majeure avec environ 25 millions de locuteurs et un écosystème numérique dynamique (actualités, diaspora, réseaux sociaux), il manque un corpus de préentraînement dédié, documenté et monolingue. Les textes somalis existants sont fragmentés au sein de distributions multilingues (par exemple, HPLT v2, CC100, MADLAD-400, mC4) ou existent sous forme de petits téléversements non documentés sur Hugging Face. Cette lacune infrastructurelle empêche les praticiens d'auditer la qualité des données d'entraînement et force les chercheurs à réitérer constamment la dérivation de corpus à partir de dumps multilingues bruts, redécouvrant ainsi les mêmes problèmes de qualité. De plus, aucun benchmark public n'existe pour l'identification de la langue (LID) spécifiquement calibrée pour le somali, et aucun tokenizer adapté n'a été publié pour remédier à la « taxe de tokenisation » (nombre de tokens inefficace) rencontrée par les langues à ressources limitées dans les modèles centrés sur l'anglais.

Méthodologie : Le Pipeline en Six Étapes
Les auteurs présentent SomaliWeb v1, construit via un pipeline reproductible en six étapes agrégeant trois sources amont : HPLT v2 (som_Latn), CC100 (so) et Wikipédia somali (dump du 01-11-2023). Le pipeline traite un agrégat initial de 1 372 052 documents (~~588M de tokens) pour aboutir à un corpus final de 819 322 documents (~~303M de tokens).

Déduplication Byte-Exacte : Les documents sont hachés (SHA-256) après normalisation en minuscules et effondrement des espaces blancs. Cela élimine 13,83 % de l'entrée brute, révélant que HPLT v2 seul contenait 17,27 % de doublons byte-exacts.
Normalisation et Filtrage par Longueur : Une séquence d'opérateurs répare les mojibake (en utilisant ftfy), applique la normalisation Unicode NFC, effondre les espaces blancs et supprime les séquences de caractères répétées. Les documents contenant moins de 50 mots sont rejetés. Cette étape corrige les mojibake dans 56,06 % des documents HPLT survivants et élimine 8,65 % du corpus (principalement des documents courts).
Identification de la Langue (LID) : langdetect initialisé filtre les documents où le somali est la prédiction de rang 1 avec une confiance $\ge$ 0,50. Un second passage avec GlotLID v3 étiquette les dialectes. Cela élimine 0,21 % des documents, majoritairement des fuites en anglais.
Suppression des Presque-Doublons : MinHash avec Hachage Sensible à la Localité (LSH) identifie les presque-doublons en utilisant des trigrammes de mots. Les candidats sont vérifiés avec une similarité Jaccard exacte ( $\tau = 0,80$ ). Les clusters sont fusionnés, en conservant le document le plus long. Cela élimine 10,57 % des documents (113 896 documents).
Filtrage de Qualité : Les documents sont notés en fonction de la couverture des pentagrammes de caractères par rapport à un ensemble de référence propre de 2 221 articles de Wikipédia somali. Les 15 % inférieurs des documents selon la couverture sont rejetés. Cette étape révèle une asymétrie de qualité des sources, Wikipédia éliminant 20,61 % de ses documents contre 5,76 % pour CC100.
Publication et Tokenizer : Le corpus final est mélangé, divisé 95/5 (entraînement/validation) et utilisé pour entraîner un tokenizer BPE-16K.

Contributions Clés

C1 (Artefact) : La première version documentée, monolingue et versionnée du corpus de préentraînement somali (819k documents, ~303M de tokens), publié avec un tokenizer compagnon et une fiche de dataset complète sous licence CC-BY-SA 4.0.
C2 (Benchmark) : Le premier benchmark public côte à côte de trois outils de LID de production (langdetect, GlotLID v3, fastText lid.176) sur un ensemble de test spécifique au somali, fournissant la précision, le rappel, le F1 et le débit par classe avec des intervalles de confiance bootstrap à 95 %.
C3 (Mesure) : Un audit quantifié de la distribution « nettoyée » du somali de HPLT v2, identifiant trois défauts concrets : 17,3 % de doublons byte-exacts, 56,1 % de documents contenant des mojibake réparables, et 10,7 % de presque-doublons parmi les documents byte-unicodes.
C4 (Outil) : Un tokenizer BPE-16K entraîné sur le corpus nettoyé. Il atteint une efficacité de tokenisation 40,2 % supérieure (moins de tokens par mot) sur le devtest FLORES-200 somali par rapport à cl100k_base de GPT-4 et correspond à la fertilité d'un tokenizer entraîné sur le corpus HPLT brut, malgré l'utilisation d'un ensemble d'entraînement 30 % plus petit.

Résultats

Rétention du Pipeline : Le pipeline conserve 59,7 % de l'entrée agrégée brute. Les baisses les plus significatives se produisent dans la Phase 1 (déduplication) et la Phase 5 (filtrage de qualité).
Performance LID : Sur un ensemble de test de 200 lignes, langdetect a obtenu le score F1 somali le plus élevé (0,884), surpassant GlotLID v3 (0,829) et fastText lid.176 (0,140). Notamment, fastText a échoué à identifier la plupart des documents somalis (rappel 0,075), tandis que GlotLID confondait fréquemment le somali avec des langues africaines en script latin phylogénétiquement éloignées (par exemple, l'oromo, le fulfulde) plutôt qu'avec le dialecte apparenté Maay Maay.
Efficacité du Tokenizer : Le tokenizer SomaliWeb v1 émet 35 867 tokens pour le devtest FLORES-200, contre 60 010 tokens pour cl100k_base. Cela représente une réduction de 1,67 fois du nombre de tokens, impliquant une réduction potentielle des coûts d'inférence et une densité d'information plus élevée par token.
Couverture des Dialectes : Le corpus final ne contient aucun document identifié comme Maay Maay (ymm_Latn), probablement en raison du caractère oral de ce dialecte et du filtrage des sources amont. Le corpus est explicitement étiqueté comme « Somali Standard » uniquement.

Signification et Revendications
L'article présente SomaliWeb v1 principalement comme un audit d'un artefact plutôt que comme une revendication de supériorité dans la modélisation linguistique en aval. Sa signification réside dans :

Reproductibilité : Fournir un pipeline documenté et reproductible bit-exact qui permet à la communauté d'auditer et d'itérer sur la curation des données somalis.
Conscience de la Qualité : Démontrer que les données multilingues « disponibles » ne sont pas nécessairement « propres », et que des défauts de qualité importants (doublons, mojibake) persistent dans les versions majeures comme HPLT v2.
Efficacité de Tokenisation : Établir qu'un tokenizer adapté au corpus peut réduire considérablement la taxe de tokenisation pour le somali sans nécessiter d'architectures de modèles plus grandes.
Fondement pour les Travaux Futurs : Les auteurs déclarent explicitement que les comparaisons de perplexité des modèles linguistiques en aval sont reportées à une future version (v2), qui inclura des études d'ablation et des comparaisons de base avec d'autres pipelines (par exemple, CCNet).

Le travail est modeste dans ses revendications, reconnaissant des limitations telles que l'absence de nettoyage des PII (spécifique au somali), le caractère heuristique du filtre de qualité, la petite taille de l'ensemble de test LID, et l'exclusion des dialectes non standards. Il se positionne comme la première étape d'un effort versionné visant à construire une infrastructure NLP robuste pour la Corne de l'Afrique.