💬 NLP

SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

Dit artikel introduceert SomaliWeb v1, een publiek vrijgegeven, op kwaliteit gefilterd Somalisch corpus van ongeveer 303 miljoen tokens, vergezeld van een bijpassende BPE-16K-tokenizer en de eerste publieke benchmark voor taalidentificatie, die ook aanzienlijke kwaliteitsdefecten blootlegt in bestaande meertalige Somalische data-distributies.

Oorspronkelijke auteurs: Khalid Yusuf Dahir

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Khalid Yusuf Dahir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, chaotische bibliotheek met boeken in honderden verschillende talen. Lange tijd was het "Somalische" gedeelte van deze bibliotheek een puinhoop. Het was geen aparte ruimte met een duidelijk bord; in plaats daarvan lagen Somalische boeken willekeurig verspreid tussen gigantische, gemengde stapels, vaak vermengd met afval, beschadigde pagina's of dubbele exemplaren.

SomaliWeb v1 is de eerste keer dat iemand die chaotische bibliotheek is binnengegaan, een aparte ruimte heeft gebouwd die uitsluitend voor het Somalische is bestemd, en deze op de juiste manier heeft georganiseerd. Hieronder wordt uitgelegd hoe de auteurs dit hebben gedaan, in eenvoudige bewoordingen:

1. Het Probleem: De "Ruizige" Bibliotheek

Voor dit project moest je, als je een computer Somalisch wilde laten begrijpen, een enorme zak met tekst in gemengde talen van het internet pakken.

De Mix: Het bevatte Somalisch, maar ook Engels, Frans en andere talen door elkaar.
De Ruis: Zelfs de "opgeschoonde" versies van deze zakken zaten vol fouten. De auteurs ontdekten dat één populaire zak (genaamd HPLT v2) het volgende bevatte:
- 17% duplicaten: Alsof je hetzelfde boek 17 keer hebt laten drukken en aan elkaar hebt geklonken.
- 56% "Mojibake": Dit is wanneer tekst eruitziet als onzin (bijvoorbeeld Ã© in plaats van é) omdat de computer de letters verkeerd heeft gelezen. Het is als een boek waarbij de inkt is uitgelopen tot onzin.
- Bijna-duplicaten: Boeken die voor 90% hetzelfde zijn, met slechts een paar woorden veranderd.

2. De Oplossing: Het Zes-Traps "Zeef"-systeem

De auteurs bouwden een zesstapsmachine (een pijplijn) om de ruwe internettekst te filteren tot alleen het goede materiaal. Denk hierbij aan het goudwassen:

Stap 1: De Duplicatendetector. Ze scannten elk document en gooiden exacte kopieën weg. Resultaat: Ze verwijderden ongeveer 14% van de stapel.
Stap 2: Het Repareerstation. Ze gebruikten een hulpmiddel om de "onzin"-tekst te repareren en gooiden alles weg dat te kort was (minder dan 50 woorden). Resultaat: Ze repareerden de helft van de resterende tekst en verwijderden korte, nutteloze fragmenten.
Stap 3: De Taalpolitie. Ze voerden een test uit om zeker te weten dat de tekst inderdaad Somalisch was. Als een document voornamelijk Engels was, werd het verwijderd. Resultaat: Een klein beetje "Engelse lekkage" werd verwijderd.
Stap 4: De "Bijna-Kloon"-jager. Ze gebruikten een slimme wiskundige truc (MinHash) om documenten te vinden die voor 80% identiek waren aan elkaar, en hielden alleen de beste versie over. Resultaat: Ze verwijderden nog eens 10% van de stapel.
Stap 5: De Kwaliteitscontrole. Ze vergeleken de tekst met een "gouden standaard" (Somalische Wikipedia) om te zien of de woorden en patronen leken op vloeiend, natuurlijk Somalisch. Als een document raar of beschadigd leek, werd het weggegooid. Resultaat: Ze verwijderden de onderste 15% van de tekst van de laagste kwaliteit.
Stap 6: De Finale Polijst. Ze schudden de resterende documenten door elkaar, splitsten ze in een "trainings"-set en een "test"-set, en creëerden een aangepaste tokenizer.

3. De Nieuwe Hulpmiddelen: Een Aangepast Woordenboek

Wanneer computers tekst lezen, breken ze woorden op in kleinere stukjes die "tokens" worden genoemd.

De Oude Manier: Het gebruik van een generiek woordenboek (zoals dat van GPT-4) betekende dat Somalische woorden werden opgehakt in kleine, inefficiënte stukjes. Het was alsof je probeerde een grote pizza te eten met een lepeltje; je hebt heel veel lepels (tokens) nodig om de maaltijd af te maken.
De Nieuwe Manier: De auteurs bouwden een aangepast woordenboek dat specifiek voor het Somalisch is ontworpen.
- Het Resultaat: Hun woordenboek is 40% efficiënter. Het kost 40% minder "lepels" om dezelfde hoeveelheid tekst te lezen. Dit bespaart geld en rekenkracht voor iedereen die deze gegevens later gebruikt.

4. De Benchmark: Een "Rijexamen" voor Taaldetectoren

De auteurs creëerden ook een test om te zien welk computerprogramma het beste Somalische tekst kan identificeren. Ze testten drie populaire tools:

De Surprise Winnaar: De oudste tool, genaamd langdetect, presteerde het beste bij het opsporen van Somalisch.
De Verliezer: Een nieuwere, complexere tool (fastText) faalde jammerlijk, waarbij Somalisch vaak werd aangezien voor een volledig andere taal.
De Les: Alleen omdat een tool nieuw is, betekent dat niet dat deze beter is voor specifieke talen.

Samenvatting van Wat is Vrijgegeven

De auteurs hebben niet alleen een paper geschreven; ze hebben drie daadwerkelijke tools voor het publiek vrijgegeven:

Het Corpus: Een schone, hoogwaardige verzameling van 819.000 Somalische documenten (ongeveer 303 miljoen woorden).
De Tokenizer: Een aangepast "woordenboek" dat Somalisch veel efficiënter leest dan generieke versies.
De Benchmark: Een publieke scorekaart die aangeeft welke taaldetectoren daadwerkelijk werken voor het Somalisch.

Wat ze NIET hebben gedaan (volgens de paper):
Ze hebben nog geen nieuwe AI-chatbot of taalmodel getraind op deze gegevens. Ze hebben alleen de ingrediënten (de schone gegevens en de tools) gebouwd en bewezen dat de ingrediënten van hoge kwaliteit zijn. Ze bewaren het "koken" (het trainen van een model en testen hoe slim het wordt) voor een toekomstige versie (v2).

Kortom: SomaliWeb v1 is de eerste keer dat iemand de rommelige, kapotte Somalische tekst van het internet heeft opgehaald, opgeschoond, georganiseerd en heeft overhandigd aan onderzoekers met een aangepaste set tools, zodat ze eindelijk betere AI voor Somalische sprekers kunnen bouwen zonder zelf al het schoonmaakwerk te hoeven doen.

Technische Samenvatting: SomaliWeb v1

Probleemstelling
Ondanks dat Somali een belangrijke wereldtaal is met ongeveer 25 miljoen sprekers en een levendig digitaal ecosysteem (nieuws, diaspora, sociale media), ontbreekt er een toegewijd, gedocumenteerd, enkel-talig pretraining-corpus. Bestaande Somali-tekst is gefragmenteerd binnen meertalige distributies (bijv. HPLT v2, CC100, MADLAD-400, mC4) of bestaat als kleine, niet-gedocumenteerde uploads op Hugging Face. Deze infrastructuurkloof verhindert dat praktici de kwaliteit van trainingsdata auditeren en dwingt onderzoekers om herhaaldelijk corpora opnieuw af te leiden uit ruwe meertalige dumps, waarbij ze dezelfde kwaliteitsproblemen opnieuw ontdekken. Bovendien bestaat er geen publieke benchmark voor taalidentificatie (LID) die specifiek is afgestemd op Somali, en is er geen bijpassende tokenizer vrijgegeven om de "tokenisatiebelasting" (inefficiënte tokenaantallen) aan te pakken waar talen met beperkte middelen in Engelstalige modellen mee te maken hebben.

Methodologie: Het Zes-Fasenproces
De auteurs presenteren SomaliWeb v1, opgebouwd via een reproduceerbaar, zes-fasenproces dat drie upstream-bronnen samenvoegt: HPLT v2 (som_Latn), CC100 (so) en de Somali Wikipedia (dump van 2023-11-01). Het proces verwerkt een initiële aggregatie van 1.372.052 documenten (~~588M tokens) tot een definitief corpus van 819.322 documenten (~~303M tokens).

Byte-Exacte Deduplicatie: Documenten worden gehasht (SHA-256) na normalisatie naar kleine letters en het samenvoegen van witruimte. Dit verwijdert 13,83% van de ruwe invoer, wat aantoont dat HPLT v2 alleen al 17,27% byte-exacte duplicaten bevatte.
Normalisatie en Lengtefiltering: Een reeks operatoren repareert mojibake (met ftfy), past Unicode NFC-normalisatie toe, voegt witruimte samen en verwijdert herhaalde tekenseries. Documenten met minder dan 50 woorden worden verworpen. Deze fase repareert mojibake in 56,06% van de overlevende HPLT-documenten en verwijdert 8,65% van het corpus (voornamelijk korte documenten).
Taalidentificatie (LID): De langdetect-tool, geïnitieerd met seed-data, filtert documenten waarbij Somali de top-1 voorspelling is met een betrouwbaarheid $\ge$ 0,50. Een tweede doorgang met GlotLID v3 labelt dialecten. Dit verwijdert 0,21% van de documenten, voornamelijk Engels lekverkeer.
Verwijdering van Nabije Duplicaten: MinHash met Locality Sensitive Hashing (LSH) identificeert nabije duplicaten met behulp van woord-3-grammen. Kandidaten worden geverifieerd met exacte Jaccard-ähnelijkheid ( $\tau = 0,80$ ). Clusters worden samengevoegd, waarbij het langste document wordt behouden. Dit verwijdert 10,57% van de documenten (113.896 documenten).
Kwaliteitsfiltering: Documenten worden gescoord op basis van karakter-5-gramdekking tegen een schone seed van 2.221 Somali Wikipedia-artikelen. De onderste 15% van de documenten op basis van dekking wordt verworpen. Deze stap onthult bronkwaliteitsasymmetrie, waarbij Wikipedia 20,61% van zijn documenten verwijdert in vergelijking met 5,76% voor CC100.
Release en Tokenizer: Het definitieve corpus wordt geschud, opgesplitst in 95/5 (train/validatie) en gebruikt om een BPE-16K-tokenizer te trainen.

Belangrijkste Bijdragen

C1 (Artefact): De eerste versie, gedocumenteerde, enkel-talige Somali pretraining-corpus (819k documenten, ~303M tokens) vrijgegeven met een begeleidende tokenizer en een volledige datasetkaart onder CC-BY-SA 4.0.
C2 (Benchmark): De eerste publieke zij-aan-zij benchmark van drie productieve LID-tools (langdetect, GlotLID v3, fastText lid.176) op een Somali-specifieke testset, met per-klasse precisie, recall, F1 en doorvoer met 95% bootstrap-betrouwbaarheidsintervallen.
C3 (Meting): Een gekwantificeerde audit van de "gereinigde" Somali-distributie van HPLT v2, waarbij drie concrete gebreken worden geïdentificeerd: 17,3% byte-exacte duplicaten, 56,1% van de documenten met repareerbare mojibake, en 10,7% nabije duplicaten onder byte-unieke documenten.
C4 (Hulpmiddel): Een BPE-16K-tokenizer getraind op het gereinigde corpus. Het bereikt 40,2% hogere token-efficiëntie (minder tokens per woord) op de FLORES-200 Somali devtest in vergelijking met GPT-4's cl100k_base en komt overeen met de vruchtbaarheid van een tokenizer getraind op het ruwe HPLT-corpus, ondanks het gebruik van een 30% kleinere trainingsset.

Resultaten

Behoud door het Proces: Het proces behoudt 59,7% van de ruwe geaggregeerde invoer. De grootste dalingen treden op in Fase 1 (deduplicatie) en Fase 5 (kwaliteitsfiltering).
LID-prestaties: Op een testset van 200 rijen behaalde langdetect de hoogste Somali F1-score (0,884), beter dan GlotLID v3 (0,829) en fastText lid.176 (0,140). Opmerkelijk is dat fastText de meeste Somali-documenten niet identificeerde (recall 0,075), terwijl GlotLID Somali vaak verwarde met fylogenetisch verre Latijnse Afrikaanse talen (bijv. Oromo, Fulfulde) in plaats van het verwante Maay Maay-dialect.
Tokenizer-efficiëntie: De SomaliWeb v1-tokenizer genereert 35.867 tokens voor de FLORES-200 devtest, vergeleken met 60.010 tokens voor cl100k_base. Dit vertegenwoordigt een reductie van 1,67x in het tokenaantal, wat impliceert een potentiële reductie in inferentiekosten en een hogere informatiedichtheid per token.
Dialectdekking: Het definitieve corpus bevat geen documenten die zijn geïdentificeerd als Maay Maay (ymm_Latn), waarschijnlijk vanwege de mondelinge aard van het dialect en upstream-bronfiltering. Het corpus is expliciet uitsluitend gelabeld als "Standaard Somali".

Betekenis en Aanspraken
Het artikel presenteert SomaliWeb v1 primair als een audit van een artefact in plaats van een claim van superioriteit in downstream taalmodellering. De betekenis ligt in:

Reproduceerbaarheid: Het bieden van een gedocumenteerd, bit-exact reproduceerbaar proces dat de gemeenschap in staat stelt Somali-gegevenscuratie te auditeren en te itereren.
Kwaliteitsbewustzijn: Het aantonen dat "beschikbare" meertalige data niet per se "schoon" is, en dat aanzienlijke kwaliteitsdefecten (duplicaten, mojibake) aanhouden in grote releases zoals HPLT v2.
Tokenisatie-efficiëntie: Het vaststellen dat een corpus-geschikte tokenizer de tokenisatiebelasting voor Somali aanzienlijk kan verminderen zonder grotere modelarchitecturen te vereisen.
Fundering voor toekomstig werk: De auteurs stellen expliciet dat vergelijkingen van downstream taalmodel-perplexiteit worden uitgesteld naar een toekomstige release (v2), die ablatiestudies en basislijnvergelijkingen met andere processen (bijv. CCNet) zal bevatten.

Het werk is bescheiden in zijn aanspraken, en erkent beperkingen zoals het ontbreken van PII-scrubbing (Somali-specifiek), het heuristische karakter van de kwaliteitsfilter, de kleine omvang van de LID-testset, en de uitsluiting van niet-standaard dialecten. Het positioneert zichzelf als de eerste stap in een versieerde inspanning om robuuste NLP-infrastructuur voor de Hoorn van Afrika op te bouwen.