SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

Riepilogo Tecnico: SomaliWeb v1

Enunciato del Problema
Nonostante il somalo sia una delle principali lingue mondiali con circa 25 milioni di parlanti e un ecosistema digitale vibrante (notizie, diaspora, social media), manca di un corpus di pre-addestramento dedicato, documentato e monolingue. Il testo somalo esistente è frammentato all'interno di distribuzioni multilingue (ad esempio HPLT v2, CC100, MADLAD-400, mC4) o esiste come piccoli caricamenti non documentati su Hugging Face. Questo vuoto infrastrutturale impedisce ai praticanti di verificare la qualità dei dati di addestramento e costringe i ricercatori a derivare ripetutamente i corpora da dump multilingue grezzi, riscoprendo gli stessi problemi di qualità. Inoltre, non esiste alcun benchmark pubblico per l'identificazione della lingua (LID) specificamente tarato sul somalo, né è stato rilasciato alcun tokenizzatore corrispondente per affrontare la "tassa di tokenizzazione" (conteggi di token inefficienti) affrontata dalle lingue a risorse limitate nei modelli centrati sull'inglese.

Metodologia: La Pipeline a Sei Stadi
Gli autori presentano SomaliWeb v1, costruito tramite una pipeline riproducibile a sei stadi che aggrega tre fonti a monte: HPLT v2 (som_Latn), CC100 (so) e la Wikipedia somala (dump del 2023-11-01). La pipeline elabora un aggregato iniziale di 1.372.052 documenti (588M token) fino a un corpus finale di 819.322 documenti (303M token).

1. Deduplicazione Esatta a Byte: I documenti vengono hashati (SHA-256) dopo la normalizzazione in minuscolo e la compressione degli spazi bianchi. Questo rimuove il 13,83% dell'input grezzo, rivelando che HPLT v2 da solo conteneva il 17,27% di duplicati esatti a byte.
2. Normalizzazione e Filtraggio per Lunghezza: Una sequenza di operatori ripara il mojibake (usando ftfy), applica la normalizzazione Unicode NFC, comprime gli spazi bianchi e rimuove le sequenze ripetute di caratteri. I documenti con meno di 50 parole vengono scartati. Questa fase ripara il mojibake nel 56,06% dei documenti HPLT sopravvissuti e riduce il corpus dell'8,65% (principalmente documenti brevi).
3. Identificazione della Lingua (LID): langdetect inizializzato filtra i documenti in cui il somalo è la previsione top-1 con una confidenza $\ge$ 0,50. Un secondo passaggio con GlotLID v3 etichetta i dialetti. Questo rimuove lo 0,21% dei documenti, per lo più infiltrazioni di inglese.
4. Rimozione dei Quasi-Duplicati: MinHash con Locality Sensitive Hashing (LSH) identifica i quasi-duplicati utilizzando trigrammi di parole. I candidati vengono verificati con la similarità Jaccard esatta ($\tau = 0,80$). I cluster vengono uniti, mantenendo il documento più lungo. Questo rimuove il 10,57% dei documenti (113.896 documenti).
5. Filtraggio della Qualità: I documenti vengono valutati in base alla copertura dei pentagrammi di caratteri rispetto a un seme pulito di 2.221 articoli della Wikipedia somala. Il 15% inferiore dei documenti per copertura viene scartato. Questo passaggio rivela un'asimmetria nella qualità della fonte, con la Wikipedia che scarta il 20,61% dei suoi documenti rispetto al 5,76% per CC100.
6. Rilascio e Tokenizzatore: Il corpus finale viene mescolato, diviso 95/5 (addestramento/validazione) e utilizzato per addestrare un tokenizzatore BPE-16K.

Principali Contributi

• C1 (Artefatto): La prima versione documentata, con controllo di versione, di un corpus di pre-addestramento somalo monolingue (819k documenti, ~303M token) rilasciato con un tokenizzatore companion e una scheda del dataset completa sotto licenza CC-BY-SA 4.0.
• C2 (Benchmark): Il primo benchmark pubblico affiancato di tre strumenti LID di produzione (langdetect, GlotLID v3, fastText lid.176) su un set di test specifico per il somalo, fornendo precisione, richiamo, F1 e throughput per classe con intervalli di confidenza bootstrap al 95%.
• C3 (Misurazione): Un audit quantificato della distribuzione "pulita" del somalo di HPLT v2, che identifica tre difetti concreti: il 17,3% di duplicati esatti a byte, il 56,1% di documenti contenenti mojibake riparabile e il 10,7% di quasi-duplicati tra documenti unici a byte.
• C4 (Strumento): Un tokenizzatore BPE-16K addestrato sul corpus pulito. Raggiunge un'efficienza di tokenizzazione superiore del 40,2% (meno token per parola) sul devtest FLORES-200 somalo rispetto a cl100k_base di GPT-4 e corrisponde alla fertilità di un tokenizzatore addestrato sul corpus HPLT grezzo nonostante utilizzi un set di addestramento del 30% più piccolo.

Risultati

• Ritenzione della Pipeline: La pipeline trattiene il 59,7% dell'input aggregato grezzo. I cali più significativi si verificano nella Fase 1 (deduplicazione) e nella Fase 5 (filtraggio della qualità).
• Prestazioni LID: Su un set di test di 200 righe, langdetect ha ottenuto il punteggio F1 somalo più alto (0,884), superando GlotLID v3 (0,829) e fastText lid.176 (0,140). È notevole che fastText non abbia identificato la maggior parte dei documenti somali (richiamo 0,075), mentre GlotLID ha spesso confuso il somalo con lingue africane in script latino filogeneticamente distanti (ad esempio Oromo, Fulfulde) piuttosto che con il dialetto correlato Maay Maay.
• Efficienza del Tokenizzatore: Il tokenizzatore SomaliWeb v1 emette 35.867 token per il devtest FLORES-200, rispetto ai 60.010 token di cl100k_base. Questo rappresenta una riduzione del conteggio dei token di 1,67 volte, implicando una potenziale riduzione dei costi di inferenza e una maggiore densità di informazioni per token.
• Copertura dei Dialetti: Il corpus finale contiene zero documenti identificati come Maay Maay (ymm_Latn), probabilmente a causa della natura orale del dialetto e del filtraggio delle fonti a monte. Il corpus è esplicitamente etichettato come "Somalo Standard" solamente.

Significato e Affermazioni
Il documento inquadra SomaliWeb v1 principalmente come un audit di un artefatto piuttosto che come un'affermazione di superiorità nel modellamento linguistico a valle. Il suo significato risiede in:

1. Riproducibilità: Fornire una pipeline documentata e riproducibile esattamente a livello di bit che permette alla comunità di auditare e iterare sulla cura dei dati somali.
2. Consapevolezza della Qualità: Dimostrare che i dati multilingue "disponibili" non sono necessariamente "puliti" e che difetti significativi di qualità (duplicati, mojibake) persistono in rilasci importanti come HPLT v2.
3. Efficienza di Tokenizzazione: Stabilire che un tokenizzatore corrispondente al corpus può ridurre significativamente la tassa di tokenizzazione per il somalo senza richiedere architetture di modelli più grandi.
4. Fondamento per Lavori Futuri: Gli autori dichiarano esplicitamente che i confronti di perplessità dei modelli linguistici a valle sono rimandati a un futuro rilascio (v2), che includerà studi di ablazione e confronti di baseline con altre pipeline (ad esempio CCNet).

Il lavoro è modesto nelle sue affermazioni, riconoscendo limitazioni come la mancanza di rimozione dei PII (specifici per il somalo), la natura euristica del filtro di qualità, la piccola dimensione del set di test LID e l'esclusione di dialetti non standard. Si posiziona come il primo passo in uno sforzo versionato per costruire infrastrutture NLP robuste per il Corno d'Africa.