DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

1. Il Problema: Risorse Computazionali Carenti per l'Amazigh

Il paper affronta la grave carenza di risorse digitali e strumenti di elaborazione del linguaggio naturale (NLP) per le lingue Amazigh (Berbere), in particolare per il Tashlhiyt (noto anche come Tashelhiyt o Shilha), parlato nel sud del Marocco.

• Disparità delle risorse: Sebbene l'Amazigh sia parlato da milioni di persone, i dataset NLP sono scarsamente distribuiti. Il Tashlhiyt riceve una copertura limitata rispetto al Tamazight Standard, creando un divario di prestazioni del 20-25% nei sistemi multilingue o dialettali.
• Complessità Ortografica: Esiste una vasta diversità ortografica nel Tashlhiyt, derivante dall'uso simultaneo di script Neo-Tifinagh (ufficiale), latino, arabo e, soprattutto, ortografie non standard generate dagli utenti sui social media (che usano numeri e caratteri non standard per rappresentare fonemi assenti).
• Mancanza di Standardizzazione: Questa eterogeneità rende difficili compiti fondamentali come la tokenizzazione, l'allineamento delle frasi e la normalizzazione, ostacolando lo sviluppo di pipeline NLP robuste e sistemi di riconoscimento vocale (ASR).

2. Metodologia e Creazione del Corpus DATASHI

Gli autori hanno creato DATASHI, il primo corpus parallelo Inglese-Tashlhiyt progettato specificamente per la normalizzazione ortografica e lo sviluppo NLP a basse risorse.

• Struttura del Corpus:
  • Volume: 5.000 coppie di frasi parallele.
  • Dominii Tematici: 20 domini (es. vita quotidiana, salute, tecnologia) per garantire diversità lessicale e morfologica.
  • Doppia Rappresentazione:
    1. Versione Non-Standard: 34 parlanti nativi (non esperti) hanno trascritto le frasi inglesi utilizzando le loro convenzioni spontanee, riflettendo la reale variabilità ortografica della comunità.
    2. Versione Standardizzata (Gold-Standard): Un subset di 1.500 frasi è stato manualmente normalizzato da 7 esperti linguistici Amazigh, seguendo le convenzioni dell'IRCAM (Istituto Reale della Cultura Amazigh) e la grafia latina berbera.
• Design Linguistico:
  • Il corpus cattura fenomeni fonologici complessi come l'assimilazione, la fusione, le consonanti geminate, le emphatiche, le faringali e le uvulari.
  • La normalizzazione opera a livello di caratteri (es. conversione di numeri come '7' in 'h.'), morfologia (es. forme verbali negative) e fonologia (es. risoluzione di assimilazioni).
  • Il vocabolario non standard mostra un'alta variabilità (7.261 tipi unici) dovuta a segmentazione incoerente, ridotta a 3.683 tipi nella versione standardizzata.

3. Contributi Chiave

1. Primo Corpus Parallelo di Alta Qualità: DATASHI colma il vuoto di dati paralleli di grandi dimensioni tra l'inglese e il Tashlhiyt, offrendo una base per la valutazione riproducibile.
2. Strumento per la Normalizzazione: La coppia "testo non standard / testo standardizzato" fornisce un dataset di addestramento e valutazione ideale per modelli di normalizzazione ortografica.
3. Analisi Fonologica Dettagliata: Il corpus include statistiche granulari su classi fonologiche critiche (geminate, faringali, uvulari, labializzate), essenziali per la modellazione fonetica e l'allineamento multimodale (testo-parlato).
4. Valutazione dei LLM: Il paper introduce una valutazione sistematica di modelli linguistici di grandi dimensioni (LLM) su compiti di normalizzazione per lingue a basse risorse.

4. Risultati Sperimentali

Gli autori hanno valutato cinque modelli LLM all'avanguardia (GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral-Large-2411, Qwen3-Max) utilizzando metriche come il Word Error Rate (WER) e la Distanza di Levenshtein (LD).

• Performance Generale:
  • Gemini-2.5-Pro ha ottenuto le migliori prestazioni in entrambi gli scenari (zero-shot e few-shot), con il WER più basso (37.8% zero-shot, 35.5% few-shot) e la LD più bassa.
  • Claude-Sonnet-4.5 e GPT-5 hanno mostrato risultati moderati, mentre Qwen3-Max e Mistral hanno avuto le prestazioni peggiori.
  • L'approccio Few-Shot (fornendo esempi nel prompt) ha migliorato significativamente le prestazioni di tutti i modelli, dimostrando la capacità di apprendimento contestuale.
• Analisi degli Errori (Fine-Grained):
  • Geminazione: Gli errori di cancellazione e sostituzione sono stati più frequenti per le consonanti geminate (es. tt, ll), indicando che i modelli faticano a preservare le distinzioni di lunghezza consonantica, cruciali in Tashlhiyt.
  • Caratteri Marcati: I modelli hanno mostrato sensibilità variabile alle consonanti faringali e uvulari. Gemini-2.5-Pro ha dimostrato la maggiore robustezza nel gestire queste caratteristiche foneticamente marcate.
  • Pattern di Errore: Le sostituzioni sono state l'errore più comune, seguite dalle cancellazioni. I modelli meno performanti tendevano a "sovra-normalizzare" o distorcere le forme ortografiche complesse.

5. Significato e Impatto

• Avanzamento NLP per l'Amazigh: DATASHI fornisce le fondamenta per sviluppare sistemi di traduzione automatica, tokenizzazione e modellazione linguistica più accurati per il Tashlhiyt.
• Ponte verso il Multimodale: La normalizzazione testuale coerente è un prerequisito essenziale per la costruzione di sistemi di riconoscimento e sintesi vocale (ASR/TTS) a basse risorse. Il corpus è progettato per essere esteso a dati di parlato letto.
• Validazione dei LLM: Lo studio dimostra che i modelli foundation moderni possono generalizzare a lingue a basse risorse se forniti di prompt adeguati, ma evidenzia anche i limiti attuali nel gestire la morfologia non concatenativa e le complessità fonologiche specifiche delle lingue berbere.
• Equità delle Risorse: Il lavoro contribuisce a ridurre il divario digitale per le lingue indigene, promuovendo uno sviluppo tecnologico inclusivo e rispettoso della diversità linguistica.

In sintesi, il paper presenta una risorsa critica (DATASHI) e una valutazione empirica rigorosa che guidano lo sviluppo futuro di tecnologie NLP per il Tashlhiyt, evidenziando sia il potenziale degli LLM che le sfide specifiche legate alla complessità morfologica e ortografica della lingua.