Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS

Il paper presenta Ramsa, un corpus di 41 ore di parlato in arabo emiratino ricco di varianti sociolinguistiche, progettato per supportare la ricerca e le tecnologie ASR/TTS a risorse limitate, fornendo al contempo baseline iniziali per modelli esistenti.

L'essenziale

🎙️ Ramsa: La Grande Biblioteca delle Voci degli Emirati

Immaginate di voler insegnare a un robot a parlare e capire l'arabo degli Emirati Arabi Uniti. Il problema è che, finora, i robot hanno avuto a disposizione pochissimi "libri di testo" fatti con le voci reali delle persone. Hanno avuto solo qualche pagina stropicciata, mentre per altre lingue (come l'inglese o l'arabo standard) hanno intere biblioteche piene zeppa.

Ramsa è il nome di un nuovo, gigantesco progetto nato per riempire questo vuoto. È come se un gruppo di ricercatori avesse deciso di costruire una palestra gigante per allenare l'intelligenza artificiale, ma invece di pesi, usano le voci, i dialetti e le storie della gente degli Emirati.

Ecco i punti chiave, spiegati con un po' di fantasia:

1. Il "Cantiere" in Costruzione (Il Corpus)

Ramsa non è ancora finito; è un cantiere vivo. Al momento, contiene 41 ore di registrazioni.

• Da dove vengono le voci? Da due fonti principali:
  1. Interviste: Come se un giornalista andasse a casa delle persone a chiacchierare di vita quotidiana, cibo, tradizioni e lavoro.
  2. Televisione: Come se prendessimo i migliori programmi TV nazionali, dove si parla di architettura, agricoltura e storie locali.
• Chi parla? Ci sono 157 persone diverse. Il progetto ha fatto uno sforzo speciale per includere molte più donne rispetto ai progetti passati (59 donne e 98 uomini), perché spesso i robot venivano allenati solo su voci maschili.
• I dialetti: Gli Emirati non parlano tutti allo stesso modo. Ci sono chi vive in città (Urban), chi nelle tribù del deserto (Beduino) e chi nelle zone montuose (Shihhi). Ramsa cerca di catturare tutte queste sfumature, come se volesse registrare non solo la "lingua ufficiale", ma anche i vari accenti e modi di dire della famiglia.

2. Il "Traduttore" e il "Cantante" (ASR e TTS)

Il paper testa due abilità fondamentali dell'IA usando queste registrazioni:

• ASR (Riconoscimento Vocale): È come un segretario super-veloce. Ascolta la voce e la scrive su un foglio. Il team ha provato a far ascoltare le registrazioni di Ramsa a diversi "segretari" (modelli AI famosi come Whisper).
  • Il risultato? Il modello "Whisper-large-v3-turbo" è stato il migliore, ma ha ancora fatto un po' di errori (come quando un umano scrive "ciao" invece di "ciao" o sbaglia una parola). Questo ci dice che c'è ancora molto lavoro da fare per insegnare al robot a capire perfettamente il dialetto emiratino.
• TTS (Sintesi Vocale): È come un cantante robotico. Prende un testo scritto e lo legge ad alta voce con una voce naturale.
  • Il risultato? Anche qui, il modello "MMS-TTS-Ara" è stato il più bravo, ma la sua voce suona ancora un po' "robotica" quando deve gestire conversazioni veloci o sovrapposizioni di voci (come in una discussione animata al mercato).

3. La Sfida della "Cucina" vs. il "Discorso"

Una scoperta interessante è stata come i robot reagiscono a diversi tipi di conversazione:

• Facile: Quando una persona parla da sola (come in un documentario o un'intervista tranquilla), il robot capisce quasi tutto. È come ascoltare un narratore di favole.
• Difficile: Quando due persone parlano insieme, si interrompono, ridono e si sovrappongono (come in un programma di cucina o un talk show), il robot si confonde. È come cercare di capire una conversazione in un ristorante affollato mentre si ha un tappo nell'orecchio.

4. Perché è importante?

Prima di Ramsa, l'arabo emiratino era come una lingua "sottovalutata" nel mondo digitale. I robot non la capivano bene perché non avevano abbastanza esempi.
Ramsa è come dare a questi robot un dizionario illustrato fatto di voci vere.

• Per la scienza: Aiuta a studiare come cambia la lingua tra le generazioni e tra le diverse tribù.
• Per la tecnologia: Permette di creare assistenti vocali, sottotitoli automatici e traduttori che funzionino davvero bene per gli emiratini, non solo per chi parla l'arabo standard dei libri di scuola.

5. Cosa manca ancora? (I Limiti)

Il paper è onesto: il lavoro è appena iniziato.

• Non è tutto uguale: Ci sono ancora meno voci di uomini rispetto alle donne (anche se è migliorato) e mancano alcune voci delle zone montuose più remote.
• Non è perfetto: Le registrazioni sono state prese da TV e interviste, quindi non coprono tutti i modi in cui la gente parla ogni giorno.
• Accesso: Le registrazioni delle interviste private sono come un fondo archiviato: solo i ricercatori autorizzati possono ascoltarle per proteggere la privacy delle persone. I programmi TV sono protetti da copyright, quindi non si possono scaricare liberamente, ma si possono usare i dati per studiare come funzionano.

In sintesi

Ramsa è il primo grande passo per dire agli assistenti vocali: "Ehi, non parliamo solo la lingua dei libri, parliamo anche la lingua della strada, del deserto e della città, con tutte le sue sfumature!". È una base solida per il futuro, anche se la costruzione continua.

Sommario tecnico

Ecco un riepilogo tecnico dettagliato del paper "Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS", redatto in italiano.

1. Il Problema

Il campo dell'elaborazione del linguaggio naturale (NLP) e delle tecnologie vocali per le varietà dialettali arabe, in particolare l'arabo emiratino, soffre di una significativa carenza di risorse.

• Limiti delle risorse esistenti: I corpus esistenti per l'arabo del Golfo sono spesso di piccole dimensioni, sbilanciati dal punto di vista demografico (scarsa rappresentazione femminile) e trattano l'arabo emiratino come una varietà omogenea, ignorando le sue variazioni interne.
• Mancanza di metadati sociolinguistici: Corpus di grandi dimensioni come ADI17 (112 ore) mancano di metadati essenziali come genere e sottodialetto. Altri corpus più piccoli (Alsanaa, Casablanca, Mixat) presentano gravi squilibri di genere (spesso con un solo parlante maschile o una minoranza di donne) e coprono solo un sottodialetto specifico (es. solo beduino o solo urbano).
• Necessità di diversità: È urgente disporre di un corpus che includa la diversità dei sottodialetti (Urbano, Beduino, Montagna/Shihhi) e un equilibrio di genere per supportare ricerche sociolinguistiche e lo sviluppo di tecnologie per lingue a risorse limitate.

2. Metodologia

Il progetto Ramsa è stato sviluppato per colmare queste lacune attraverso una raccolta dati strutturata e un'annotazione rigorosa.

• Composizione del Corpus:

  • Volume: 41 ore di parlato arabo emiratino (in fase di sviluppo).
  • Fonti: Due fonti principali:
    1. Interviste strutturate: Condotte con 14 studenti dell'Università di Sharjah (13 donne, 1 uomo), coprendo temi di vita quotidiana, cultura e interessi personali.
    2. Programmi televisivi nazionali: 10 show trasmessi su canali governativi (es. Emarat TV, Sharjah TV) che coprono temi come patrimonio culturale, agricoltura, architettura e storie di vita.
  • Diversità dei parlanti: 157 parlanti totali (59 femmine, 98 maschi). I parlanti si sono auto-identificati in sottodialetti: Urbano, Beduino, Montagna/Shihhi o Misto.
  • Formati: Include registrazioni monologiche e dialogiche, con durate variabili (<5 min, 5-15 min, >15 min) e diverse condizioni acustiche (alcune con musica di sottofondo, altre silenziose).

• Strategie di Annotazione:

  • Ortografia Dialettale: A differenza di altri corpus che normalizzano il testo verso l'Arabo Standard Moderno (MSA), Ramsa adotta un'ortografia dialettale fedele alla realizzazione acustica. Vengono mantenute le riduzioni fonologiche, le fusioni di clitici e le sostituzioni fonologiche specifiche (es. /q/ → /g/, /k/ → /sh/).
  • Segmentazione: Il parlato è segmentato in "enunciati" (utterances) definiti come atti comunicativi completi, basati su criteri prosodici e interazionali.
  • Gestione del parlato: Vengono trascritti fedelmente esitazioni, riparazioni, interruzioni e code-switching (inglese/arabo), mantenendo la distinzione tra script arabo e latino per i prestiti non adattati.

• Subset di Valutazione: Per i benchmark iniziali, è stato selezionato casualmente il 10% del corpus (circa 4 ore di parlato, 29.301 token), trascritto manualmente da annotatori linguisti.

3. Contributi Chiave

1. Ramsa Corpus: Introduzione del più grande corpus di parlato emiratino finora disponibile con una rappresentazione sociolinguistica ampia, migliorando significativamente la partecipazione femminile e la copertura dei sottodialetti rispetto alle risorse precedenti.
2. Diversità dei Dati: Il corpus cattura la variazione nei formati interazionali (monologo/dialogo), nelle durate e nelle condizioni di registrazione, rendendolo adatto per applicazioni tecnologiche diversificate e studi sociolinguistici.
3. Benchmark Zero-Shot: Fornisce le prime linee di base (baselines) per il riconoscimento automatico del parlato (ASR) e la sintesi vocale (TTS) in modalità zero-shot (senza addestramento specifico sul dataset) per l'arabo emiratino, evidenziando le sfide attuali.

4. Risultati dei Benchmark

Sul subset del 10% sono stati testati modelli commerciali e open-source.

• Riconoscimento Automatico del Parlato (ASR):

  • Modelli testati: AssemblyAI Universal-2, Gladia AI (Solaria/Whisper-Zero), Whisper-large-v3-turbo (open-source).
  • Risultato migliore: Whisper-large-v3-turbo ha ottenuto le prestazioni migliori con un Word Error Rate (WER) medio di 0.268 e un Character Error Rate (CER) di 0.144.
  • Analisi delle performance: I modelli hanno funzionato meglio su discorsi monologici e documentaristici. Le performance sono peggiorate significativamente nei formati conversazionali densi con sovrapposizioni di voci (es. show di cucina), dove il WER è salito fino a ~0.73-0.79.
  • Confronto: I risultati sono superiori a quelli riportati per il corpus Casablanca (Whisper-large-v2: WER 0.52) e comparabili a Alsanaa.

• Sintesi Vocale (TTS):

  • Modelli testati: ArTST e MMS-TTS-Ara (Meta).
  • Risultato migliore: MMS-TTS-Ara ha superato ArTST con un WER medio di 0.285 e un CER di 0.081.
  • Analisi: Anche per la TTS, i formati con turni rapidi e sovrapposizioni hanno rappresentato la sfida maggiore. Il CER è rimasto sistematicamente più basso del WER, indicando che l'ortografia dialettale riduce l'impatto della tokenizzazione.
  • Nota: Non esistono precedenti risultati pubblicati per la TTS in arabo emiratino; questi rappresentano il primo punto di riferimento replicabile.

5. Significato e Prospettive Future

• Fondamento per la ricerca: Ramsa stabilisce una base solida per lo sviluppo di modelli specifici per l'arabo emiratino, permettendo il passaggio da modelli generici multilingue a sistemi adattati (fine-tuning).
• Sfide identificate:
  • Squilibrio residuo: Nonostante i miglioramenti, la rappresentazione dei sottodialetti Beduino e Montagna/Shihhi rimane limitata rispetto a quello Urbano.
  • Cambiamento linguistico: Durante l'annotazione è emersa una difficoltà generazionale nell'interpretare alcuni lessici, suggerendo un'evoluzione o un'attrizione linguistica che richiede annotatori di diverse fasce d'età.
  • Accesso ai dati: A causa di restrizioni etiche (per le interviste) e di copyright (per i programmi TV), l'accesso ai dati grezzi è limitato ai ricercatori qualificati tramite accordi di utilizzo dei dati (DUA), mentre per i broadcast sono forniti solo metadati e URL.
• Impatto: Il lavoro sottolinea la necessità di continuare a raccogliere dati diversificati e di sviluppare protocolli di valutazione più robusti (inclusi test di ascolto umano/MOS) per migliorare le tecnologie vocali nelle lingue a risorse limitate.

In sintesi, Ramsa rappresenta un passo fondamentale verso la democratizzazione delle tecnologie vocali per l'arabo emiratino, offrendo non solo dati quantitativi ma anche una ricchezza qualitativa sociolinguistica precedentemente inesplorata.