Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS

Le corpus Ramsa est une ressource de 41 heures en arabe émirati, riche sur le plan sociolinguistique et conçue pour soutenir la recherche et les technologies de reconnaissance et de synthèse vocale dans les langues à faibles ressources, établissant des références de performance pour des modèles existants tout en identifiant des pistes d'amélioration futures.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment parler et comprendre l'arabe émirati. Le problème ? C'est comme si vous lui donniez un manuel écrit dans un dialecte différent de celui qu'il doit apprendre, ou pire, comme si vous lui donniez un livre avec des pages manquantes.

C'est exactement le défi que relève Ramsa, un nouveau projet décrit dans cet article. Voici une explication simple de ce que c'est, pourquoi c'est important et ce que les chercheurs ont découvert, le tout avec quelques images pour rendre les choses plus claires.

1. Le "Grand Livre de Voix" (Le Corpus)

Jusqu'à présent, les bases de données d'arabe émirati pour les ordinateurs étaient comme de petits carnets de notes : trop courts, avec peu de voix de femmes, et souvent réduits à un seul type de parler (comme si tout le monde à Dubaï parlait exactement de la même façon).

Ramsa, c'est comme si on ouvrait une immense bibliothèque sonore de 41 heures.

• La diversité : Au lieu d'avoir un seul type de voix, Ramsa contient les voix de 157 personnes (59 femmes et 98 hommes). C'est crucial car, jusqu'ici, les robots apprenaient surtout avec des voix d'hommes.
• Les accents : L'arabe émirati n'est pas uniforme. Il y a le parler des villes (Urban), celui des bédouins (Bedouin) et celui des montagnes (Shihhi). Ramsa capture ces différences, un peu comme un photographe qui ne se contente pas de prendre une photo de la ville, mais qui va aussi dans les villages et les déserts pour voir la vraie vie.
• Les sources : Les voix viennent de deux endroits :
  1. Des interviews calmes (comme une conversation autour d'un café).
  2. Des émissions de télévision nationales (des documentaires, des émissions de cuisine, des talk-shows). C'est comme si le robot apprenait non seulement à parler, mais aussi à comprendre comment les gens parlent quand ils sont en public, avec du bruit de fond ou de la musique.

2. La "Traduction" par des Humains (L'Annotation)

Pour qu'un ordinateur comprenne la parole, il faut d'abord l'écrire. Mais écrire l'arabe émirati est un casse-tête.

• Le défi : Si vous écrivez "Comment ça va ?" en arabe standard, c'est une chose. Mais en émirati, les gens disent "Chou?" ou "Shu?". Les chercheurs ont décidé de ne pas "nettoyer" la langue pour la rendre standard. Ils ont écrit exactement ce qu'ils entendaient, avec toutes les réductions de mots et les accents locaux.
• L'équipe : C'est comme un groupe de traducteurs experts qui écoutent chaque minute, découpent les phrases et écrivent ce qu'ils entendent, même si c'est rapide ou avec des rires. Ils ont fait attention à ne pas effacer l'âme de la langue.

3. Le "Test de Conduite" (Les Benchmarks)

Une fois qu'ils ont une petite partie du livre (10 % des données) écrite, ils ont voulu voir si les robots existants pouvaient le comprendre. C'est comme un test de conduite pour des voitures autonomes sur une nouvelle route.

Ils ont mis en compétition trois types de "conducteurs" (des modèles d'intelligence artificielle) :

1. Les géants commerciaux (comme AssemblyAI et Gladia) : Des systèmes très puissants, payants, entraînés sur des milliards d'heures de données du monde entier.
2. Le modèle open-source (Whisper) : Un modèle gratuit et célèbre, entraîné sur beaucoup de langues.

Les résultats :

• Le gagnant : Le modèle Whisper-large-v3-turbo a été le meilleur, mais il a quand même fait des erreurs. Imaginez un élève très intelligent qui comprend 75 % de la conversation, mais qui rate les mots rapides ou les accents très locaux.
• La difficulté : Les robots ont eu beaucoup de mal avec les conversations rapides (comme dans les émissions de cuisine où les gens se coupent la parole) et les accents bédouins ou de montagne, car ils sont moins représentés dans les données d'entraînement mondiales.
• La synthèse vocale (TTS) : Ils ont aussi testé si les robots pouvaient parler en émirati. Le modèle MMS-TTS-Ara a été le plus convaincant, mais la voix sortante n'était pas encore parfaite. C'est comme un chanteur qui a la bonne mélodie mais qui a encore un peu de mal avec le dialecte local.

4. Pourquoi c'est important ? (La Conclusion)

Ce papier ne dit pas "Voici un robot parfait". Il dit : "Voici la première carte fiable de la langue émirati pour les robots."

• Avant : Les chercheurs naviguaient à l'aveugle, avec des cartes incomplètes.
• Aujourd'hui : Avec Ramsa, ils ont une boussole. Ils savent où sont les zones difficiles (les accents de montagne, les conversations rapides) et où les robots réussissent bien (les discours calmes).

Les défis restants :

• Il faut encore plus de voix de femmes et d'accents de montagne pour que le robot soit vraiment équitable.
• Il faut que les robots apprennent à mieux comprendre les jeunes qui parlent vite et mélangent les mots.

En résumé : Ramsa est comme un laboratoire de langue géant. Il ne donne pas la solution finale, mais il fournit les outils et les mesures nécessaires pour que, dans le futur, nos assistants vocaux puissent comprendre un Émirati de Dubaï aussi bien qu'un Bédouin du désert, sans faire de fautes de grammaire ni de prononciation. C'est un grand pas de géant pour la technologie dans la région du Golfe.

Résumé technique

Voici un résumé technique détaillé du papier de recherche « Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS », rédigé en français.

1. Problématique et Contexte

Le papier identifie un manque critique de ressources linguistiques pour l'arabe émirati, particulièrement en comparaison avec les variétés indo-européennes et d'autres dialectes arabes. Les corpus existants souffrent de plusieurs limitations majeures :

• Taille et représentativité : Les corpus actuels sont soit trop petits (ex. : 4 à 14,9 heures), soit dépourvus de métadonnées sociolinguistiques essentielles (genre, sous-dialectes).
• Biais de genre : La plupart des corpus existants sont fortement déséquilibrés en faveur des locuteurs masculins (ex. : Alsanaa avec un seul homme, Casablanca avec seulement 25 % de femmes).
• Homogénéité linguistique : L'arabe émirati est souvent traité comme une variété monolithique, ignorant les variations internes documentées entre les sous-dialectes Urbain, Bédouin et Montagnard/Shihhi.
• Absence de benchmarks : Il n'existe pas de références de performance (baselines) fiables pour les tâches de Reconnaissance Automatique de la Parole (ASR) et de Synthèse Vocale (TTS) dans un contexte zero-shot (sans adaptation préalable) pour cette langue.

2. Méthodologie et Construction du Corpus (Ramsa)

Pour combler ces lacunes, l'auteure, Rania Al-Sabbagh, présente Ramsa, un corpus de parole en cours de développement d'une durée totale de 41 heures.

Sources de données :
Le corpus est composé de deux sources principales :

1. Entretiens structurés : 14 étudiants (13 femmes, 1 homme) de l'Université de Sharjah, enregistrés dans un environnement calme. Les sujets couvrent la vie quotidienne, les préférences alimentaires, les coutumes sociales, etc.
2. Émissions de télévision nationales : 10 émissions diffusées sur des chaînes gouvernementales émiraties (ex. : Emarat TV, Sharjah TV), couvrant des thèmes comme le patrimoine, l'agriculture, l'architecture et les parcours professionnels.

Diversité sociolinguistique :

• Locuteurs : 157 locuteurs au total (59 femmes, 98 hommes), offrant une meilleure parité que les corpus précédents.
• Sous-dialectes : Les locuteurs s'auto-identifient comme Urbains, Bédouins, Montagnards/Shihhi ou Mixtes. Les émissions télévisées ont été sélectionnées pour refléter cette diversité géographique (Abu Dhabi, Sharjah, Oasis de Liwa, Al Dhaid).
• Formats : Le corpus inclut à la fois des formats monologiques (un seul locuteur) et dialogiques (échanges spontanés), avec des durées variables et des conditions acoustiques différentes (présence ou non de musique de fond).

Annotation et Transcription :

• Orthographe dialectale : Contrairement à la normalisation vers l'Arabe Standard Moderne (MSA), Ramsa adopte une orthographe dialectale fidèle à la réalisation phonétique (ex. : transcription des réductions phonologiques, des substitutions comme /q/ → /g/).
• Segmentation : La parole est segmentée en « énoncés » (utterances) définis comme des actes communicatifs complets.
• Qualité : Quatre annotateurs linguistes ont travaillé sur le corpus, avec un processus de validation et de résolution de conflits.

3. Contributions Clés

Les contributions de l'étude sont triples :

1. Ressource Linguistique : Introduction de Ramsa, le plus grand corpus d'arabe émirati à ce jour (41h), avec une représentation améliorée des femmes et une couverture explicite de la diversité des sous-dialectes.
2. Ressource Technologique : Un ensemble de données varié (formats, conditions d'enregistrement) adapté aux applications de technologies vocales et à la recherche sociolinguistique.
3. Évaluation Empirique : Établissement des premières baselines de performance pour l'ASR et le TTS en mode zero-shot sur un sous-ensemble de 10 % du corpus (environ 4 heures).

4. Résultats des Évaluations (Benchmarks)

Une sous-partie de 10 % du corpus a été utilisée pour évaluer des modèles commerciaux et open-source.

Reconnaissance Automatique de la Parole (ASR) :
Trois modèles ont été testés : AssemblyAI Universal-2, Gladia AI (Solaria/Whisper-Zero) et Whisper-large-v3-turbo (open-source).

• Meilleur modèle : Whisper-large-v3-turbo a obtenu les meilleurs résultats avec un taux d'erreur de mots (WER) moyen de 0,268 et un taux d'erreur de caractères (CER) de 0,144.
• Variabilité : La performance varie selon le format. La parole monologique (documentaires) est mieux reconnue, tandis que les formats conversationnels denses avec des chevauchements (ex. : émissions de cuisine) présentent les taux d'erreur les plus élevés (WER jusqu'à 0,79).
• Comparaison : Ces résultats surpassent les benchmarks précédents sur l'arabe émirati (ex. : Casablanca avec WER ~0,52).

Synthèse Vocale (TTS) :
Deux modèles open-source ont été évalués : ArTST et MMS-TTS-Ara (Meta).

• Meilleur modèle : MMS-TTS-Ara a surpassé ArTST avec un WER moyen de 0,285 et un CER de 0,081.
• Performance : Comme pour l'ASR, les modèles gèrent mieux les discours informatifs que les dialogues rapides et superposés.
• Innovation : Il s'agit des premiers résultats de référence reproductibles pour l'arabe émirati en mode zero-shot.

5. Signification et Perspectives

Signification :
Le papier marque une avancée significative pour le traitement automatique des langues (TAL) en arabe émirati. En fournissant des données diversifiées et des baselines solides, Ramsa permet de passer d'une approche de recherche fragmentée à une évaluation systématique. La décision de transcrire phonétiquement le dialecte plutôt que de le normaliser vers le MSA est cruciale pour capturer la réalité sociolinguistique.

Limites et Travaux Futurs :

• Déséquilibres persistants : Bien que la représentation féminine soit améliorée, les locuteurs Bédouins et Montagnards restent sous-représentés par rapport aux locuteurs Urbains.
• Phase préliminaire : Seuls 10 % des données sont transcrits ; les résultats actuels sont des références provisoires.
• Adaptation : Les résultats présentés sont en zero-shot. L'auteure note qu'un fine-tuning (ajustement fin) ciblé pourrait considérablement améliorer les performances, comme le suggèrent les comparaisons avec d'autres dialectes arabes.
• Accès aux données : Les données d'entretien sont accessibles sous conditions (accord d'utilisation des données) pour la recherche académique, tandis que les données télévisées sont soumises à des restrictions de droits d'auteur (seules les métadonnées et URL sont partagées).

En conclusion, Ramsa constitue une fondation essentielle pour le développement de technologies vocales inclusives et précises pour les Émirats Arabes Unis, tout en servant de modèle pour la documentation des variétés dialectales arabes sous-représentées.