Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS

Het artikel introduceert Ramsa, een zich ontwikkelende spraakcorpus van 41 uur met Emirati-Arabisch dat rijk is aan sociolinguïstische variatie en bedoeld is om onderzoek en technologieën voor automatisch spraakherkenning en tekst-naar-spraak te ondersteunen, waarbij de prestaties van bestaande modellen als uitgangspunt worden geëvalueerd.

De kern

De "Ramsa": Een Geluidskast vol met de Stem van de Emiraten

Stel je voor dat je een enorme, glazen kast bouwt. In deze kast leg je niet oude borden of boeken, maar geluid. Duizenden uren aan geluid. Maar niet zomaar geluid: dit is de stem van de Verenigde Arabische Emiraten (VAE). Dit project heet Ramsa.

De auteur, Rania Al-Sabbagh, heeft deze kast gebouwd omdat er tot nu toe te weinig geluid was om de echte, levendige taal van de Emiraten goed te begrijpen en voor computers te laten leren. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Blinde Vlek"

Vroeger was het alsof je een enorme bibliotheek had, maar de hele afdeling over de Emiraten was leeg of vol met slechts één soort boek.

• Te weinig boeken: Er waren bestaande verzamelingen, maar die waren vaak te klein (soms maar een paar uur).
• Slechte diversiteit: In die oude verzamelingen waren er vaak veel mannen en weinig vrouwen. En ze behandelden de taal alsof iedereen in het land exact hetzelfde spreekt.
• De realiteit: Maar in de VAE is dat niet zo! Er zijn verschillende "stijlen" van spreken:
  • Stedelijk: De mensen in de grote steden.
  • Bedoeïen: De mensen uit de woestijn.
  • Berg/Shihhi: De mensen uit de bergen (zoals in Ras Al Khaimah).
  • Gemengd: Veel jongeren spreken een mix van alles.

Ramsa is gemaakt om deze leegte op te vullen. Het is een 41 uur durende geluidskast met 157 verschillende sprekers (59 vrouwen en 98 mannen), zodat het een eerlijk beeld geeft van wie er in het land woont.

2. Wat zit er in de kast?

De kast bevat twee soorten geluid, net als een mix van een podcast en een tv-programma:

1. Gesprekken (Interviews): Mensen die rustig in een kantoor zitten en vragen beantwoorden over hun leven, eten, en cultuur. Dit is als een diepgaand gesprek met een vriend.
2. Televisie-uitzendingen: Fragmenten van echte tv-shows over geschiedenis, koken, landbouw en architectuur. Dit is levendiger, soms met muziek op de achtergrond, en soms met veel mensen die tegelijk praten.

De makers zijn heel zorgvuldig geweest. Ze hebben niet de "schoolse" taal (zoals in een boek) gebruikt, maar de echte, dagelijkse taal. Als iemand een woord korter zegt of een klank verandert, hebben ze dat precies zo opgeschreven. Het is alsof je een fototoestel gebruikt in plaats van een schilderij; je wilt de realiteit zien, niet een geïdealiseerde versie.

3. De "Robot-Test": Kunnen computers dit verstaan?

De auteur heeft een deel van deze kast (ongeveer 10%) gebruikt om te testen of moderne computers (kunstmatige intelligentie) de Emirati-taal kunnen verstaan en kunnen nabootsen.

• Luisteren (ASR): Ze hebben geprobeerd om de computer te laten luisteren en de tekst op te schrijven.

  • Het resultaat: De beste computer (Whisper-large-v3-turbo) kon ongeveer 73% van de woorden correct opschrijven. Dat klinkt misschien niet als 100%, maar voor een taal die zo weinig data heeft, is dat een enorme prestatie!
  • Moeilijkheden: Het was het makkelijkst als iemand rustig sprak (zoals in een documentaire). Het was het moeilijkst als mensen elkaar onderbraken of snel tegen elkaar schreeuwden (zoals in een kookshow). Dat is voor een computer net zo lastig als voor een mens in een drukke kroeg.

• Spreken (TTS): Ze hebben geprobeerd om de computer te laten praten in de Emirati-stijl.

  • Het resultaat: Een systeem genaamd MMS-TTS-Ara deed het het beste. Het klonk redelijk natuurlijk, maar er is nog veel ruimte voor verbetering. Het is alsof je een robot hebt die net begint met het leren van een dialect; hij kent de woorden, maar de "smaak" en het accent moeten nog wat meer oefening.

4. Waarom is dit belangrijk?

Stel je voor dat je een nieuwe auto bouwt, maar je hebt alleen maar foto's van auto's in de sneeuw. Je weet niet hoe ze werken in de hitte of in de modder.

• Voor de technologie: Zonder deze "Ramsa-kast" kunnen spraakassistenten (zoals Siri of Alexa) de Emirati-taal niet goed begrijpen. Ze zouden denken dat iedereen in Dubai exact hetzelfde spreekt als in Cairo of Dubai.
• Voor de cultuur: Het helpt om de verschillende dialecten te bewaren. Net zoals je oude foto's bewaart, bewaart Ramsa de klank van de taal voor de toekomst.
• Voor de mensen: Het zorgt ervoor dat vrouwen en mensen uit de bergen en woestijn ook gehoord worden, niet alleen de mannen uit de stad.

5. De "Nog niet klaar"-status

Het is belangrijk om te weten dat Ramsa nog in aanbouw is.

• De auteurs hebben nu pas 10% van de geluiden getranscribeerd (omgezet naar tekst).
• Ze merken dat het soms lastig is om annotatoren (mensen die de tekst controleren) te vinden die alle dialecten perfect kennen, vooral de oudere generaties.
• De tv-fragmenten mogen niet zomaar worden gedeeld vanwege auteursrechten, maar de data voor onderzoekers is wel beschikbaar onder strikte regels.

Kortom:
Ramsa is als het leggen van de eerste, stevige fundamenten voor een huis. Tot nu toe waren de muren van de Emirati-taal voor computers dun en onvolledig. Met deze nieuwe, rijke verzameling geluiden kunnen we nu een stevig huis bouwen waar de technologie eindelijk de echte, diverse en prachtige stem van de Emiraten kan horen en begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS", geschreven in het Nederlands.

Probleemstelling

Bestaande spraakcorpora voor het Arabisch, en specifiek voor de Golf-regio, vertonen aanzienlijke tekortkomingen ten opzichte van Indo-Europese talen en andere Arabische variëteiten. De huidige bronnen voor het Emiraatse Arabisch (zoals ADI17, Alsanaa, Mixat en Casablanca) kampen met de volgende beperkingen:

• Beperkte schaal: De meeste corpora zijn klein (vaak minder dan 15 uur), met uitzondering van ADI17 (112 uur), maar dat corpus mist essentiële metadata.
• Gebrek aan representativiteit: Er is een sterke genderdisbalans (vaak oververtegenwoordiging van mannen) en een gebrek aan diversiteit in subdialecten. Emiraatse Arabisch wordt vaak behandeld als een homogene variëteit, terwijl er duidelijke verschillen bestaan tussen Urban (stedelijk), Bedouin (woestijn) en Mountain/Shihhi (berg) dialecten.
• Ontbrekende metadata: Bestaande datasets bevatten vaak geen gedetailleerde informatie over de sprekers (geslacht, subdialect, regio), wat sociolinguïstisch onderzoek en het trainen van dialect-sensitieve modellen bemoeilijkt.

Methodologie

Het paper introduceert Ramsa, een zich ontwikkelend spraakcorpus van 41 uur dat is ontworpen om deze gaten te dichten. De methodologie omvat:

1. Datacollectie:

   • Bronnen: Het corpus bestaat uit gestructureerde interviews met native speakers en afleveringen van tien nationale televisieprogramma's.
   • Sprekers: In totaal 157 sprekers (59 vrouwen, 98 mannen).
   • Dialectdiversiteit: Sprekers zijn zelfgeclassificeerd als Urban, Bedouin, Mountain/Shihhi of Mixed. De televisiebronnen zijn geselecteerd op basis van hun geografische locatie (bijv. Abu Dhabi, Sharjah, Liwa Oasis) om dialectvariatie te waarborgen.
   • Formaten: Het corpus bevat zowel monologische (een spreker) als dialogische (gesprekken) opnames, variërend in lengte (<5 min tot >15 min) en akoestische omstandigheden (van stilte tot achtergrondmuziek).

2. Transcriptie en Annotatie:

   • Orthografie: Er wordt gebruikgemaakt van een dialectale orthografie die de gesproken realisatie zo trouw mogelijk weergeeft, in plaats van te normaliseren naar Standaard Arabisch (MSA). Dit omvat het behouden van fonologische reducties, assimilaties en dialect-specifieke klankvervangingen (bijv. /q/ als /g/).
   • Segmentatie: De data is opgedeeld in "utterances" (uitspraken) op basis van interactieve functies en prosodie.
   • Annotators: Vier linguïstisch opgeleide annotatoren (inclusief native sprekers van verschillende achtergronden) hebben de data getranscribeerd.

3. Benchmarks (Zero-Shot Evaluatie):

   • Een 10% subset (ongeveer 4 uur) van het corpus werd handmatig getranscribeerd om als "gold standard" te dienen.
   • ASR (Automatic Speech Recognition): Drie modellen werden getest: AssemblyAI Universal-2, Gladia AI (Solaria/Whisper-Zero) en Whisper-large-v3-turbo.
   • TTS (Text-to-Speech): Twee open-source modellen werden getest: ArTST en MMS-TTS-Ara.
   • Evaluatiemetrics: Prestaties werden gemeten aan de hand van Word Error Rate (WER) en Character Error Rate (CER). Voor TTS werd een "back-transcription" methode gebruikt (de gegenereerde audio wordt teruggetranscribeerd door Whisper en vergeleken met de bron).

Belangrijkste Bijdragen

1. Het Ramsa Corpus: Een van de grootste en meest sociolinguïstisch rijke corpora voor Emiraatse Arabisch, met verbeterde genderbalans en expliciete dekking van meerdere subdialecten.
2. Dialectale Transcriptie: Een richtlijn voor het transcriberen van spontane spraak die fonologische variatie en dialectale kenmerken behoudt in plaats van te normaliseren.
3. Eerste Baselines: Het stellen van de eerste zero-shot benchmarks voor ASR en TTS voor Emiraatse Arabisch, wat een referentiepunt biedt voor toekomstige ontwikkeling.

Resultaten

De evaluatie op de 10% subset leverde de volgende inzichten op:

• ASR Prestaties:

  • Whisper-large-v3-turbo presteerde het beste met een gemiddelde WER van 0,268 en een CER van 0,144.
  • Dit presteerde beter dan AssemblyAI (WER 0,354) en Gladia (WER 0,347).
  • Uitdagingen: Monologische en documentaire spraak (bijv. Sīrat Imraʾa) werden het beste herkend. Dialogische formaten met veel overlappingen en onderbrekingen (bijv. kookprogramma's) hadden de hoogste foutpercentages (WER tot ~0,73).
  • De resultaten zijn sterker dan eerdere benchmarks voor Emiraatse Arabisch (zoals op Casablanca), maar laten nog ruimte voor verbetering ten opzichte van gefinetunteerde modellen.

• TTS Prestaties:

  • MMS-TTS-Ara presteerde over het algemeen beter dan ArTST, met een gemiddelde WER van 0,285 en een CER van 0,081.
  • Net als bij ASR hadden modellen meer moeite met spraak die veel overlappingen bevatte.
  • De CER-waarden waren consistent lager dan de WER, wat aangeeft dat karakter-niveau metrics nuttiger zijn voor dialectale orthografie.

• Sociolinguïstische Observaties:

  • Er werd een generatie-effect waargenomen tijdens de annotatie; jongere annotatoren hadden soms moeite met bepaalde lexicale items van oudere sprekers, wat wijst op taalverandering.

Betekenis en Toekomstperspectief

Ramsa vult een kritieke lacune in de taaltechnologie voor het Arabisch door een representatieve dataset te bieden die verder gaat dan de huidige homogene benadering van het dialect.

• Voor ASR/TTS: Het corpus biedt een solide basis voor het trainen en evalueren van modellen die specifiek zijn voor Emiraatse Arabisch, wat essentieel is voor de ontwikkeling van inclusieve spraaktechnologie in de GCC-regio.
• Voor Sociolinguïstiek: Het biedt onderzoekers de mogelijkheid om de variatie binnen Emiraatse Arabisch (geslacht, dialect, regio) kwantitatief te analyseren.
• Beperkingen: Momenteel is slechts 10% van de data getranscribeerd. Er is nog steeds een tekort aan data voor de Mountain/Shihhi en Bedouin subdialecten, en de genderbalans, hoewel verbeterd, is nog niet perfect.
• Toekomst: Verdere ontwikkeling zal gericht zijn op het uitbreiden van de dataset, het diversifiëren van de annotatie-expertise (o.a. verschillende leeftijdsgroepen) en het ontwikkelen van gefinetunteerde modellen om de huidige zero-shot baselines te overtreffen.

Het paper concludeert dat Ramsa een fundamentele stap is naar het democratiseren van spraaktechnologie voor minderheidstalen en dialecten in het Arabisch.