UrduSpeech: A 156-Hour Urdu Speech Corpus with 12-Dimension Paralinguistic Annotations

Dit artikel introduceert UrduSpeech, een grootschalig, hoogwaardig Urdu-spraakcorpus dat 156 uur aan audio bevat met 12-dimensionale paralinguïstische annotaties en een gestandaardiseerde benchmark, ontwikkeld via een door een LLM aangedreven pijplijn om de onderbelaste status van de taal in spraaktechnologie aan te pakken.

De kern

Stel je de wereld van kunstmatige intelligentie (KI) voor als een enorme bibliotheek. Jarenlang is deze bibliotheek gevuld met boeken in het Engels, Mandarijn en Spaans, maar het gedeelte gewijd aan Urdu—een taal die door meer dan 230 miljoen mensen wordt gesproken—was bijna leeg. Het is alsof je probeert een robot een taal te leren met slechts een paar verspreide, stoffige pamfletten.

Dit artikel introduceert UrduSpeech, een enorme nieuwe "boekenkast" die is ontworpen om dat onbalans te verhelpen. Hier volgt een eenvoudige uiteenzetting van wat de onderzoekers hebben gebouwd en hoe ze dat hebben gedaan.

1. Het Probleem: Een Taal Achtergelaten

Urdu is uniek omdat het van rechts naar links wordt geschreven (zoals het Arabisch) en vaak Engelse woorden in zinnen mixt (een beetje alsof iemand tussen twee dialecten wisselt terwijl hij een verhaal vertelt). Vanwege deze eigenaardigheden raken standaard KI-tools vaak in de war, behandelen ze Urdu als Hindi of begrijpen ze niet wanneer de spreker van taal wisselt. De onderzoekers wilden een bron bouwen die rekening houdt met deze specifieke uitdagingen.

2. De Oplossing: Een "Geluidsbibliotheek" van 156 Uren

Het team creëerde UrduSpeech, een collectie van 156 uur hoogwaardig audio. Om dat in perspectief te plaatsen: als je er non-stop naar luisterde, zou het je meer dan zes dagen kosten om het te voltooien.

Ze gooide niet zomaar willekeurige ruis in een map. Ze organiseerden deze bibliotheek in drie specifieke "kamers" (subsets):

• US-Std: Standaard Pakistaans Urdu (de formele, "leesboek"-versie).
• US-CS: Code-switched Urdu (waar sprekers natuurlijk Urdu en Engels mixen, zoals zeggen "I need a chai and a coffee").
• US-EngPk: Engels gesproken met een Pakistaans accent.

3. Hoe Ze Het Bouwden: De "Slimme Filter"-Pijplijn

Het verzamelen van deze data was alsof je probeerde specifieke edelstenen te vinden in een hoop stenen. Ze verzamelden 200 uur audio van internet (YouTube) en oude archieven (zoals tv-programma's uit de jaren 80). Om het op te schonen, gebruikten ze een proces in drie stappen:

• Stap 1: De Ruisonderdrukker: Ze gebruikten KI-tools om achtergrondruis (zoals verkeer of wind) te verwijderen en verschillende stemmen in een gesprek te scheiden, zodat alleen de hoofdspreker werd opgenomen.
• Stap 2: De "Strenge Redacteur" (LLM): Ze gebruikten een krachtige KI (Gemini 2.5 Pro) als een strenge redacteur. Deze KI kreeg speciale instructies: "Vertaal Engelse woorden niet naar het Urdu-script; houd ze zoals ze klinken" en "Verwar Urdu niet met Hindi." Het controleerde ook de audio op 12 verschillende "sfeer"-tags (paralinguïstiek), zoals de leeftijd van de spreker, emotie, stemtextuur (is het schor of glad?) en accent.
• Stap 3: Het Menselijke Veiligheidsnet: Voordat de data definitief werd, luisterden moedertaalsprekers van Urdu naar voorbeelden om ervoor te zorgen dat de KI geen fouten maakte. Ze fungeerden als de uiteindelijke kwaliteitscontrole-inspecteurs.

4. De "Gouden Standaard" Benchmark

Om te bewijzen dat hun bibliotheek goed was, creëerden ze een 9-urige "Gouden Standaard"-set. Dit is een kleine, perfect gecureerde collectie die mensen handmatig hebben gecontroleerd en gecorrigeerd. Ze gebruikten dit om verschillende KI-transcriptiemodellen te testen.

Het Resultaat: Ze ontdekten dat de meeste bestaande KI-modellen moeite hadden met Urdu, vaak de woorden verkeerd begrepen of de scripts door elkaar haalden. Het model dat ze echter kozen (Gemini 2.5 Pro) presteerde aanzienlijk beter, en functioneerde als een moedertaalspreker die de nuances van de taal begreep.

5. Wat Zit Er In De Bibliotheek?

De uiteindelijke collectie bevat 71.792 afzonderlijke audioclips. Het is ongelooflijk divers:

• Inhoud: Het omvat alles van nieuws en drama's tot poëzie, vlogs en zelfs zeldzame vormen van gesproken poëzie genaamd Bait-Bazi.
• Mensen: Het bevat een gebalanceerde mix van mannen en vrouwen, en sprekers van alle leeftijden, van kinderen tot ouderen.
• Kwaliteit: Toen mensen naar de audio luisterden, gaven ze het een hoge score (4,6 van de 5), wat bevestigde dat de stemmen helder zijn en de transcripties nauwkeurig.

6. Waarom Dit Belangrijk Is

Denk aan eerdere Urdu-datasets als een kleine, afgesloten kamer met een paar stoelen. UrduSpeech is een enorme, open hal met duizenden zitplaatsen, gevuld met mensen van alle achtergronden die spreken op alle manieren waarop ze eigenlijk spreken.

De onderzoekers hebben deze bibliotheek gratis en open gemaakt voor iedereen om te gebruiken. Door deze hoogwaardige, goed georganiseerde data te verstrekken, hopen ze KI-ontwikkelaars te helpen betere tools te bouwen voor Urdu-sprekers, zodat deze belangrijke taal niet langer wordt uitgesloten van de digitale toekomst.

Kortom: Ze bouwden een enorme, zorgvuldig georganiseerde geluidsbron voor Urdu, corrigeerden de fouten die andere KI-tools maakten, en bewezen dat met de juiste samenwerking tussen mens en machine, zelfs complexe, meertalige spraak perfect kan worden begrepen.

Technische samenvatting

Technische Samenvatting: UrduSpeech

1. Probleemstelling

Ondanks dat er ongeveer 230 miljoen sprekers zijn, blijft Urdu kritiek onderbelicht in het veld van spraaktechnologie. Bestaande bronnen slagen er niet in om specifieke linguïstische en akoestische uitdagingen die inherent zijn aan de taal aan te pakken, waaronder:

• Schriftbeperkingen: Het van rechts naar links (RTL) geschreven Perso-Arabische schrift.
• Code-switching: De alomtegenwoordigheid van Urdu-Engelse code-switching (CS).
• Akoestische Gelijkenis: De akoestische nabijheid van Urdu aan Hindi, wat leidt tot frequente verkeerde classificatie.
• Gebrek aan Gespecialiseerde Data: Een tekort aan hoogwaardige data voor genuanceerde taken zoals Machine Reading Comprehension, Deepfake-detectie en Spraak-Emotierecognitie.
• Bronlacunes: Bestaande datasets (bijv. ARL Urdu, Common Voice) lijden vaak aan restrictieve licenties, hoge kosten, beperkte sprekerdiversiteit, of een gebrek aan paralinguïstische metadata.

2. Methodologie

De auteurs ontwikkelden UrduSpeech, een corpus van 156 uur, via een meerstaps, door LLM-gestuurde curatiepijplijn die is ontworpen om audio "in het wild" te verwerken.

Datacollectie en Preprocessing

• Bronnen: 200 uur ruwe audio werd geaggregeerd van YouTube en archieflogs van Pakistan Television (PTV) die vier decennia bestrijken (jaren 80–heden).
• Preprocessing:
  • Bronseparatie: Overgang van Spleeter naar het Demucs-model voor efficiënte vocale isolatie.
  • Sprekerdiarization: Gebruik van Pyannote 3.1 om sprekers te scheiden, gevolgd door handmatige globale uitlijning om ID-consistentie te waarborgen.
  • Filtering: Segmenten korter dan 2 seconden, clips met één spreker en die langer zijn dan 35 seconden werden verworpen. Dit proces verwijderde 44 uur residuale ruis, resulterend in een definitief corpus van 156 uur.

Modelselectie en Benchmarking

Een pilotstudie van 13 uur werd uitgevoerd om het optimale transcriptiemodel te selecteren. Drie modellen werden geëvalueerd tegen de grondwahrheid van moedertaalsprekers:

1. Whisper-large-v3: Faalde bij code-switched audio, vaak door Engels te translitereren naar Urdu-schrift in plaats van de letterlijke inhoud te behouden.
2. OmniASR-LLM-1B: Produceerde hallucinaties in Arabisch/Persisch en vertoonde woord-lusjes op segmenten met accent.
3. Gemini-2.5-Pro: Geselecteerd als het superieure model vanwege zijn semantische bewustzijn en mogelijkheden voor prompt-engineering. Het bereikte het laagste Woordfoutpercentage (WER) en slaagde erin de schrifttrouw (Urdu versus Hindi) en letterlijke transcriptie tijdens code-switching te behouden.

Annotatiepijplijn

Een tweestaps promptstrategie met Gemini 2.5-Pro werd toegepast:

1. Transcriptie: Prompts dwongen strikte beperkingen af om het mengen van Hindi/Devanagari-schrift te voorkomen en eisten letterlijke transcriptie voor code-switching.
2. Paralinguïstische Metadata: Een tweede prompt genereerde 12-dimensionale metadata-labels (bijv. toonhoogte, textuur, ritme, leeftijd, accent) voor elk segment.

• Kwaliteitscontrole: Segmenten met modelvertrouwensscores onder de 0,6 werden verworpen. Het definitieve dataset bestaat uit 71.792 gediariseerde clips.

Mensgerichte Validatie

• Benchmarkset: Een subset van 9 uur (US-Benchmark) bestaande uit US-Std, US-CS en US-EngPk werd handmatig gecorrigeerd door moedertaalannotatoren om te dienen als grondwahrheid.
• Beoordeling: 180 clips werden bemonsterd over drie complexiteitsniveaus en geëvalueerd door zes moedertaalsprekers van Urdu met behulp van een 5-punts Likert-schaal (ITU-T P.800-protocol).
• Metrieken: Geëvalueerde audiokwaliteit, transcriptienauwkeurigheid, demografie, prosodie, affect, articulatie en contextuele nauwkeurigheid.

3. Belangrijkste Bijdragen

• UrduSpeech-pijplijn: Een robuust raamwerk dat in staat is ruwe audio te filteren, sprekerdiarization uit te voeren, RTL-beperkingen te hanteren en onderscheid te maken tussen Hindi en Urdu in code-switched omgevingen.
• US-Benchmarkset: Een handmatig geverifieerde benchmarkset van 9 uur met 12-dimensionale paralinguïstische metadata, die een nieuwe grondwahrheid vestigt voor foutanalyse.
• UrduSpeech-corpus: Een open-source corpus van 156 uur bevattende:
  • 59,2 uur US-Std (Standaard Pakistaans Urdu).
  • 89,4 uur US-CS (Code-switched Urdu-Engels).
  • 7,3 uur US-EngPk (Pakistaans-geaccentueerd Engels).
  • 71.792 uitingen met uitgebreide paralinguïstische labels (emotie, textuur, accent).
• SOTA-evaluatie: Een diepgaande evaluatie van Gemini 2.5-Pro, Whisper-large-v3 en OmniASR-LLM-1, die baselines vestigt voor hoogwaardige transcriptie in Urdu.

4. Resultaten

• Transcriptieprestaties: Gemini-2.5-Pro presteerde aanzienlijk beter dan andere modellen, met een WER van 0,023 (zonder code-switching) en 0,028 (met code-switching), vergeleken met ~0,28–0,53 voor Whisper en OmniASR.
• Menselijke Kwaliteitsbeoordeling:
  • Mean Opinion Score (MOS): Het corpus bereikte een wereldwijde MOS van 4,64 ($\sigma = 0,74$).
  • Betrouwbaarheid: 92,78% van de beoordelingen was een 4 of 5. De inter-beoordelaarsbetrouwbaarheid toonde een Cohen's $\kappa$ van 0,678 voor Set B en 0,545 voor Set C.
  • Vertrouwen: De curatiepijplijn demonstreerde een 97,6% vertrouwensscore gebaseerd op modeloutput en menselijke validatie.
• Demografie: Het corpus behoudt een 60/40 genderbalans (42.990 mannelijke versus 28.802 vrouwelijke uitingen) en omvat diverse leeftijdsgroepen (Jonge Volwassene, Middelbare Leeftijd, Kind, Ouderdom).
• Verdeling: De data bestrijkt 12 categorieën, waaronder nieuws, drama, poëzie, vlogs en zeldzame literaire vormen zoals Bait-Bazi.

5. Betekenis en Claims

Het artikel positioneert UrduSpeech als een significante sprong voorwaarts naar linguïstische inclusiviteit in globale AI. De primaire betekenis ligt in:

• Het Overbruggen van de Digitale Kloof: Het bieden van accurate linguïstische representatie voor een taal met 230 miljoen sprekers die onderbediend is door multimodale foundation-modellen.
• Gedetailleerde Metadata: Het zijn de eerste bron die een 12-dimensionaal paralinguïstisch metadata-raamwerk integreert, waardoor hoogresolutie foutanalyse en onderzoek naar affectief computing en sprekerprofielering mogelijk wordt.
• Aanpakken van Code-switching: Specifiek het aanpakken van de "in het wild"-lacune door een grootschalige dataset te bieden voor Urdu-Engelse code-switching en Pakistaans-geaccentueerd Engels.
• Open Wetenschap: In tegenstelling tot veel foundation-datasets die gelicentieerd of betaald zijn, zijn het corpus en de pijplijn open-sourced, met als doel toekomstig onderzoek in Urdu en andere onderbelichte Perso-Arabische schrifttalen te faciliteren.

De auteurs merken beperkingen op, waaronder een conservatieve schatting van unieke sprekers (1.000+ versus 3.000 gedetecteerde clusters) vanwege mogelijke over-segmentatie in wild-opnames, en de aanwezigheid van residuale achtergrondruis in sommige segmenten. Toekomstig werk is gericht op het vestigen van baseline-benchmarks voor ASR/TTS en het implementeren van geforceerde uitlijning voor woordniveau-precisie.