Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care

Stel je een wereld voor waarin machines menselijke talen kunnen begrijpen en spreken met dezelfde gemak als een persoon. Dit is de belofte van spraaktechnologie, het vakgebied dat zich toewijdt aan het aanleren van het luisteren naar gesproken woorden en het omzetten van deze in tekst, of het nemen van geschreven woorden en deze hardop uitspreken. Om deze systemen goed te laten werken, moeten ze leren van enorme hoeveelheden opgenomen menselijke spraak. Het verzamelen van deze opnames is echter moeilijk, duur en vaak onmogelijk voor specifieke situaties, zoals een klant die een telecombedrijf belt om een verloren signaal of een geblokkeerd account te melden. In veel talen, waaronder het Bengaals, zijn er simpelweg niet genoeg opnames van hoge kwaliteit van deze specifieke gesprekken om slimme machines te trainen. Deze kloof laat een gat achter in ons vermogen om nuttige hulpmiddelen te bouwen voor miljoenen mensen die dagelijks op deze diensten vertrouwen.

Om deze kloof te vullen, hebben onderzoekers Kawshik Kumar Paul en Md. Nafiul Alam Fuji van de Bangladesh University of Engineering and Technology een nieuwe bron gecreëerd: een enorme bibliotheek van synthetische Bengaalse spraak, specif volgen ontworpen voor telecomklantenservice. In plaats van echte mensen in een studio op te nemen, gebruikten ze een krachtig computerprogramma om tienduizend unieke audiofragmenten te genereren. Deze fragmenten klinken als een echt persoon die spreekt, maar ze zijn volledig door software gemaakt. Het team concentreerde zich op de soorten zinnen die een klant zou kunnen gebruiken wanneer hij een telefoonbedrijf belt, zoals het vragen over een mislukte betaling, het controleren van een saldo of het melden van een probleem met een SIM-kaart. Door dit dataset te creëren, hebben zij een veilige, gecontroleerde en overvloedige aanvoer van trainingsmateriaal geleverd dat ontwikkelaars kunnen gebruiken om machines te leren hoe ze deze specifieke, alledaagse problemen kunnen begrijpen.

De onderzoekers hebben niet een nieuwe manier uitgevonden om machines te laten spreken; in plaats daarvan gebruikten ze een bestaand geavanceerd systeem genaamd OmniVoice om het zware werk te doen. Ze voedden het systeem één opname van de stem van een echte vrouw als referentie, samen met duizenden geschreven zinnen die telecomproblemen beschrijven. De computer gebruikte deze referentie vervolgens om haar stem te klonen en de nieuwe zinnen uit te spreken. Het resultaat is een collectie van tienduizend audiobestanden, die in totaal ongeveer zesentwintig uur aan spraak bevatten, allemaal opgenomen met een hoge kwaliteit die de nuances van de Bengaalse taal vastlegt. Cruciaal is dat het team niet alleen de audio heeft vrijgegeven; ze hebben ook de exacte tekst geleverd die werd gebruikt om het te maken, evenals een opgeschoonde versie van die tekst. Deze opgeschoonde versie is essentieel omdat computers vaak in de war raken door interpunctie, spaties of verschillende manieren van het schrijven van getallen. Door een gestandaardiseerde versie van de tekst aan te bieden, hebben de onderzoekers het veel gemakkelijker gemaakt voor andere wetenschappers om te testen hoe goed hun spraakherkenningssystemen de gegenereerde audio kunnen begrijpen.

Om te waarborgen dat de data daadwerkelijk nuttig was, moesten de onderzoekers verifiëren of de door de computer gegenereerde spraak overeenkwam met de beoogde woorden. Ze deden dit door alle tienduizend audiofragmenten door een geavanceerd spraak-naar-tekst systeem te halen dat ze speciaal getraind hadden op de Bengaalse telecomtaal. Dit systeem fungeerde als een luisteraar, die probeerde te transcriberen wat het hoorde en het vergeleek met de oorspronkelijke tekst. De resultaten waren opmerkelijk consistent. Gemiddeld maakte het systeem zeer weinig fouten, waarbij het overgrote deel van de audiofragmenten perfect werd getranscribeerd. Sterker nog, de helft van de samples werd getranscribeerd met nul fouten. Dit suggereert dat de synthetische stem helder en accuraat genoeg is om te dienen als een betrouwbare vervanger voor echte menselijke spraak bij het trainen van machines om klantenservicegesprekken te begrijpen.

De onderzoekers wijzen echter voorzichtig op wat dit dataset niet is. Het is geen collectie van echte telefoongesprekken, en het bevat niet de achtergrondruis, de emotionele stress of de spontane onderbrekingen die in het echte leven voorkomen. Omdat de stem werd gekloned van een enkele vrouwelijke spreker, mist de dataset de variëteit aan verschillende stemmen, accenten en geslachten die in een echte populatie te vinden zijn. Het team erkent dat hoewel deze synthetische data uitstekend is om machines de basis van de telecomtaal te leren, het de noodzaak voor echte menselijke opnames niet kan vervangen bij het bouwen van systemen voor de echte wereld. Ze merken ook op dat de evaluatie die zij uitvoerden automatisch was, wat betekent dat een computer de kwaliteit beoordeelde, en niet een menselijke luisteraar. Hoewel de computer de spraak als zeer accuraat vond, zou een mens subtiele verschillen in natuurlijkheid kunnen opmerken die een machine mist.

Het werk vormt een belangrijke stap voorwaarts in het toegankelijk maken van spraaktechnologie voor Bengaalse sprekers in de telecomsector. Door dit dataset openbaar beschikbaar te stellen, hebben de onderzoekers ontwikkelaars een krachtig hulpmiddel gegeven om te beginnen met het bouwen van betere klantenservicebots en spraakassistenten zonder jaren te hoeven wachten op het verzamelen van voldoende gegevens uit de echte wereld. De dataset is beschikbaar voor iedereen om te gebruiken, mits men de regels van de licentie volgt, die het delen aanmoedigt terwijl de rechten van de stem die voor het klonen wordt gebruikt worden beschermd. Deze aanpak biedt een praktische oplossing voor een veelvoorkomend probleem: hoe leer je machines te spreken en te luisteren in specifieke situaties wanneer echte data schaars is. Het suggereert dat we met de juiste instrumenten kwalitatieve, domeinspecifieke spraakbronnen kunnen genereren die helpen de kloof tussen menselijke behoeften en machinecapaciteiten te overbruggen, wat de weg vrijmaakt voor meer inclusieve en effectieve technologie.