Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

Technische Samenvatting: Evaluatie van spraakarticulatiesynthese met articulatoire fonemherkenning

Probleemstelling
De evaluatie van spraakarticulatiesynthese—specifiek de generatie van vormen van het spraakapparaat die afhankelijk zijn van fonetische sequenties—mist een robuuste, objectieve kwaliteitsmaatstaf. Traditionele metrieken, zoals afstanden van punt tot dichtstbijzijnd punt, worden beperkt door aanzienlijke inter- en intrasprekervariabiliteit en slagen er vaak niet in de nuances van fonemproductie vast te leggen, zoals de juiste articulatiestellingen. Bovendien hebben deze metrieken moeite om geavanceerde generatieve modellen (bijvoorbeeld modelvrije versus op autoencoder gebaseerde systemen) te onderscheiden; deze kunnen ononderscheidbaar lijken op basis van geometrische afstand, maar verschillen in temporele stabiliteit en articulatoire nauwkeurigheid. Subjectieve analyse is moeilijk vanwege de vereiste van gespecialiseerde kennis van de anatomie van het spraakapparaat en akoestiek. Bijgevolg is er behoefte aan een maatstaf die fonetische informatie en verstaanbaarheid beter vastlegt zonder uitsluitend te vertrouwen op akoestische reconstructie.

Methodologie
De auteurs stellen voor om fonemherkenning te gebruiken als proxy-maatstaf om de kwaliteit van gesynthetiseerde articulatoire kenmerken te evalueren. De kernhypothese is dat een fonemherkenner, getraind op articulatoire data, productienuances (bijvoorbeeld de articulatiestelling) beter kan vastleggen dan traditionele afstandsmetrieken.

1. Dataset: Het onderzoek maakt gebruik van een corpus van 2,5 uur spraak van één vrouwelijke, inheemse Franse spreker, bestaande uit Real-Time MRI (RT-MRI)-beelden (50 Hz), gedenoiseerde audio en handmatige fonetische annotaties. De dataset is verdeeld in trainings- (1.399 uitingen), validatie- (116) en testsets (114).
2. Kenmerkextractie:
   • Articulatoire Kenmerken: Contouren van tien articulatoren van het spraakapparaat (arytenoidkraakbeen, epiglottis, onderincisie, onderlip, farynx, zacht verhemelte, schildkraakbeen, tong, bovenlip en stembanden) worden geëxtraheerd. Deze worden samengevoegd tot een 2-kanaals, 500-dimensionaal vector.
   • Stemhebbende Encodering: Aangezien mid-sagittale RT-MRI geen data over excitatie van de stembanden bevat, wordt een categorische encodering die stemhebbende informatie vertegenwoordigt, toegevoegd aan de kenmerkenset.
   • Synthetische Kenmerken: Het onderzoek evalueert drie synthesizers uit bestaande literatuur:
     • Per-fonem gemiddelde contour: Een baseline die contouren per fonem middelt.
     • Modelvrij systeem: Genereert vormen direct vanuit fonemsequenties zonder een expliciet articulatoir model.
     • Op autoencoder gebaseerd systeem: Genereert articulatoire parameters op basis van een autoencoder-architectuur.
3. Modelarchitectuur: Er wordt een fonemherkenner gebaseerd op de Deep Speech 2-architectuur ingezet. Deze bestaat uit een adapterblok (om 500D articulatoire inputs naar 80D te mappen), gevolgd door vijf residu-convolutieblokken en drie recurrente blokken (GRU), die eindigen met een lineaire classifier.
4. Training en Evaluatie:
   • De herkenner wordt getraind op akoestische kenmerken (Mel-spectrogrammen) en ware articulatoire kenmerken (wel en niet met stemhebbende encodering) om baselines vast te stellen.
   • De getrainde herkenner wordt vervolgens getest op de synthetische articulatoire kenmerken gegenereerd door de drie synthesizers.
   • Metrieken: De primaire evaluatiemaatstaf is de Fonemfoutpercentage (PER) berekend via de Levenshtein-afstand. Daarnaast wordt t-Distributed Stochastic Neighbor Embedding (t-SNE) gebruikt om de kenmerkrepresentaties die door de modellen zijn geleerd, te visualiseren.

Belangrijkste Resultaten

• Baselineprestaties: De herkenner getraind op ware articulatoire kenmerken (met stemhebbende encodering) behaalde een PER van 21,66%, wat vergelijkbaar is met het 23,30% PER bereikt met het akoestische signaal. Dit suggereert dat de articulatoire contouren alleen voldoende fonetische informatie behouden om te wedijveren met akoestische signalen, ondanks de afwezigheid van broninformatie.
• Vergelijking van Synthesizers:
  • Modelvrij Systeem: Verrassend behaalde dit systeem het laagste PER (20,59%) van alle geteste sets, zelfs beter dan de ware articulatoire kenmerken. De auteurs suggereren dat dit komt omdat de synthesizer ruis presente in de ruwe MRI-data filtert, waardoor schonere articulaties worden gegenereerd.
  • Op Autoencoder Gebaseerd Systeem: Dit systeem leverde een hoger PER (31,69%) op dan de modelvrije aanpak, wat aangeeft dat het minder fonetische informatie reproduceert, ondanks eerdere beweringen van beter leren van de articulatiestelling.
  • Gemiddelde-Contour Baseline: Zoals verwacht, presteerde de simpele gemiddelde-contouraanpak het slechtst (PER van 43,18%).
• Verwarringsanalyse: De verwarringsmatrijzen onthulden specifieke zwaktes. Het modelvrije systeem vertoonde hoge deletiepercentages voor labiale, achterste en geronde klinkers, waarschijnlijk door een gebrek aan data over lippenronding of moeilijkheid bij het benaderen van lipsluiting. Het autoencodersysteem vertoonde hoge deletiepercentages over alle klassen heen, waardoor het moeilijk was om specifieke articulatoire fouten te isoleren.
• Kenmerkembeddings: t-SNE-plotten toonden aan dat het toevoegen van stemhebbende encodering distincte, scheidbare groepen creëerde in de embeddingruimte voor articulatoire kenmerken, een structuur die minder duidelijk was in de akoestische kenmerken.

Betekenis en Beweringen
Het artikel beweert dat Automatische Spraakherkenning (ASR) een levensvatbare en effectieve objectieve maatstaf is voor het evalueren van spraakarticulatiesynthese. De auteurs betogen dat:

1. Fonetische Rijkdom: Articulatoire kenmerken geëxtraheerd uit RT-MRI fonetisch rijk zijn en, wanneer gecombineerd met stemhebbende encodering, informatie bevatten die vergelijkbaar is met of zelfs groter is dan die van het akoestische signaal in termen van fonemherkenning.
2. Differentiatievermogen: In tegenstelling tot geometrische afstandsmetrieken kan fonemherkenning betekenisvol onderscheid maken tussen verschillende generatieve modellen (bijvoorbeeld het onderscheiden van de temporele stabiliteit van het modelvrije systeem van het op autoencoder gebaseerde systeem).
3. Uitlijning met Perceptie: De herkenningsfout correleert met kwalitatieve percepties van de gesynthetiseerde spraak (bijvoorbeeld stabiliteit en verstaanbaarheid), waardoor een objectieve maatstaf wordt geboden voor wat voorheen een subjectieve beoordeling was.

De auteurs houden een bescheiden standpunt aan en merken op dat hun resultaten specifiek zijn voor één spreker vanwege de hoge kosten en logistieke beperkingen van RT-MRI-dataverzameling. Zij claimen niet dat de methode een universele oplossing is voor alle sprekers, maar stellen voor dat spreker-onafhankelijke fonemherkenning een veelbelovende richting biedt voor toekomstige multi-spreker evaluatie en impliciete spreker-normalisatie in synthese-trainingspijplijnen.