Technische Samenvatting: NüshuVoice: Het herstellen van de stem van het bedreigde Nüshu met Pitch-bewuste Tekst-naar-Spraak

Probleemstelling

Nüshu is een bedreigd fonetisch schrift dat historisch werd gebruikt door vrouwen in het district Jiangyong in Hunan, China. Hoewel recente computationele inspanningen zich hebben gericht op de tekstuele digitalisering, codering en visuele herkenning (OCR) van Nüshu, blijft de akoestische modaliteit grotendeels onverkend. Deze kloof is kritiek omdat Nüshu een syllabisch schrift is waarbij elk karakter overeenkomt met een specifieke lettergreep, inclusclusief de beginklank, de eindklank en de toon, in het lokale Jiangyong-dialect.

Het bouwen van een Tekst-naar-Spraak (TTS) systeem voor Nüshu brengt extreme uitdagingen met zich mee vanwege de ernstige schaarste aan gegevens. In tegen tegenstelling tot moderne situaties met weinig middelen (low-resource settings) die mogelijk enkele uren aan continue spraak bezitten, zijn de beschikbare Nüshu-opnames archiefmateriaal van niet-studiokwaliteit en bestaan ze bijna volledig uit geïsoleerde lettergreep-niveau uitspraken in plaats van natuurlijke zinsniveau-uitspraken. Conventionele TTS-architecturen, die vertrouwen op grote gepaarde tekst-spraakdatasets of externe uitlijningstoezicht, zijn gevoelig voor instabiele tekst-spraakuitlijning en zwakke prosodische modellering onder deze omstandigheden. Bovensstaande afwezigheid van een Nüshu Automatische Spraakherkenning (ASR) systeem verhindert bovendien standaard objectieve evaluatiemetrieken zoals de Word Error Rate (WER).

Methodologie

1. Dataset Constructie: NüshuVoice

De auteurs construeerden NüshuVoice, de eerste sentence-level multimodale TTS-benchmark voor Nüshu. De constructiepipeline bestond uit drie rigoureuze fasen:

• Dataverzameling: Tekstuele gegevens werden afkomstig van The Mystery of Jiangyong Nüshu (ca. 63.665 tekens), wat originele glyfen, fonetische transcripties (met behulp van IPA en een vijfpunts toontoonladder) en standaard Chinese vertalingen bood. Audio-gegevens werden geëxtraheerd uit de Nüshu Pronunciation Electronic Dictionary, die 873 geïsoleerde lettergreep-opnames bevat.
• Orthografische Filtering: Een strikt protocol voor visuele en semantische kruisverwijzing werd toegepast om handgeschreven/gedrukte glyfen te mappen naar gestandaardiseerde Unicode-vormen. Zinnen die elk karakter bevatten zonder een geverifieerd Unicode-equivalent of een structurele discrepantie, werden verwijderd om de orthografische getrouwheid te waarborgen.
• Sentence-Level Audio Assemblage: Omdat continue opnames niet beschikbaar waren, ontwikkelden de auteurs een deterministische pipeline om sentence-level audio te assembleren. Geverifieerde Unicode-tekens werden gemapt naar hun overeenkomstige geïsoleerde WAV-bestanden uit het woordenboek. Deze segmenten werden temporeel geconcateneerd met behulp van Audacity om continue uitingen te reconstrueren, waardoor een één-op-één uitlijning ontstond tussen gestandaardiseerde tekst, IPA en audio.
• Validatie: Expertvalidatie door twee Nüshu-domeinexperts bevestigde een correctheidspercentage van 93,6% voor de uiteindelijke dataset (1.252 uitingen, ~98,8 minuten).

2. Modelarchitectuur: Nüshu-PitchVITS

Om de extreme low-resource setting aan te pakken, stelden de auteurs Nüshu-PitchVITS voor, een uitbreiding van het Variational Inference with Adversarial Learning for End-to-End Text-to-Speech (VITS) framework.

• F0-Conditioned Framework: Erkennend dat Nüshu-annotaties expliciet een vijfpunts toonnotatie bevatten, incorporeert het model een expliciete fundamentele frequentie (F0) voorspeller als een prosodische inductieve bias.
• Architectuurdetails:
  • Input: Toon-bewuste fonetische transcripties (lettergreep + 5-niveau toonwaarde).
  • Pitch Branch: Een lichtgewicht twee-laags 1D convolutioneel netwerk voorspelt een frame-level log-F0 sequentie ($\hat{f}$) vanuit de verborgen toestanden van de tekstencoder.
  • Latente Injectie: De voorspelde pitch-representatie wordt geprojecteerd naar de verborgen dimensie en toegevoegd aan de latente akoestische representatie ($Z' = Z + E_{F0}$) vóór de waveform decoding.
  • Uitlijning: De pitch-voorspeller wordt uitgesloten van de Monotonic Alignment Search (MAS) om te voorkomen dat de uitlijning in low-data regimes wordt gedestabiliseerd. Uitlijning wordt uitsluitend berekend vanuit de prior statistieken en flow-getransformeerde posterior variabelen.
• Trainingsstrategie: Een twee-fasen trainingsaanpak werd gehanteerd, geïnitialiseerd vanaf een pre-trained Engels VITS-model:
  1. Fase 1: De waveform decoder en posterior encoder zijn bevroren. Alleen de tekstencoder, de pitch predictor, de duration predictor en de normalizing flow worden getraind met behulp van KL-divergentie, duur- en pitch-voorspellingsverliezen.
  2. Fase 2: Alle modules worden ontdooid voor end-to-end gezamenlijke training met een gecombineerde verliesfunctie inclusief adversarial, feature matching, reconstructie en pitch verliezen.

Belangrijkste Bijdragen

1. NüshuVoice Dataset: De creatie van de eerste sentence-level Nüshu TTS-dataset, die gestandaardiseerde Unicode-tekst, IPA-transcripties, Chinese vertalingen en geassembleerde archiefaudio uitlijnt.
2. Nüshu-PitchVITS: Een nieuw TTS-framework dat de expliciete vijfpunts Nüshu-toonnotatie gebruikt als een prosodische inductieve bias om synthese te stabiliseren in extreme low-resource omstandigheden.
3. Systematische Evaluatie: De eerste uitgebreide objectieve en subjectieve evaluatie van neurale TTS voor Nüshu, waarmee nieuwe baselines en metrieken voor bedreigde fonetische scripts worden vastgesteld.
4. Culturele Preservatie: Een computationele benadering om de uitspraak van Nüshu toegankelijk te maken, wat de akoestische revitalisering van dit bedreigde schrift ondersteunt.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd tegen vijf sterke baselines (Tacotron 2, FastSpeech 2, Glow-TTS, F5-TTS en standaard VITS) op de NüshuVoice testset.

• Objectieve Metrieken:
  • Spectrale Getrouwheid: Nüshu-PitchVITS behaalde een Mel-Cepstral Distortion (MCD) van 3,11, wat aanzienlijk beter presteert dan de sterkste baseline (VITS bij 5,19) en enorme verbeteringen laat zien ten opzken van autoregressieve modellen (die leden onder een MCD > 37).
  • Pitch Reconstructie: Het model verminderde de F0 Root Mean Square Error (RMSE) naar 13,23 (vs. 23,42 voor VITS) en bereikte een Pearson correlatie van 0,92 (vs. 0,73 voor VITS), wat superieure tonale nauwkeurigheid demonstreert.
• Subjectieve Metrieken (MOS):
  • Intelligibiliteit: Nüshu-PitchVITS behaalde een bijna perfecte Intelligibility MOS van 4,97, terwijl standaard baselines rond de 1,0 scoorden (onverstaanbaar).
  • Naturalness: Het model behaalde een Naturalness MOS van 3,31, vergelijkbaar met de ground-truth opnames (3,34).
• Spectrale Analyse: Spectrogrammen gaven aan dat terwijl standaard VITS overmatige smoothing en verzwakte harmonische contrast vertoonde, Nüshu-PitchVITS scherpere harmonische banden en meer consistente pitch-gerelateerde structuren produceerde, wat de effectiviteit van expliciete F0-conditionering bevestigt.

Betekenis en Claims

Het artikel beweert dat NüshuVoice en Nüshu-PitchVITS de eerste toegewijde studie vormen op Nüshu TTS-synthese. De auteurs stellen dat voor bedreigde fonetische scripts waar akoestische data schaars is maar tonale annotaties beschikbaar zijn, linguïstisch gefundeerde prosodische modellering cruciaal is.

De betekenis van dit werk ligt in:

1. Akoestische Revitalisering: Verder gaan dan visuele herkenning om de gesproken realisatie en tonale dynamiek van Nüshu te herstellen, wat essentieel is voor het behoud van het orale en culturele erfgoed.
2. Methodologische Inzicht: Aantonen dat expliciete pitch-conditionering VITS-architecturen kan stabiliseren in extreme low-resource settings waar conventionele uitlijningsmechanismen falen.
3. Beschikbaarheid van Middelen: Het bieden van een publieke dataset en code om als fundament te dienen voor toekomstig onderzoek naar low-resource TTS, de revitalisering van bedreigde talen en de computationele preservatie van immaterieel cultureel erfgoed.

De auteurs hanteren een bescheiden standpunt en erkennen beperkingen zoals de geassembleerde aard van de audio (die gebrek heeft aan natuurlijke coarticulatie en discours-prosodie), de beperkte sprekerdiversiteit door de archiefbeperkingen, en de uitsluiting van historische glyph-varianten zonder exact Unicode-equivalent. Ze benadrukken dat het werk bedoeld is om preservatie en documentatie te ondersteunen in plaats van gemeenschapskennis te vervangen.