Giving Voice to the Constitution: Low-Resource Text-to-Speech for Quechua and Spanish Using a Bilingual Legal Corpus

Probleemstelling

Inheemse gemeenschappen in Zuid-Amerika, met name die welke Quechua spreken, staan voor een significant digitaal en juridisch obstakel: cruciale overheidsinformatie, zoals de grondwet, wordt uitsluitend in het Spaans (de hoog-resource taal) gecommuniceerd. Hoewel er vertalingen van de Peruaanse Grondwet naar Quechua bestaan, ontbreekt er hoogwaardige spraaksynthese (Text-to-Speech of TTS) om deze teksten toegankelijk te maken voor radio, juridische hulp, schermlezers en burgerlijke voorlichting. Quechua is een "low-resource" taal met beperkte datasets, wat de ontwikkeling van robuuste TTS-systemen bemoeilijkt. Bestaande systemen kampen vaak met gebrek aan natuurlijkheid, onduidelijkheid en inconsistente intonatie wanneer ze worden getraind op beperkte data.

Methodologie

De auteurs presenteren een geünificeerde pijplijn voor het synthetiseren van spraak in zowel Quechua als Spaans, specifiek gericht op de Peruaanse Grondwet. De aanpak omvat de volgende kerncomponenten:

1. Corpus Voorbereiding en Normalisatie:

   • Quechua: Er zijn twee bestaande corpora gebruikt: Siminchik en Lurin, die samen ongeveer 180 uur aan transcriptie bevatten. Vanwege de variatie in cliplengte (van 1s tot 30s) en kwaliteit, is een strenge filtering toegepast. Clips korter dan 1 seconde en ruis/zwijgsegmenten zijn verwijderd, wat resulteerde in een gecurateerd corpus van ongeveer 40 uur.
   • Normalisatie: Een morfologische parser werd gebruikt om oppervlaktevormen om te zetten naar gestandaardiseerde Zuid-Quechua representaties, wat orthografische variabiliteit vermindert.
   • Spaans: Een groot open-source dataset van ongeveer 218 uur aan gesproken Spaans (inclusief diverse dialecten zoals Peruaans, Argentijns, en TEDx-opnames) werd gebruikt als hoog-resource bron.
   • Tekstverwerking: De tekst van de Grondwet is gestructureerd in JSON (met ID's en taal-tags), met normalisatie van leestekens, cijfers en juridische afkortingen. Voor Quechua is een regelgebaseerde grapheme-to-phoneme (G2P) front-end gebruikt.

2. Model Architecturen:
   Drie state-of-the-art (SOTA) TTS-architecturen zijn getraind of fijngefineerd:

   • XTTS v2: Een GPT-gebaseerd encoder-decoder model dat cross-linguale synthese en sprekeradaptatie ondersteunt.
   • F5-TTS: Een model dat gebruikmaakt van flow-matching en een Diffusion Transformer backbone voor robuustheid en prosodie-modellering.
   • DiFlow-TTS: Een compact model dat discrete flow-matching gebruikt over gefactoriseerde codec-tokens voor zero-shot synthese.

3. Trainingsstrategie (Cross-linguale Transfer):
   De modellen zijn getraind op een tweetalige setup die Spaans (hoog-resource) en Quechua (laag-resource) combineert. Het doel is om via cross-linguale transfer de data-schaarste in Quechua te mitigeren terwijl de natuurlijkheid in Spaans behouden blijft. Training vond plaats op NVIDIA H100 GPU's met geoptimaliseerde hyperparameters voor stabiliteit.

4. Evaluatie:
   Omdat grote schaal menselijke evaluaties in low-resource settings vaak onpraktisch zijn, werd een objectief en proxy-perceptueel protocol gebruikt:

   • UTMOS: Een objectieve schatting van de gemiddelde meningsscore (natuurlijkheid).
   • SIM-O: Maat voor sprekerconsistentie (cosine similariteit van spreker-embeddings).
   • WER (Word Error Rate): Gebruikmakend van het QUESPA ASR-model om de verstaanbaarheid te meten.
   • Prosodie: RMSE voor fundamentele frequentie (F0) en energie om de nauwkeurigheid van intonatie en luidheid te meten.

Belangrijkste Resultaten

De experimentele resultaten, weergegeven in Tabel 1 van het paper, tonen de volgende inzichten:

• DiFlow-TTS (Beste Prestatie): Ondanks dat dit het kleinste model is (164M parameters), behaalde het de beste resultaten. Het had de hoogste UTMOS-score (3.31), de laagste WER (0.16) en de laagste fouten in prosodie (RMSEF0: 10.24, RMSEE: 0.011). Dit suggereert dat de architectuur cross-linguale akoestische patronen zeer effectief overbrengt.
• F5-TTS: Met 336M parameters behaalde dit model de beste sprekerconsistentie (SIM-O: 0.60) en een zeer competitieve perceptuele kwaliteit (UTMOS: 3.23).
• XTTS v2: Het grootste model (470M parameters) leverde stabiele prestaties, maar presteerde minder goed op prosodie en efficiëntie dan de kleinere, gespecialiseerde modellen. Dit benadrukt dat in low-resource settings schaal niet altijd synoniem is met betere prestaties.

Over het algemeen bewijzen de resultaten dat cross-linguale training met Spaanse data het mogelijk maakt om verstaanbare en natuurlijke Quechua-spraak te genereren, zelfs met beperkte Quechua-data.

Kernbijdragen

1. Unieke Dataset: De publicatie van een tweetalig, juridisch corpus (Peruaanse Grondwet) met gealigneerde tekst en gegenereerde spraak voor Quechua en Spaans.
2. Openbare Resources: De beschikbaarstelling van getrainde checkpoints, inferentiecode en gegenereerde audio voor elk artikel van de grondwet, wat een herbruikbaar hulpmiddel biedt voor de gemeenschap.
3. Methodologische Inzichten: Een bewijs dat specifieke architecturale ontwerpen (zoals flow-matching) en data-uitlijning belangrijker zijn dan modelgrootte voor TTS in low-resource contexten.
4. Toepassing: Een concrete oplossing voor toegankelijkheid van juridische informatie voor inheemse gemeenschappen, ondersteunend voor ASR-training en evaluatie.

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van inclusieve spraaktechnologieën in politieke en juridische domeinen. Het adresseert een directe kloof in taalrechten door complexe wettelijke teksten toegankelijk te maken voor niet-Spaanstalige burgers via spraak.

Technisch gezien demonstreert het dat hoog-impact spraakbronnen voor low-resource talen kunnen worden gebouwd met open tools en cross-linguale leerstrategieën, zelfs onder beperkte toezicht. De gegenereerde synthetische data dient als een waardevol "seed" voor toekomstig onderzoek naar Automatic Speech Recognition (ASR) en spraak-naar-tekst systemen voor inheemse talen, waarbij getoond is dat synthetische data van betrouwbare bronnen meetbare voordelen biedt.

De auteurs benadrukken ook ethische overwegingen, zoals het vermijden van celebrity-stemmen, het respecteren van dialectvariatie (bijv. Cusco Collao invloed) en het aanmoedigen van inheemse data-governance. Het project fungeert als een model voor sociaal relevante NLP-onderzoeken die rechtstreeks bijdragen aan de democratisering van informatie.