VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications

Deze paper introduceert VietNormalizer, een open-source, afhankelijkheidsloze Python-bibliotheek die Vietnamese tekst normaliseert naar spreekbare vormen voor TTS- en NLP-toepassingen door een efficiënt, op regels gebaseerd systeem te gebruiken voor het verwerken van getallen, datums, valuta en leenwoorden.

De kern

Stel je voor dat je een robot wilt bouwen die perfect kan spreken, alsof het een echte mens is. Je geeft de robot een tekst: "De vergadering is om 14:30 uur, kosten 1.500.000 dong, en we bespreken de NASA-rapporten."

Als je deze tekst direct aan de robot geeft, zal hij waarschijnlijk verward zijn. Hij zal niet weten of hij "14:30" moet uitspreken als "veertien drie nul" of als "half twee". Hij weet niet of "NASA" een woord is dat hij moet uitspreken als "na-sa" of als "N-A-S-A". Voor een mens is dit triviaal, maar voor een computer is het een enorme puzzel.

Dit papier introduceert VietNormalizer, een slimme, gratis tool die deze puzzel voor het Vietnamese taalgebied oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Vertaal- en Scherpslijper"

Vietnamese tekst op sociale media of in nieuwsberichten is vaak een mengelmoes van cijfers, symbolen, Engelse afkortingen en Vietnamese woorden.

• Het probleem: Een computer ziet "1.500.000" als een reeks symbolen, niet als "één miljoen en vijfhonderdduizend".
• De oplossing: VietNormalizer is als een super-scherpslijper. Hij neemt die ruwe, onleesbare tekst en slijpt hem tot een vloeiende, spreekbare zin. Hij zet cijfers om in woorden, data om in "vandaag is het..." en afkortingen uit tot hun volledige naam.

2. Waarom is dit zo speciaal? (De "Geen Batterijen" Regels)

Veel andere slimme tools voor taalverwerking zijn als zware, dure robots. Ze hebben enorme hoeveelheden energie nodig (computers met krachtige grafische kaarten) en moeten eerst "leren" door miljoenen voorbeelden te zien. Als je ze wilt gebruiken, moet je eerst een heel zwaar pakket installeren.

VietNormalizer is anders. Het is als een slimme, mechanische klok:

• Geen batterijen nodig: Het heeft geen zware neurale netwerken of internetverbinding nodig. Het werkt volledig offline.
• Regels in plaats van leren: In plaats van te leren door te kijken, heeft het een strakke lijst met regels (zoals een recept). Als het een cijfer ziet, volgt het recept om dat om te zetten in woorden.
• Snelheid: Omdat het geen zware berekeningen hoeft te doen, is het razendsnel. Het kan duizenden zinnen per minuut verwerken op een simpele computer.

3. Wat doet het precies? (De 7 Magische Trucs)

De tool heeft zeven specifieke vaardigheden om tekst "spreekbaar" te maken:

1. Cijfers: Zet "123" om in "honderddrieëntwintig".
2. Data: Zet "25/12/2023" om in "vijfentwintigste december tweeduizend drieëntwintig".
3. Tijden: Zet "14:30" om in "half twee" (in het Vietnamees).
4. Geld: Zet "1.500.000 ₫" om in "één miljoen vijfhonderdduizend dong".
5. Percentages: Zet "50%" om in "vijftig procent".
6. Afkortingen: Zet "NASA" om in "na-sa" (zoals het klinkt).
7. Vreemde woorden: Zet Engelse woorden die in het Vietnamees worden gebruikt (zoals "container") om naar hoe ze klinken in het Vietnamees ("cong-te-no").

4. Waarom is dit belangrijk voor iedereen?

Stel je voor dat je een app wilt maken die voorleest in het Vietnamees, of een chatbot die Vietnamese klanten helpt. Zonder deze tool zou je een enorme, dure computer nodig hebben om die tekst om te zetten. Met VietNormalizer kan elke ontwikkelaar, zelfs die met een simpele laptop, een professionele stem-app bouwen.

Het is alsof je een universale sleutel hebt gekregen die elke gesloten deur in de Vietnamese taal opent, zonder dat je een heel leger aan experts nodig hebt om de sleutel te maken.

Samenvatting

VietNormalizer is een gratis, lichtgewicht hulpmiddel dat ruwe, rommelige Vietnamese tekst omzet in nette, spreekbare zinnen. Het doet dit niet door te "leren" (wat veel energie kost), maar door slimme regels toe te passen. Hierdoor kunnen ontwikkelaars snel en goedkoop spraaktechnologie bouwen voor Vietnam, zonder zware computers of dure abonnementen. Het is de "schone was" voor Vietnamese tekst voordat hij de mond van een computer bereikt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "VietNormalizer" in het Nederlands:

Titel: VietNormalizer: Een Open-Source, Afhankelijkheidsvrije Python-bibliotheek voor Vietnamese Tekstnormalisatie in TTS- en NLP-toepassingen

1. Het Probleem

Tekstnormalisatie (Text Normalization - TN) is een kritieke voorverwerkingsstap in Text-to-Speech (TTS) en Natural Language Processing (NLP) systemen. Het doel is om geschreven tekst om te zetten in een canonieke, spreekbare vorm. Voor het Vietnamese taalgebied is dit een complexe uitdaging vanwege de hoge dichtheid aan "Niet-standaard Woorden" (NSWs) in real-world tekst (zoals sociale media en nieuws). Deze omvatten:

• Getallen, datums, tijden en valuta.
• Percentages en afkortingen.
• Buitenlandse leenwoorden en acroniemen.

Bestaande oplossingen voor het Vietnamese zijn ontoereikend:

• Neurale benaderingen: Vereisen zware afhankelijkheden (zoals BERT, PyTorch/TensorFlow), wat leidt tot hoge installatiekosten, traagheid en ongeschiktheid voor embedded systemen of real-time streaming.
• Bestaande toolkit-integraties: Bibliotheken zoals underthesea focussen voornamelijk op Unicode-normalisatie en diakritische correctie, maar missen de conversie van getallen, valuta en afkortingen naar spreekvormen.
• Academische prototypes: Vaak niet als standalone software beschikbaar of beperkt tot specifieke, formele tekstcorpora.

Er ontbreekt dus een lichtgewicht, volledig zelfstandige bibliotheek die alle NSW-classes dekt zonder neurale afhankelijkheden.

2. Methodologie

VietNormalizer is ontworpen als een regelgebaseerde (rule-based) pipeline in pure Python (versie 3.8+), met de volgende kernarchitectuur:

• Zero-Dependency: De bibliotheek heeft geen externe neurale modellen, API's of zware libraries nodig.
• Verwerkingspijplijn: De normalisatie volgt een strikte volgorde om conflicten te voorkomen:
  1. Unicode-normalisatie: NFC-normalisatie en verwijdering van emoji's en niet-afdrukbare tekens.
  2. Specifieke patronen: Conversie van datums, tijden, valuta (VND/USD) en percentages naar hun spreekbare Vietnamese vorm.
  3. Algemene getallen: Recursieve decompositie van gehele getallen en decimalen naar Vietnamese woordvormen (met aandacht voor grammaticale onregelmatigheden, zoals het onderscheid tussen mot en linh).
  4. Woordenboek-vervanging: Vervanging van afkortingen en leenwoorden via een CSV-gebaseerd woordenboek.
• Pre-compiled Regex: Alle reguliere expressiepatronen worden bij initialisatie gecompileerd. Woordenboeksleutels worden samengevoegd tot één alternatieve regex, wat zorgt voor een verwerkingstijd van $O(n)$ (lineair met de tekstlengte) in plaats van $O(n \cdot |D|)$ bij naïeve vervanging.
• Uitbreidbaarheid: Gebruikers kunnen aangepaste CSV-bestanden laden voor afkortingen (bijv. NASA $\rightarrow$ na-sa) en leenwoorden (bijv. container $\rightarrow$ cong-te-no).

3. Belangrijkste Bijdragen

1. Uitgebreide Dekking: De eerste open-source bibliotheek die zeven NSW-categorieën dekt: getallen, datums, tijden, valuta, percentages, afkortingen en leenwoord-transliteratie.
2. Prestatiegericht Ontwerp: Door het gebruik van pre-compiled regex en single-pass vervanging, kan de bibliotheek duizenden zinnen per minuut verwerken op één CPU-kern, wat ideaal is voor batch-verwerking in TTS-pipelines.
3. Gebruikersvriendelijkheid: Eenvoudige installatie via pip install vietnormalizer en een duidelijke API.
4. Open Source Licentie: Beschikbaar onder de MIT-licentie op PyPI en GitHub, wat bijdraagt aan de toegankelijkheid voor de Vietnamese NLP-gemeenschap.
5. Generaliseerbaarheid: Het paper biedt een blauwdruk voor het toepassen van regelgebaseerde normalisatie op andere taalkundig complexe, "low-resource" talen.

4. Resultaten en Vergelijking

Hoewel het paper geen kwantitatieve benchmarks (zoals exacte nauwkeurigheidspercentages) presenteert ten opzichte van neurale modellen, benadrukt het de praktische superioriteit in productieomgevingen:

• Snelheid: Regelgebaseerde systemen verwerken zinnen in microseconden, terwijl neurale taggers tientallen tot honderden milliseconden nodig hebben.
• Betrouwbaarheid: Regelgebaseerde systemen zijn deterministisch en voorspelbaar, in tegenstelling tot neurale modellen die fouten kunnen doorgeven bij verkeerde tagging.
• Vergelijking: In Tabel 1 wordt aangetoond dat VietNormalizer de enige tool is die volledige dekking biedt voor alle NSW-categorieën, tegelijkertijd afhankelijkheidsvrij is en beschikbaar is via PyPI. Bestaande tools missen ofwel de functionaliteit (zoals underthesea) of vereisen zware neurale infrastructuur (zoals Trang et al. en ViSoLex).

5. Betekenis en Toekomstperspectief

De significante bijdrage van VietNormalizer ligt in het bieden van een direct inzetbare oplossing voor de Vietnamese TTS- en NLP-industrie, die vaak beperkt wordt door de kosten en complexiteit van neurale modellen.

• Low-Resource Talen: Het paper pleit ervoor dat voor de meeste van de wereld's 7.000 talen (die geen grote gelabelde datasets hebben voor training), regelgebaseerde normalisatie de enige praktische route blijft. VietNormalizer demonstreert hoe dit succesvol kan worden geïmplementeerd.
• Toepassing: De bibliotheek is reeds gebruikt in de VietSuperSpeech data-pipeline voor het voorbereiden van transcripties voor ASR-model-finetuning.
• Toekomstig Werk: De auteurs plannen uitbreidingen voor het oplossen van contextafhankelijke ambiguïteiten (bijv. het onderscheid tussen een datum en een breuk), integratie van Named Entity Recognition (NER) voor eigennamen, en de ontwikkeling van Inverse Text Normalization (ITN) om gesproken tekst terug te zetten naar geschreven vorm.

Kortom, VietNormalizer vult een cruciale leemte in het Vietnamese NLP-ecosysteem door een snelle, lichte en volledig functionele normalisatielaag te bieden die onafhankelijk is van zware neurale infrastructuren.