VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications

Le papier présente VietNormalizer, une bibliothèque Python open-source et sans dépendance qui normalise le texte vietnamien en convertissant les nombres, dates, devises, acronymes et termes étrangers en formes parlables pour les applications de synthèse vocale et de traitement du langage naturel.

L'essentiel

Voici une explication simple et imagée du papier de recherche sur VietNormalizer, conçue pour être comprise par tout le monde, même sans être expert en informatique.

🇻🇳 VietNormalizer : Le Traducteur Magique pour les Robots qui Parlent

Imaginez que vous essayez d'enseigner à un robot (un système de synthèse vocale) à lire une lettre écrite par un humain. Le problème ? Les humains écrivent de manière "sale" et rapide, tandis que les robots ont besoin de tout être parfaitement clair et prononçable.

C'est là qu'intervient VietNormalizer. C'est un outil gratuit et léger qui agit comme un chef d'orchestre ou un traducteur de dernière minute pour le vietnamien.

1. Le Problème : Le "Chaos" des Textes Réels

Dans la vraie vie, les textes vietnamiens sont un mélange explosif. Imaginez une phrase comme :

"Le meeting est à 14h30, le budget est de 1.500.000đ, et on parle de la NASA."

Pour un humain, c'est facile à comprendre. Mais pour un robot qui doit parler (Text-to-Speech) :

• Que signifie "14h30" ? Doit-il dire "quatorze heures trente" ou "deux heures et demie de l'après-midi" ?
• Comment prononcer "1.500.000đ" ? "Un million..." ?
• Comment dire "NASA" ? En anglais ou en vietnamien ("Na-sa") ?

Sans aide, le robot bégayerait, prononcerait mal les tons (cruciaux en vietnamien) ou dirait des choses absurdes.

2. La Solution : VietNormalizer, le "Couteau Suisse"

Les auteurs de ce papier ont créé VietNormalizer. Voici ce qu'il fait, expliqué avec des analogies :

• Le Magicien des Nombres : Il transforme les chiffres bruts en mots.

  • Avant : "123"
  • Après : "cent vingt-trois" (en vietnamien).
  • L'astuce : Il connaît les règles bizarres du vietnamien (comme la différence entre "un" et "dix" selon l'endroit où ils se trouvent dans la phrase).

• Le Chronométreur : Il convertit les heures et dates.

  • Avant : "25/12/2023"
  • Après : "le vingt-cinq décembre deux mille vingt-trois".

• Le Banquier : Il gère l'argent.

  • Avant : "1.500.000đ"
  • Après : "un million cinq cent mille dong".

• Le Dictionnaire Vivant : Il sait comment prononcer les acronymes (NASA, GDP) et les mots étrangers (comme "container" ou "Singapore") en les adaptant à la phonétique vietnamienne.

3. Pourquoi est-ce Spécial ? (La Différence avec les Autres Outils)

Avant VietNormalizer, les outils existants étaient soit :

• Trop lourds : Comme un camion blindé pour aller acheter du pain. Ils nécessitaient des super-ordinateurs et des années d'étude (intelligence artificielle complexe) pour faire une tâche simple.
• Trop limités : Comme un couteau suisse qui n'a qu'une seule lame. Ils ne savaient faire que quelques choses (comme corriger l'orthographe) mais pas gérer les nombres ou l'argent.

VietNormalizer est différent :

• Il est "Zéro Dépendance" : C'est comme un couteau suisse en plastique ultra-léger. Vous n'avez besoin d'aucun logiciel lourd, d'aucune carte graphique puissante, ni d'aucune connexion internet. Il fonctionne sur n'importe quel ordinateur, même un vieux portable.
• Il est Rapide : Il utilise des règles fixes (comme une recette de cuisine précise) plutôt que de "réfléchir" comme un humain. C'est instantané.
• Il est Personnalisable : Si vous avez un mot spécial que le robot ne connaît pas, vous pouvez simplement ajouter une ligne dans un fichier Excel (CSV) et le robot l'apprendra immédiatement.

4. L'Analogie Finale : Le Préparateur de Voyage

Imaginez que vous préparez un voyage en voiture (le robot qui parle).

• Les outils précédents étaient comme des mécaniciens qui devaient démonter le moteur pour vérifier chaque pièce avant de partir. C'était long, cher et compliqué.
• VietNormalizer, c'est le préparateur de voyage. Il prend votre valise (le texte brut), range les vêtements (les nombres), met les chaussures aux bons endroits (les dates), et s'assure que tout est prêt pour le départ. Il le fait en quelques secondes, sans outils complexes, et vous laisse partir immédiatement.

En Résumé

Ce papier présente un outil gratuit, rapide et simple pour transformer le texte vietnamien "brouillon" en un texte parfait pour être lu à voix haute par des robots. Il est conçu pour être utilisé par tout le monde, des développeurs de start-up aux chercheurs, sans avoir besoin d'être un expert en intelligence artificielle.

C'est une victoire pour les langues "peu dotées" en ressources informatiques : cela prouve qu'on n'a pas besoin de super-ordinateurs pour faire de la technologie de pointe, juste de bonnes règles et un peu de créativité.

Résumé technique

Voici un résumé technique détaillé du papier de recherche présentant VietNormalizer, rédigé en français.

Titre

VietNormalizer : Une bibliothèque Python open-source et sans dépendance pour la normalisation de texte vietnamien dans les applications TTS et NLP.

---

1. Problématique

La normalisation de texte (Text Normalization - TN) est une étape préliminaire critique pour la synthèse vocale (TTS) et le traitement du langage naturel (NLP). Elle consiste à convertir le texte écrit (notamment les formes non standard ou NSW) en une forme parlée canonique.

Dans le contexte vietnamien, ce processus présente des défis uniques et sous-traités :

• Densité de formes non standard (NSW) : Les textes réels (réseaux sociaux, actualités, commerce) mélangent fréquemment des chiffres arabes, des dates, des devises, des acronymes et des termes étrangers avec le texte vietnamien.
• Complexité morphologique et tonale : Le vietnamien utilise six tons distincts. Une erreur de transcription des tons lors de la normalisation entraîne directement des erreurs de prononciation dans le TTS.
• Limitations des outils existants :
  • Les approches basées sur des réseaux de neurones (ex: Trang et al., 2022, ViSoLex) sont précises mais lourdes, nécessitant des dépendances lourdes (BERT, PyTorch), ce qui les rend inadaptées aux déploiements légers ou temps réel.
  • Les outils existants comme underthesea se concentrent sur la normalisation Unicode et la correction des diacritiques, mais ne couvrent pas la verbalisation des nombres, des devises ou la translittération des mots étrangers.
  • Il n'existe pas de bibliothèque autonome, légère et installable couvrant l'ensemble des classes de NSW pour le vietnamien.

2. Méthodologie

VietNormalizer propose une approche basée sur des règles, conçue pour être performante, légère et sans dépendance externe (zero-dependency).

Architecture et Pipeline :
La bibliothèque est structurée autour de deux classes principales (VietnameseTextProcessor et VietnameseNormalizer) et applique les transformations dans un ordre strict pour éviter les conflits de correspondance partielle :

1. Normalisation Unicode : Conversion NFC et suppression des émojis/caractères non imprimables.
2. Normalisation des dates et heures : Conversion des formats (DD/MM/YYYY, HH:MM) en chaînes vietnamiennes parlées (ex: "9:30" → chin gio ba muoi phut).
3. Normalisation des devises : Gestion des montants en VND (dong) et USD.
4. Normalisation des pourcentages : Conversion de "X%" en "X phan tram".
5. Verbalisation des nombres : Algorithme de décomposition récursive pour les entiers et décimaux, gérant les irrégularités grammaticales vietnamiennes (ex: mot muoi vs hai muoi, nghin, trieu, ty).
6. Remplacement par dictionnaire : Substitution des acronymes et des mots empruntés (loanwords) via des fichiers CSV configurables.

Optimisations Techniques :

• Compilation préalable : Tous les motifs d'expressions régulières (regex) sont compilés une seule fois lors de l'initialisation.
• Regex combinés : Les clés du dictionnaire sont fusionnées en un seul motif de regex alterné, permettant un traitement en une seule passe ($O(n)$) quel que soit la taille du dictionnaire, évitant ainsi la complexité quadratique des remplacements séquentiels.
• Indépendance : Aucune dépendance à des frameworks de Deep Learning (PyTorch, TensorFlow) ni à des API externes.

3. Contributions Clés

1. Pipeline complet de normalisation : Couverture de sept catégories de NSW (nombres, dates, heures, devises, pourcentages, acronymes, mots étrangers) dans un seul package Python pur (3.8+).
2. Extensibilité utilisateur : Système de dictionnaires basé sur CSV permettant aux utilisateurs de définir leurs propres expansions d'acronymes et translittérations de mots étrangers sans modifier le code source.
3. Performance orientée production : Conception permettant un traitement par lots à haut débit (des dizaines de milliers d'énoncés par minute sur un seul cœur CPU), idéal pour les pipelines de préparation de données TTS/ASR.
4. Libération Open Source : Disponibilité sur PyPI (pip install vietnormalizer) et GitHub sous licence MIT, avec une documentation complète.
5. Analyse comparative : Une discussion approfondie sur les limites des approches neuronales actuelles pour les langues à ressources limitées et la généralisabilité de l'approche basée sur des règles.

4. Résultats et Évaluation

Bien que le papier ne présente pas de métriques d'exactitude comparatives exhaustives (car l'approche est déterministe), il met en avant les résultats suivants :

• Efficacité de déploiement : Contrairement aux solutions neuronales qui ajoutent des latences de dizaines à centaines de millisecondes par énoncé, VietNormalizer traite les énoncés en microsecondes.
• Couverture fonctionnelle : La bibliothèque résout les lacunes identifiées dans les outils existants (Tableau 1 du papier), étant la seule à combiner couverture complète des NSW, zéro dépendance, extensibilité et performance de production.
• Cas d'usage réels : La bibliothèque a été intégrée avec succès dans le pipeline de données VietSuperSpeech pour le prétraitement des transcriptions avant l'affinement de modèles ASR.

5. Signification et Impact

• Pour l'écosystème vietnamien : VietNormalizer comble un vide critique en fournissant un outil standardisé, léger et facile à installer pour la communauté NLP et TTS vietnamienne, facilitant la création de systèmes de synthèse vocale de haute qualité.
• Pour les langues à ressources limitées : L'article argumente que l'approche basée sur des règles reste la méthode la plus pragmatique pour la majorité des 7 000 langues du monde, qui manquent de données d'entraînement étiquetées pour les modèles neuronaux.
• Généralisabilité : L'architecture de VietNormalizer est conçue pour être adaptée à d'autres langues tonales (Mandarin, Cantonais) et agglutinantes (Thaï, Khmer, Lao, Indonésien), offrant un modèle reproductible pour le développement d'outils de normalisation dans des contextes à faibles ressources.

En conclusion, VietNormalizer représente une avancée significative en offrant une solution déterministe, auditable et hautement performante pour la normalisation du texte vietnamien, éliminant la barrière de la complexité computationnelle des approches neuronales tout en couvrant les besoins spécifiques du TTS.