VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications

El artículo presenta VietNormalizer, una biblioteca Python de código abierto y sin dependencias que normaliza texto vietnamita mediante un pipeline basado en reglas para convertir números, fechas, monedas, acrónimos y préstamos lingüísticos en formas habladas, optimizando así su uso en aplicaciones de síntesis de voz y procesamiento del lenguaje natural.

Lo esencial

Imagina que tienes un robot muy talentoso llamado VietNormalizer. Su trabajo es ser el "traductor de cocina" para la inteligencia artificial que habla vietnamita.

Aquí te explico de qué trata este documento, usando una analogía sencilla:

🍳 El Problema: La "Receta" Confusa

Imagina que quieres pedir una pizza por teléfono a un robot. Si le dices: "Quiero una pizza a las 14:30, cuesta 1.500.000 dong y la envío a la calle NASA", el robot se va a confundir.

• ¿Qué significa "14:30"? ¿Es una hora o un código?
• ¿Cómo pronuncia "1.500.000"? ¿Dice los números o dice "un millón quinientos mil"?
• ¿Cómo lee "NASA"? ¿Como una palabra vietnamita o como la palabra en inglés?

En el mundo real, los textos en vietnamita están llenos de estos "ingredientes extraños" (números, fechas, monedas, siglas, palabras en inglés) mezclados con palabras normales. Si el robot intenta leerlos tal cual, sonará como un robot atascado o cometerá errores de pronunciación.

🛠️ La Solución: VietNormalizer

Los autores de este papel crearon VietNormalizer, que es como un chef experto que toma esa "receta confusa" y la convierte en una instrucción clara y perfecta antes de dársela al robot.

Lo especial de este chef es que:

1. No necesita electricidad extra: A diferencia de otros chefs que necesitan una cocina gigante llena de máquinas costosas (redes neuronales pesadas), este chef solo necesita un cuchillo y una tabla. Es un programa muy ligero que no necesita internet ni tarjetas gráficas potentes.
2. Es un "Todo en Uno": No solo arregla las horas. Arregla todo:
   • Números: Convierte "123" en "ciento veintitrés".
   • Fechas y Horas: Convierte "25/12/2023" en "veinticinco de diciembre de dos mil veintitrés".
   • Dinero: Convierte "1.500.000 dong" en una frase completa sobre millones y miles.
   • Siglas: Si ves "NASA", el robot sabe que debe decir "na-sa" (como se pronuncia en vietnamita) y no leer las letras en inglés.
   • Palabras extranjeras: Si aparece "container", lo convierte a "cong-te-no".

🚀 ¿Por qué es tan importante?

Antes de este programa, si querías que un robot hablara vietnamita correctamente, tenías dos opciones difíciles:

• Opción A: Usar programas muy pesados que necesitaban supercomputadoras (como tener un camión para llevar una sola caja).
• Opción B: Usar programas que solo arreglaban una parte del problema (como arreglar solo los números pero olvidar las fechas).

VietNormalizer es como una bicicleta eléctrica: es rápida, barata, fácil de usar y hace todo el trabajo de limpieza de texto sin necesidad de una fábrica gigante.

🌍 El Gran Secreto: Funciona para otros idiomas también

Los autores dicen que la "receta" que usaron para vietnamita (reglas simples y listas de palabras) se puede copiar para otros idiomas que son difíciles para las computadoras, como el tailandés, el lao o el chino.
Es como decir: "No necesitas un robot súper inteligente para aprender a cocinar; si tienes una buena lista de instrucciones y un buen diccionario, puedes enseñarle a cualquier máquina a hablar casi cualquier idioma".

En resumen

Este documento presenta una herramienta gratuita y sencilla que limpia el texto vietnamito para que las máquinas puedan leerlo y hablarlo como un humano. Es rápido, no necesita internet, y es tan fácil de instalar que cualquiera puede usarlo con un solo comando en su computadora. ¡Es como darle al robot un diccionario mágico y unas reglas de oro para que nunca vuelva a tartamudear!

Resumen técnico

Resumen Técnico: VietNormalizer

1. El Problema

La normalización de texto (TN) es un paso crítico de preprocesamiento en sistemas de Texto a Voz (TTS) y Procesamiento de Lenguaje Natural (NLP). Consiste en convertir texto escrito no estándar (como números, fechas, monedas o acrónimos) en su forma hablada canónica.

En el caso del vietnamita, este proceso presenta desafíos únicos que las herramientas existentes no abordan adecuadamente:

• Alta densidad de palabras no estándar (NSWs): El texto real (redes sociales, noticias, comercio) mezcla frecuentemente números arábigos, acrónimos latinos, nombres de marcas en inglés y símbolos de moneda con prosa vietnamita.
• Complejidad morfológica tonal: El vietnamita utiliza seis tonos léxicos marcados por diacríticos. Una transcripción incorrecta de los tonos durante la normalización provoca errores de pronunciación graves en TTS.
• Limitaciones de las herramientas actuales:
  • Las soluciones basadas en redes neuronales (como Trang et al., 2022 o ViSoLex) requieren dependencias pesadas (PyTorch, BERT, gigabytes de modelos), lo que las hace inviables para despliegues ligeros, embebidos o en tiempo real.
  • Las herramientas integradas en grandes kits de NLP (como underthesea) se limitan a la normalización Unicode y corrección de diacríticos, sin cubrir la verbalización de números, fechas o monedas.
  • Falta una biblioteca independiente, instalable vía pip, que cubra todas las clases de NSW sin dependencias externas.

2. Metodología

VietNormalizer es una biblioteca de Python de código abierto y cero dependencias que implementa un pipeline basado en reglas. Su arquitectura se distingue por las siguientes características técnicas:

• Pipeline de Transformación Secuencial: El sistema aplica transformaciones en un orden estricto para evitar conflictos de coincidencia parcial:

  1. Normalización Unicode: Conversión a NFC y eliminación de emojis/caracteres no imprimibles.
  2. Fechas y Horas: Conversión de patrones (DD/MM/YYYY, HH:MM) a su forma hablada vietnamita.
  3. Moneda: Detección y verbalización de cantidades en VND (dong) y USD.
  4. Porcentajes: Expansión de "X%" a "X phan tram".
  5. Números Generales: Conversión recursiva de enteros y decimales a palabras vietnamitas, manejando irregularidades gramaticales (ej. la diferencia entre mot y muoi según el contexto).
  6. Reemplazo de Diccionario: Sustitución de acrónimos y préstamos lingüísticos (loanwords) mediante expresiones regulares.

• Optimización de Rendimiento:

  • Compilación Previa: Todos los patrones de expresiones regulares (Regex) se compilan una sola vez al inicializar la clase.
  • Unificación de Patrones: Las claves del diccionario se combinan en una sola expresión regular de alternancia. Esto permite un tiempo de procesamiento de O(n) (lineal respecto a la longitud del texto), independientemente del tamaño del diccionario, evitando la complejidad O(n·|D|) de los reemplazos secuenciales ingenuos.
  • Sin GPU ni APIs: Funciona completamente en CPU con un uso mínimo de memoria.

• Extensibilidad: Incluye un sistema de diccionarios basado en archivos CSV para que los usuarios puedan personalizar la expansión de acrónimos y la transliteración de palabras extranjeras sin modificar el código fuente.

3. Contribuciones Clave

El artículo presenta cinco contribuciones principales:

1. Pipeline Integral: Una implementación completa en Python 3.8+ que cubre siete categorías de NSW (números, fechas, horas, moneda, porcentajes, acrónimos y préstamos lingüísticos) sin dependencias externas.
2. Sistema de Diccionarios Extensible: Mecanismo basado en CSV para la expansión de acrónimos y transliteración de préstamos, permitiendo la adaptación a dominios específicos.
3. Diseño Orientado al Rendimiento: Uso de patrones Regex precompilados y reemplazo de un solo paso, habilitando el procesamiento por lotes de alto rendimiento (miles de enunciados por minuto en un solo núcleo de CPU).
4. Accesibilidad: Lanzamiento como paquete PyPI (pip install vietnormalizer) bajo licencia MIT, con código disponible en GitHub.
5. Análisis Comparativo y Generalización: Una discusión crítica sobre las limitaciones de los enfoques neuronales para lenguas de bajos recursos y una propuesta de cómo la normalización basada en reglas es aplicable a otras lenguas tonales y aglutinantes.

4. Resultados y Validación

• Comparativa: La Tabla 1 del artículo demuestra que VietNormalizer es la única herramienta que soporta simultáneamente todas las categorías de NSW, ofrece instalación sin dependencias, permite extensión por el usuario y está disponible en PyPI.
• Eficiencia: El diseño permite un throughput práctico para la preparación de datos a gran escala (como en el pipeline VietSuperSpeech), superando la latencia de los sistemas neuronales (que añaden decenas o cientos de milisegundos por oración) al procesar en microsegundos.
• Cobertura: Maneja correctamente casos complejos como la ambigüedad en "2/9" (priorizando la fecha sobre la fracción) y la conversión de números grandes con agrupaciones específicas vietnamitas (nghin, trieu, ty).

5. Significado e Impacto

• Para TTS y NLP en Vietnamita: VietNormalizer cierra la brecha de una herramienta ligera y lista para producción, eliminando la necesidad de infraestructura pesada de IA para tareas de preprocesamiento básicas pero críticas.
• Para Lenguas de Bajos Recursos: El artículo argumenta que, para la gran mayoría de las 7,000 lenguas del mundo que carecen de datos etiquetados para entrenar modelos neuronales, el enfoque basado en reglas es la única vía práctica para lograr normalización de texto de calidad TTS.
• Generalización: La arquitectura de VietNormalizer sirve como una "plantilla replicable" para desarrollar herramientas similares en otras lenguas tonales (como mandarín o cantonés) y aglutinantes (como tailandés o lao), donde la complejidad morfológica dificulta el uso de modelos estadísticos sin grandes corpus.

En conclusión, VietNormalizer no solo resuelve un problema técnico específico para el vietnamita, sino que establece un paradigma robusto y eficiente para la normalización de texto en lenguas donde los enfoques basados en datos masivos no son viables.