VietNormalizer: An Open-Source, Dependency-Free Python Library for Vietnamese Text Normalization in TTS and NLP Applications

Este artigo apresenta o VietNormalizer, uma biblioteca Python de código aberto e sem dependências externas que oferece uma solução unificada baseada em regras para a normalização de texto vietnamita, convertendo números, datas, moedas, porcentagens, siglas e termos estrangeiros em suas formas faladas para aplicações de TTS e NLP.

O essencial

Imagine que você tem um robô muito inteligente que sabe falar, mas ele é um pouco "teimoso" e só entende palavras escritas exatamente como soam. Se você pedir para ele ler um bilhete que diz "A reunião é às 14:30 com 1.500.000 reais", o robô vai tentar ler os números e símbolos literalmente, como se fossem nomes estranhos, e vai soar completamente sem sentido.

O VietNormalizer é como um tradutor mágico e super-rápido que conserta esse bilhete antes de entregar ao robô. Ele transforma "14:30" em "quatorze horas e trinta minutos" e "1.500.000" em "um milhão e quinhentos mil", tudo em vietnamita, pronto para ser falado.

Aqui está a explicação do artigo, usando analogias do dia a dia:

1. O Problema: A "Sopa de Letras" do Mundo Real

No dia a dia, as pessoas escrevem de tudo misturado: números, datas, siglas de empresas (como NASA), moedas e palavras em inglês. Para um computador que vai transformar texto em voz (TTS), isso é um pesadelo. É como tentar cozinhar um prato gourmet usando ingredientes que ainda estão na embalagem fechada. O computador precisa que tudo esteja "aberto" e pronto para o consumo.

Antes desse projeto, as ferramentas para o vietnamita eram ou:

• Muito pesadas: Como tentar usar um caminhão de bombeiros para apagar uma vela. Elas exigiam computadores gigantes e internet para funcionar.
• Muito limitadas: Como uma chave de fenda que só serve para um tipo específico de parafuso. Elas não entendiam dinheiro, datas ou palavras estrangeiras.

2. A Solução: O "Canivete Suíço" Leve

O VietNormalizer é apresentado como uma ferramenta leve, gratuita e que não precisa de nada além do Python (a linguagem de programação). Pense nele como um canivete suíço que cabe no bolso de qualquer desenvolvedor.

Ele faz sete coisas principais, como se fosse uma linha de montagem de uma fábrica de voz:

1. Números: Transforma "123" em "cento e vinte e três".
2. Datas e Horas: Muda "25/12" para "vinte e cinco de dezembro".
3. Dinheiro: Converte "1.000.000 VND" para "um milhão de dong".
4. Porcentagens: Muda "50%" para "cinquenta por cento".
5. Siglas: Transforma "NASA" em "na-sa" (como se fosse falado).
6. Palavras Estrangeiras: Adapta palavras em inglês para o som vietnamita (ex: "container" vira "cong-te-no").
7. Limpeza: Remove emojis e caracteres estranhos que confundem o robô.

3. O Segredo: Regras, não "Adivinhação"

Muitas ferramentas modernas usam Inteligência Artificial (redes neurais) para tentar "adivinhar" o que o texto significa. Isso é como ter um aluno que precisa estudar milhares de livros para aprender a ler um bilhete. É pesado e lento.

O VietNormalizer usa regras fixas (como uma receita de bolo). Se o texto tem um ponto e dois números, é uma hora. Se tem um "VND", é dinheiro.

• Vantagem: É instantâneo. Não precisa de internet, não precisa de placas de vídeo caras e funciona até em celulares antigos.
• Analogia: É a diferença entre pedir para um chef de cozinha famoso (IA) cozinhar um ovo (demorado e caro) e você mesmo usar um ovo frito pronto (regra simples e rápida).

4. Por que isso é importante?

O artigo explica que, para países com menos recursos de tecnologia (como o Vietnã), não há dados suficientes para treinar essas IAs gigantes. Então, a melhor solução é usar a lógica humana (regras) codificada em software.

O VietNormalizer é como uma ponte que permite que qualquer pessoa, sem gastar dinheiro com servidores caros, crie assistentes de voz, sistemas de leitura de notícias ou aplicativos que falem vietnamita de forma natural.

Resumo Final

O VietNormalizer é uma ferramenta de limpeza e organização de texto feita para o vietnamita. Ele pega textos bagunçados cheios de números e símbolos, aplica regras simples e rápidas para transformá-los em frases que soam naturais quando faladas, e faz tudo isso sem precisar de equipamentos pesados ou conexão com a nuvem. É uma solução prática, gratuita e aberta para todos usarem.

Resumo técnico

Resumo Técnico: VietNormalizer

1. O Problema

A normalização de texto (TN) é uma etapa crítica de pré-processamento para sistemas de Texto para Fala (TTS) e Processamento de Linguagem Natural (NLP). O objetivo é converter texto escrito não padronizado em uma forma falada canônica. No contexto do vietnamita, esse desafio é particularmente complexo devido a:

• Alta densidade de Palavras Não Padrão (NSWs): Textos reais (redes sociais, notícias, comércio) misturam frequentemente números, datas, horários, moedas, porcentagens, acrônimos e termos estrangeiros com prosa vietnamita.
• Complexidade Morfológica e Tonal: O vietnamita possui seis tons lexicais. Erros na transcrição de tons durante a normalização resultam em pronúncia incorreta no TTS.
• Limitações das Soluções Atuais:
  • Ferramentas existentes baseadas em redes neurais (como as de Trang et al. e ViSoLex) exigem dependências pesadas (PyTorch, TensorFlow, modelos BERT), tornando-as inviáveis para implantação em hardware embarcado ou ambientes com restrições de memória.
  • Ferramentas leves (como underthesea) focam apenas em padronização Unicode e correção de diacríticos, ignorando a verbalização de números, moedas e acrônimos.
  • Não existia uma biblioteca standalone, instalável via pip, que cobrisse todas as categorias de NSWs sem dependências externas.

2. Metodologia

O VietNormalizer é uma biblioteca Python de código aberto, livre de dependências externas (zero-dependency), que utiliza uma pipeline baseada em regras altamente otimizada.

• Arquitetura:
  • A pipeline aplica transformações em uma ordem específica para evitar conflitos de correspondência parcial:
    1. Normalização Unicode (NFC) e remoção de emojis/caracteres não imprimíveis.
    2. Normalização de Datas e Horários.
    3. Normalização de Moedas (VND e USD).
    4. Normalização de Porcentagens.
    5. Normalização Geral de Números (inteiros e decimais).
    6. Substituição de Dicionário (acrônimos e empréstimos linguísticos).
  • Verbalização de Números: Utiliza um algoritmo de decomposição recursiva para lidar com as irregularidades gramaticais vietnamitas (ex: distinção entre mot e mot muoi, uso de nghin, trieu, ty).
  • Gerenciamento de Dicionários: Suporta dicionários CSV personalizáveis para acrônimos e palavras estrangeiras. A substituição é feita via um único regex compilado que corresponde a todas as chaves simultaneamente, garantindo complexidade de tempo $O(n)$ em relação ao comprimento do texto, independentemente do tamanho do dicionário.
  • Otimização de Desempenho: Todos os padrões de expressão regular são pré-compilados na inicialização da classe, permitindo processamento em lote de alto rendimento (dezenas de milhares de utterances por minuto em uma única CPU) sem necessidade de GPU.

3. Principais Contribuições

O artigo apresenta cinco contribuições principais:

1. Pipeline Abrangente: A primeira biblioteca Python pura que cobre sete categorias de NSWs (números, datas, horas, moeda, porcentagens, acrônimos e transliteração de empréstimos) para o vietnamita.
2. Design Livre de Dependências: Não requer redes neurais, APIs externas ou bibliotecas pesadas, facilitando a instalação (pip install vietnormalizer) e a implantação em ambientes restritos.
3. Extensibilidade: Oferece um mecanismo baseado em CSV para que os usuários expandam dicionários de acrônimos e transliteração de empréstimos linguísticos sem modificar o código-fonte.
4. Alto Desempenho: Projetado para inferência em lote em pipelines de produção de TTS, superando a latência de soluções baseadas em modelos neurais (microssegundos vs. milissegundos).
5. Liberdade de Licenciamento: Disponível no PyPI e GitHub sob licença MIT, promovendo a adoção pela comunidade.

4. Resultados e Avaliação

Embora o artigo não apresente tabelas numéricas de precisão comparativa direta (focando na arquitetura e viabilidade), ele destaca:

• Comparação Funcional: Uma tabela comparativa demonstra que o VietNormalizer é a única ferramenta que suporta todas as categorias de NSWs, possui dependência zero, é instalável via PyPI e é extensível.
• Eficiência Operacional: O design permite o processamento de grandes corpora de TTS (como o pipeline VietSuperSpeech) com sobrecarga de memória mínima e sem latência de inferência de modelos.
• Cobertura: Resolve problemas específicos que outras ferramentas ignoram, como a conversão de "1.500.000 dong" para "mot trieu nam tram nghin dong" e a transliteração de "container" para "cong-te-no".

5. Significado e Generalização

• Para o Ecossistema Vietnamita: Preenche uma lacuna crítica no NLP vietnamita, fornecendo uma ferramenta essencial para a construção de pipelines de TTS e ASR de alta qualidade, eliminando a barreira de entrada de dependências pesadas.
• Para Línguas de Baixos Recursos: O artigo argumenta que a abordagem baseada em regras é superior para a maioria das 7.000 línguas do mundo que carecem de dados rotulados para treinar modelos neurais.
• Aplicabilidade Global: A arquitetura do VietNormalizer é apresentada como um modelo replicável para outras línguas tonais e aglutinantes (como tailandês, laosiano, cambojano e até mandarim), onde a escassez de dados torna a normalização baseada em regras a única via prática para TTS funcional.

Em suma, o VietNormalizer estabelece um novo padrão para ferramentas de pré-processamento de texto em línguas de baixos recursos, priorizando a eficiência, a transparência e a facilidade de implantação em detrimento da complexidade neural desnecessária.