Resumo Técnico: NüshuVoice: Revivendo a Voz do Nüshu em Extinção com Text-to-Speech Sensível ao Pitch

Declaração do Problema

O Nüshu é um sistema de escrita fonética em extinção, historicamente utilizado por mulheres no condado de Jiangyong, Hunan, China. Embora esforços computacionais recentes tenham se concentrado na digitalização textual, codificação e reconhecimento visual (OCR) do Nüshu, sua modalidade acústica permanece amplamente inexplorada. Esta lacuna é crítica porque o Nüshu é uma escrita silábica onde cada caractere corresponde a uma sílaba específica, incluindo inicial, final e tom, no dialeto local de Jiangyong.

A construção de um sistema de Text-to-Speech (TTS) para o Nüshu apresenta desafios extremos devido à severa escassez de dados. Ao contrário de configurações modernas de baixos recursos que podem possuir várias horas de fala contínua, as gravações de Nüshu disponíveis são arquivísticas, de qualidade não profissional (não de estúdio) e consistem quase inteiramente em pronúncias isoladas ao nível de sílaba, em vez de enunciados naturais ao nível de frase. Arquiteturas convencionais de TTS, que dependem de grandes conjuntos de dados pareados texto-fala ou supervisão de alinhamento externa, são propensas a um alinhamento texto-fala instável e uma modelagem prosódica fraca sob estas condições. Além disso, a ausência de sistemas de Reconhecimento Automático de Fala (ASR) para o Nüshu impede métricas de avaliação objetiva padrão, como a Taxa de Erro de Palavra (WER).

Metodologia

1. Construção do Dataset: NüshuVoice

Os autores construíram o NüshuVoice, o primeiro benchmark de TTS multimodal de nível de frase para o Nüshu. O pipeline de construção envolveu três estágios rigorosos:

• Coleta de Dados: Os dados textuais foram obtidos de The Mystery of Jiangyong Nüshu (aprox. 63.665 caracteres), fornecendo glifos originais, transcrições fonéticas (usando IPA e uma escala de pitch de cinco níveis) e traduções para o chinês padrão. Os dados de áudio foram extraídos do Nüshu Pronunciation Electronic Dictionary, contendo 873 gravações de sílabas isoladas.
• Filtragem Ortográfica: Um protocolo rigoroso de referência cruzada visual e semântica foi aplicado para mapear glifos manuscritos/impressos para formas Unicode padronizadas. Sentenças contendo qualquer caractere sem um equivalente Unicode verificado ou discrepância estrutural foram descartadas para garantir a fidelidade ortográfica.
• Montagem de Áudio de Nível de Frase: Como gravações contínuas não estavam disponíveis, os autores desenvolveram um pipeline determinístico para montar áudios de nível de frase. Caracteres Unicode verificados foram mapeados para seus respectivos arquivos WAV isolados do dicionário. Esses segmentos foram concatenados temporalmente usando o Audacity para reconstruir enunciados contínuos, criando um alinhamento um-para-um entre o texto padronizado, o IPA e o áudio.
• Validação: A validação por especialistas em domínio de Nüshu confirmou uma taxa de correção de 93,6% para o dataset final (1.252 enunciados, ~98,8 minutos).

2. Arquitetura do Modelo: Nüshu-PitchVITS

Para abordar o cenário de baixos recursos extremos, os autores propuseram o Nüshu-PitchVITS, uma extensão do framework Variational Inference with Adversarial Learning for End-to-End Text-to-Speech (VITS).

• Framework Condicionado por F0: Reconhecendo que as anotações de Nüshu incluem explicitamente uma notação de pitch de cinco níveis, o modelo incorpora um preditor de frequência fundamental (F0) explícito como um viés indutivo prosódico.
• Detalhes da Arquitetura:
  • Entrada: Transcrições fonéticas conscientes de tom (sílaba + valor de tom de 5 níveis).
  • Ramo de Pitch: Uma rede convolucional 1D leve de duas camadas prevê uma sequência de log-F0 por quadro ($\hat{f}$) a partir dos estados ocultos do codificador de texto.
  • Injeção Latente: A representação de pitch prevista é projetada para a dimensão oculta e adicionada à representação acústica latente ($Z' = Z + E_{F0}$) antes da decodificação da forma de onda.
  • Alinhamento: O preditor de pitch é excluído da Busca de Alinhamento Monotônico (MAS) para evitar a desestabilização da estimativa de alinhamento em regimes de baixos dados. O alinhamento é computado unicamente a partir de estatísticas prévias e variáveis posteriores transformadas por fluxo.
• Estratégia de Treinamento: Foi empregada uma abordagem de treinamento de dois estágios, inicializada a partir de um modelo VITS em inglês pré-treinado:
  1. Estágio 1: O decodificador de forma de onda e o codificador posterior são congelados. Apenas o codificador de texto, o preditor de pitch, o preditor de duração e o fluxo normalizante são treinados usando perdas de divergência KL, duração e predição de pitch.
  2. Estágio 2: Todos os módulos são descongelados para treinamento conjunto de ponta a ponta usando uma função de perda combinada que inclui perdas adversariais, de correspondência de características, de reconstrução e de pitch.

Principais Contribuições

1. Dataset NüshuVoice: A criação do primeiro dataset de TTS de nível de frase para Nüshu, alinhando texto Unicode padronizado, transcrições IPA, traduções para o chinês e áudio arquivístico montado.
2. Nüshu-PitchVITS: Um novo framework de TTS que aproveita a notação de pitch de cinco níveis explícita do Nüshu como um viés indutivo prosódico para estabilizar a síntese em condições extremas de baixos recursos.
3. Avaliação Sistemática: A primeira avaliação objetiva e subjetiva abrangente de TTS neural para Nüshu, estabelecendo novos baselines e métricas para escritas fonéticas em extinção.
4. Preservação Cultural: Uma abordagem computacional para tornar a pronúncia do Nüshu acessível, apoiando a revitalização acústica deste sistema de escrita em extinção.

Resultados Experimentais

O método proposto foi avaliado contra cinco baselines fortes (Tacotron 2, FastSpeech 2, Glow-TTS, F5-TTS e VITS padrão) no conjunto de teste NüshuVoice.

• Métricas Objetivas:
  • Fidelidade Espectral: O Nüshu-PitchVITS alcançou uma Distorção Mel-Cepstral (MCD) de 3.11, superando significativamente o baseline mais forte (VITS com 5.19) e mostrando melhorias massivas sobre modelos autorregressivos (que sofreram MCD > 37).
  • Reconstrução de Pitch: O modelo reduziu o Erro Quadrático Médio (RMSE) de F0 para 13.23 (vs. 23.42 para o VITS) e alcançou uma correlação de Pearson de 0.92 (vs. 0.73 para o VITS), demonstrando precisão tonal superior.
• Métricas Subjetivas (MOS):
  • Inteligibilidade: O Nüshu-PitchVITS alcançou um MOS de Inteligibilidade quase perfeito de 4.97, enquanto os baselines padrão pontuaram próximo a 1.0 (ininteligível).
  • Naturalidade: O modelo alcançou um MOS de Naturalidade de 3.31, comparável às gravações de referência (3.34).
• Análise Espectral: Os espectrogramas indicaram que, enquanto o VITS padrão exibia excesso de suavização (over-smoothing) e contraste harmônico enfraquecido, o Nüshu-PitchVITS produziu bandas harmônicas mais nítidas e estruturas relacionadas ao pitch mais consistentes, confirmando a eficácia do condicionamento explícito de F0.

Significância e Alegações

O artigo afirma que o NüshuVoice e o Nüshu-PitchVITS representam o primeiro estudo dedicado à síntese de TTS para Nüshu. Os autores argumentam que, para escritas fonéticas em extinção onde os dados acústicos são escassos, mas as anotações tonais estão disponíveis, o modelagem prosódica fundamentada linguisticamente é crítica.

A significância deste trabalho reside em:

1. Revitalização Acústica: Indo além do reconhecimento visual para recuperar a realização falada e a dinâmica tonal do Nüshu, o que é essencial para preservar seu patrimônio oral e cultural.
2. Insight Metodológico: Demonstrar que o condicionamento de pitch explícito pode estabilizar arquiteturas VITS em configurações extremas de baixos recursos onde mecanismos de alinhamento convencionais falham.
3. Disponibilidade de Recursos: Fornecer um dataset público e código para servir de base para pesquisas futuras em TTS de baixos recursos, revitalização de línguas em extinção e preservação computacional do patrimônio cultural imaterial.

Os autores mantêm uma postura modesta, reconhecendo limitações como a natureza montada do áudio (carecendo de coarticulação natural e prosódia de discurso), a diversidade limitada de locutores devido às restrições arquivísticas e a exclusão de variantes históricas de glifos sem equivalentes Unicode exatos. Eles enfatizam que o trabalho visa apoiar a preservação e documentação, não substituir o conhecimento da comunidade.