Breeze Taigi: Benchmarks and Models for Taiwanese Hokkien Speech Recognition and Synthesis

Visão Geral

O artigo apresenta o Breeze Taigi, um quadro abrangente desenvolvido para padronizar a avaliação e o desenvolvimento de tecnologias de reconhecimento de fala (ASR) e síntese de fala (TTS) para o Hokkien de Taiwan (conhecido localmente como Taigi). O trabalho visa superar a falta de dados rotulados e benchmarks padronizados para esta língua, propondo metodologias que aproveitam recursos linguísticos paralelos e geração de dados sintéticos em larga escala.

---

1. O Problema

O Hokkien de Taiwan enfrenta desafios significativos na adoção de tecnologias de fala modernas devido a:

• Escassez de Dados: A falta de grandes conjuntos de dados de fala anotados e transcrições de alta qualidade em comparação com línguas como inglês ou mandarim.
• Complexidade Linguística: Variações dialetais, nuances fonéticas e tonais complexas (incluindo tone sandhi), e múltiplas convenções de ortografia.
• Falta de Padronização: A ausência de benchmarks reprodutíveis impede a comparação objetiva entre diferentes sistemas comerciais e de pesquisa, dificultando o progresso mensurável no campo.

---

2. Metodologia

A. Estratégia de Benchmarking (Avaliação)

• Recursos Paralelos: Os autores utilizaram anúncios de serviço público (PSA) do Governo Executivo de Taiwan, que possuem versões paralelas em Mandarim e Taigi.
• Mapeamento para Mandarim: Em vez de exigir transcrições fonéticas complexas em Taigi, a metodologia mapeia o áudio de Taigi para transcrições de texto em Mandarim.
  • Justificativa: Embora não seja uma correspondência 1:1, o compartilhamento de caracteres chineses e o vocabulário sobreposto permitem que a Taxa de Erro de Caracteres (CER) seja uma métrica eficaz para comparar o desempenho relativo entre sistemas.
• Normalização: Implementaram procedimentos de normalização para lidar com diferenças na formatação de números, pontuação e maiúsculas/minúsculas, garantindo comparações justas.

B. Geração de Dados Sintéticos

• Para superar a escassez de dados reais, os autores criaram um conjunto de dados sintético massivo de aproximadamente 10.000 horas de fala Taigi.
• Este dataset foi gerado através de um pipeline de síntese de fala em larga escala, capturando diversidade de falantes, ambientes acústicos e variações linguísticas naturais (incluindo code-switching com Mandarim).

C. Modelos Propostos

1. Reconhecimento de Fala (ASR):
   • Baseado no modelo Whisper (multilíngue).
   • Fine-tuning realizado no dataset sintético de 10.000 horas.
   • Modelo chamado: BreezeASR-Taigi.
2. Síntese de Fala (TTS):
   • Baseado no framework CosyVoice 2 (utilizando um modelo de linguagem grande e fluxo de correspondência causal).
   • Fine-tuning realizado apenas no componente LLM, mantendo outros módulos congelados.
   • Modelo chamado: BreezyVoice-Taigi.

D. Avaliação de TTS (Dupla Abordagem)

• Automática: Uso do modelo ASR proposto para transcrever a fala sintetizada e calcular o CER em relação ao texto de entrada.
• Humana: Avaliação por humanos em três dimensões:
  1. CER (precisão de transcrição).
  2. Percentual de Pronúncia Taigi: Mede a autenticidade fonética (incluindo tone sandhi), distinguindo entre fala natural e purismo fonológico.
  3. MOS (Mean Opinion Score): Escala de 1 a 5 para naturalidade.

---

3. Resultados Principais

Reconhecimento de Fala (ASR)

• O BreezeASR-Taigi alcançou a melhor performance com uma CER média de 30,13%.
• Superou sistemas comerciais existentes (ex: Yating, 32,11%) e modelos otimizados para Mandarim de Taiwan (ex: ASR25, 49,99%).
• O modelo demonstrou consistência, com CER variando de 14,49% a 52,78% nas amostras de teste.

Síntese de Fala (TTS)

• Desempenho Automático: O BreezyVoice-Taigi obteve a menor CER (19,09%), superando significativamente o Taigi AI Labs (38,19%) e o Aten AI Voice (23,14%).
• Desempenho Humano e Trade-offs:
  • O BreezyVoice-Taigi obteve um MOS perfeito (5,0) e o menor CER anotado por humanos (3,6%), indicando fala extremamente natural e inteligível.
  • No entanto, sua precisão de pronúncia Taigi foi de apenas 59,2%.
  • Análise: O modelo aprendeu a alternar para a pronúncia em Mandarim em substantivos próprios e termos técnicos (comportamento natural em uma sociedade bilíngue), o que aumenta a naturalidade percebida, mas reduz a pontuação em métricas de "pureza" fonética Taigi.
  • Em contraste, o Aten AI Voice teve maior precisão fonética Taigi (89,8%), mas com naturalidade inferior (MOS 3,8).

---

4. Contribuições Chave

1. Padronização de Benchmarks: Estabelecimento de protocolos reprodutíveis para avaliação de ASR e TTS em Taigi, preenchendo uma lacuna crítica na pesquisa de línguas de recursos limitados.
2. Metodologia de Recursos Paralelos: Demonstração prática de como usar recursos de Mandarim-Taigi paralelos para criar ground truth confiável sem anotação manual massiva.
3. Dataset Sintético em Larga Escala: Criação e disponibilização de um corpus de 10.000 horas de fala Taigi sintética, diversificada e acusticamente rica.
4. Modelos de Referência (Baselines): Desenvolvimento e publicação de modelos de estado da arte (BreezeASR-Taigi e BreezyVoice-Taigi) que superam soluções comerciais atuais.
5. Framework de Avaliação Multidimensional: Introdução de uma avaliação de TTS que combina métricas automáticas com avaliação humana para capturar a tensão entre "naturalidade conversacional" (incluindo code-switching) e "pureza fonológica prescritiva".

---

5. Significado e Impacto

O trabalho do Breeze Taigi é fundamental para a digitalização e preservação do Hokkien de Taiwan. Ele oferece um caminho replicável para desenvolver tecnologias de fala para outras línguas minoritárias ou de recursos limitados.

• Para a Pesquisa: Fornece uma base sólida para comparação futura de modelos, eliminando a ambiguidade na avaliação.
• Para a Aplicação Prática: Os resultados destacam que, para aplicações de IA conversacional e acessibilidade, a naturalidade e a inteligibilidade (muitas vezes alcançadas através de code-switching natural) podem ser mais importantes do que a estrita pureza fonológica prescritiva.
• Inovação Metodológica: A abordagem de gerar dados sintéticos em larga escala para fine-tuning de modelos grandes (como Whisper e CosyVoice) prova ser uma estratégia eficaz para superar a barreira da escassez de dados reais.

Em resumo, o Breeze Taigi não apenas lança os melhores modelos atuais para Taigi, mas também redefine como a comunidade científica deve avaliar e desenvolver tecnologias de fala para línguas complexas e dialetais.