LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

Resumo Técnico: LuxEmo – Corpus de Text-to-Speech Expressivo para o Luxemburguês

Problema
Os conjuntos de dados de fala de última geração e os sistemas de Text-to-Speech (TTS) expressivos focam predominantemente em línguas de altos recursos (ex: inglês) e gravações de estúdio controladas. Línguas de baixos recursos, como o luxemburguês, permanecem sub-representadas. O luxemburguês apresenta desafios específicos: está inserido em uma ecologia multilíngue com frequente alternância de código (code-switching: alemão, francês, inglês), e os recursos existentes carecem de dados espontâneos e conversacionais com prosódia emocional. As abordagens atuais de TTS multilíngue frequentemente dependem de línguas substitutas de altos recursos ou estratégias de transferência de aprendizado que falham em capturar as nuances linguísticas e prosódicas específicas do luxemburguês, particularmente em condições de mídia realistas envolvendo ruído, fala sobreposta e registros informais.

Metodologia
O artigo introduz o LuxEmo, um corpus de fala emocional espontânea de 21 horas derivado de transmissões de rádio da juventude da Radio Télévision Luxembourg (RTL). O trabalho foca na construção de recursos e protocolos, em vez de um novo design arquitetônico.

1. Construção e Curadoria do Corpus:

   • Fonte: Programas de juventude da RTL apresentando discussões em estúdio, entrevistas e reportagens de campo.
   • Pré-processamento: O áudio foi extraído, reamostrado para banda larga e processado usando Detecção de Atividade de Voz (VAD) para remover segmentos sem fala. O DeepFilterNet foi aplicado para redução de ruído (atenuando música de fundo e ruído ambiente).
   • Segmentação: Os segmentos foram limitados a 1–10 segundos (duração média de 9,87s). As transcrições foram obtidas via LuxASR (um modelo Whisper large-v3 ajustado para o luxemburguês) e alinhadas com os segmentos de VAD.
   • Identificação de Orador: A saída de diarização foi mapeada para quatro oradores recorrentes (1 masculino, 3 femininos).
   • Anotação:
     • Identificação de Idioma (LID): Um modelo baseado em Wav2Vec2 (mms-lid-4017) classificou as ocorrências. 83,8% eram luxemburguês, 6,5% inglês e 2,2% alemão. Um falante nativo revisou manualmente cerca de 15% dos segmentos para validar as atribuições.
     • Detecção de Emoção: Um classificador baseado em HuBERT e modelos lexicais sinalizaram quatro categorias: neutro, feliz, triste e bravo. Os rótulos são tratados como "fracamente supervisionados" com pontuações de confiança; itens de alta confiança formam o subconjunto supervisionado, enquanto segmentos de menor confiança apoiam o aprendizado de representação.
   • Divisões de Dados (Splits): Foi empregada uma estratégia de divisão consciente de orador (speaker-aware) e de episódio (episode-aware) para evitar vazamento de dados de contextos conversacionais compartilhados. As divisões mantêm a distribuição global de emoções e garantem a cobertura de todas as quatro classes de emoção no conjunto de teste.

2. Benchmarking de TTS:
   Cinco sistemas de TTS expressivos foram avaliados para cobrir diferentes estratégias de implantação:

   • GradTTS: Modelo baseado em difusão usando o alemão como língua substituta (proxy).
   • XTTS: Modelo de referência translinguística usando o alemão como língua substituta.
   • Toucan: Modelo baseado em codificador de referência com um inventário fonético multilíngue que cobre o luxemburguês.
   • Qwen3 FT: Um TTS baseado em modelo de linguagem controlado por prompt adaptado (fine-tuned) ao LuxEmo.
   • kNN TTS: Um baseline não paramétrico que transfere a prosódia via recuperação de vizinho mais próximo (k-nearest neighbor) a partir do LuxEmo.

3. Protocolo de Avaliação:

   • Métricas Objetivas: Incluíram predição de qualidade não intrusiva (WV-MOS, NISQA-TTS, NISQA v2.0, DNSMOS), inteligibilidade (WER/CER via Whisper e LuxASR), similaridade de orador (embeddings ECAPA-TDNN) e prosódia (RMSE de F0, correlação de Pearson).
   • Avaliação Subjetiva: Um teste de escuta com 20 ouvintes nativos de luxemburguês avaliou naturalidade, adequação emocional e intensidade em escalas de 5 pontos.

Principais Contribuições

• Dataset LuxEmo: O primeiro corpus de fala emocional espontânea de grande escala (21 horas, 7.562 segmentos) para o luxemburguês, anotado para idioma, orador e quatro categorias de emoção em um ambiente de alternância de código.
• Fluxo de Curadoria: Um pipeline semi-automático documentado combinando VAD, redução de ruído, segmentação baseada em LuxASR, pistas emocionais acústicas/lexicais e revisão humana direcionada, adequado para arquivos de radiodifusão com restrições práticas de reutilização.
• Benchmarking: Uma avaliação abrangente de cinco estratégias de TTS (translinguagem zero-shot, multilíngue e adaptada) sob condições heterogêneas realistas.
• Divisões Padronizadas: Divisões de treino/dev/teste conscientes de orador e episódio projetadas para minimizar o vazamento, preservando a cobertura de emoções.

Resultados

• Trocas entre Qualidade vs. Inteligibilidade: Nenhum modelo único dominou em todas as métricas.
  • GradTTS (proxy alemão) alcançou a maior suavidade de forma de onda (WV-MOS), mas o maior WER em luxemburguês, indicando que formas de onda suaves não garantem precisão segmentar na língua alvo.
  • Toucan (consciente do luxemburguês) alcançou o menor WER do LuxASR e alta qualidade geral, demonstrando o valor da cobertura fonética específica da língua.
  • XTTS (proxy alemão) mostrou alta similaridade de orador, mas inteligibilidade intermediária.
• Efeitos de Adaptação:
  • Qwen3 FT (ajustado/fine-tuned) recebeu as classificações subjetivas mais altas para naturalidade e adequação emocional de ouvintes nativos, apesar de possuir pontuações de qualidade objetiva (NISQA/DNSMOS) menores e um WER baseado em ASR superior aos sistemas zero-shot. Isso sugere que a expressividade percebida nem sempre se alinha com a precisão da transcrição derivada de ASR.
  • kNN TTS recuperou com sucesso a prosódia (comparável em F0 RMSE ao GradTTS), mas foi limitado pela baixa qualidade da forma de onda acústica.
• Desempenho de Emoção: As emoções "Bravo" e "Triste" foram consistentemente mais difíceis de sintetizar, correlacionando-se com o desequilíbrio do corpus (a raiva representa apenas 0,5% dos segmentos).
• Divergência de Métricas: As métricas objetivas (WV-MOS, NISQA, DNSMOS) enfatizaram diferentes aspectos da qualidade (ex: suavidade da forma de onda vs. supressão de ruído), reforçando a necessidade de uma avaliação multimétrica.

Significância e Alegações
O artigo posiciona o LuxEmo como um banco de testes para TTS expressivo em ambientes de baixo recurso e alternância de código, em vez de uma solução definitiva para o desempenho universal de TTS.

• Restrições Realistas: O trabalho destaca que gravações limpas, rótulos equilibrados e ampla cobertura de oradores não estão disponíveis em configurações realistas de baixos recursos; o LuxEmo aborda isso documentando estratégias de curadoria para dados de transmissão ruidosos e espontâneos.
• Limitações de Substitutos: Os resultados indicam que modelos com proxy alemão, embora melhorem a qualidade percebida, falham em capturar totalmente a fonotática e as pistas expressivas específicas do luxemburguês.
• Escopo Modesto: Os autores afirmam explicitamente que o benchmark caracteriza o comportamento realista de sistemas sob condições heterogêneas e não deve ser interpretado como evidência de um modelo de TTS universalmente melhor. A composição de quatro oradores é resultado da disponibilidade de material de origem, não de amostragem demográfica, o que significa que o corpus não é demograficamente representativo de todos os falantes de luxemburguês.
• Direção Futura: O artigo conclui que trabalhos futuros devem ampliar a cobertura de oradores e domínios, refinar os rótulos de emoção através de análise de inter-anotador e adaptar o pipeline para outros ambientes de baixos recursos e alternância de código.