LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models

1. O Problema

Apesar dos avanços significativos em Sistemas de Conversão de Texto em Fala (TTS) baseados em redes neurais, as variedades dialetais do árabe permanecem subatendidas. A maioria dos recursos e modelos concentra-se no Árabe Moderno Padrão (MSA) e nos dialetos do Golfo. O Árabe Egípcio, que é falado nativamente por mais de 100 milhões de pessoas e amplamente compreendido em todo o mundo árabe devido à influência da mídia do Egito, é severamente sub-representado. As soluções existentes são limitadas em escala, cobertura de domínios ou disponibilidade pública, deixando falantes de Árabe Egípcio sem ferramentas de TTS de ponta para aplicações como assistentes de voz e audiolivros.

2. Metodologia: O Pipeline Sintético (NileTTS)

Os autores propõem uma abordagem inovadora para superar a escassez de dados de gravação humana, utilizando um pipeline de geração de dados sintéticos totalmente automatizado, composto pelas seguintes etapas:

• Geração de Conteúdo (LLM): Modelos de Linguagem Grande (LLMs), especificamente variantes do Gemini e Claude, são utilizados para gerar relatórios textuais em Árabe Egípcio autêntico. Os prompts instruem explicitamente o uso do dialeto falado, evitando o MSA. Os tópicos cobrem três domínios: Saúde (médico), Vendas/Serviço ao Cliente e Conversas Gerais.
• Síntese de Áudio (Neural Audio Synthesis): Os textos gerados são convertidos em fala utilizando o recurso de geração de áudio do NotebookLM. Esta ferramenta cria discussões no estilo de podcast com dois apresentadores virtuais (um homem e uma mulher), garantindo pronúncia autêntica do dialeto e consistência de identidade vocal.
• Transcrição e Segmentação: O áudio gerado é transcrito automaticamente usando o modelo Whisper Large da OpenAI. O áudio contínuo é segmentado em unidades de fala (utterances) com base nos timestamps de palavras, descartando segmentos curtos (<1s) ou silenciosos.
• Diarização de Falante: Para identificar quem fala em cada segmento, utiliza-se o modelo ECAPA-TDNN (via SpeechBrain) para extrair embeddings de voz. Um algoritmo de agrupamento (K-Means com k=2) calcula centróides para os dois falantes, e a similaridade cosseno atribui cada segmento ao falante correto.
• Controle de Qualidade: Uma verificação manual é realizada em uma amostra dos dados para garantir a precisão da transcrição (especialmente vocabulário dialetal), a consistência dos rótulos dos falantes e a ausência de artefatos de áudio.

3. O Dataset: NileTTS

Como resultado do pipeline, foi criado o NileTTS, o primeiro dataset público de TTS em Árabe Egípcio em grande escala:

• Volume: 38,1 horas de fala transcrita.
• Total de Utterances: 9.521 segmentos.
• Falantes: 2 falantes (1 masculino, 1 feminino) com tempo de fala equilibrado.
• Domínios: Vendas/Serviço (21h), Conversas Gerais (11,2h) e Médico (5,9h).
• Divisão: 90% para treinamento e 10% para avaliação, garantindo que não haja sobreposição de relatórios entre os conjuntos.

4. Ajuste Fino (Fine-tuning) e Resultados

Os autores realizaram o fine-tuning do modelo XTTS v2 (um modelo multilingue de última geração com capacidade de clonagem de voz zero-shot) utilizando o dataset NileTTS.

• Configuração: O componente GPT do XTTS v2 foi ajustado enquanto o DVAE (tokenizador de áudio) permaneceu congelado. O treinamento foi interrompido após 13 épocas (cerca de 55k passos), com o checkpoint final selecionado na época 8, onde as métricas se estabilizaram.
• Métricas de Avaliação:
  • Taxa de Erro de Palavras (WER): Redução relativa de 29,9% (de 26,8% para 18,8%).
  • Taxa de Erro de Caracteres (CER): Redução relativa de 49,4% (de 8,1% para 4,1%).
  • Similaridade de Falante: Aumento de 5,9% (de 0,713 para 0.755), indicando melhor clonagem de voz.

Os resultados demonstram que o ajuste fino com dados específicos do dialeto melhora drasticamente a inteligibilidade e a fidelidade da voz em comparação ao modelo base treinado principalmente em MSA e dialetos do Golfo.

5. Contribuições e Significado

As principais contribuições do trabalho são:

1. NileTTS Dataset: A liberação pública do primeiro dataset de TTS em grande escala para Árabe Egípcio.
2. Pipeline Reprodutível: Uma metodologia escalável que combina LLMs, síntese neural de áudio e ferramentas automáticas para criar datasets de TTS para dialetos de baixo recurso sem necessidade de gravação humana cara.
3. Modelo de Referência: Um modelo XTTS v2 fine-tuned de código aberto, servindo como baseline para pesquisas futuras.

Significado: Este trabalho preenche uma lacuna crítica de recursos para a síntese de fala em Árabe Egípcio. Ele valida a hipótese de que dados sintéticos de alta qualidade, gerados por IA, podem ser suficientes para treinar modelos de TTS eficazes em dialetos sub-representados, oferecendo um caminho escalável para democratizar tecnologias de voz para variedades linguísticas negligenciadas.

6. Limitações e Trabalhos Futuros

O estudo reconhece limitações, como a presença de apenas dois falantes (limitando a diversidade de vozes) e a natureza sintética dos dados (embora a avaliação sugira que a qualidade seja suficiente). Trabalhos futuros visam expandir o número de falantes, aplicar o pipeline a outros dialetos árabes e realizar avaliações humanas formais (MOS) para complementar as métricas automáticas.