Efficient ASR Training with Conversations that Never Happened

Resumo Técnico: Treinamento Eficiente de ASR com Conversas que Nunca Existiram

Problema
O Reconhecimento Automático de Fala (ASR) conversacional para línguas de baixos recursos e domínios de nicho enfrenta um gargalo crítico: a escassez de dados de treinamento multilocutor e compatíveis com o domínio. Embora o modelamento acústico profundo e o pré-treinamento auto-supervisionado tenham avançado significativamente o ASR, esses ganhos são fortemente dependentes de dados. Os corpora existentes frequentemente falham em capturar todo o espectro de diversidade de locutores, fenômenos de discurso e variação de tópicos encontrados em interações do mundo real. Métodos tradicionais de aumento de dados, como perturbação de velocidade ou mascaramento, melhoram a robustez, mas não podem introduzir novo conteúdo lexical, papéis de locutor ou estruturas conversacionais complexas. Além disso, embora o Texto-para-Fala (TTS) neural permita a geração escalável de fala, os pipelines padrão carecem de controle sobre atributos de locutor e dinâmica de interação de múltiplas partes, falhando em simular a estrutura temporal de diálogos naturais (ex: turnos de fala, sobreposições e interrupções).

Metodologia
Os autores propõem um pipeline unificado de três estágios para gerar áudio conversacional multilocutor sintético para aumento de ASR. Esta abordagem integra Modelos de Linguagem de Grande Escala (LLMs), TTS e simulação de conversação:

1. Geração de Cenário e Diálogo Baseada em LLM: O pipeline solicita que um LLM gere um cenário consistindo em um tópico ($t_k$) e metadados de participantes ($M_k$), incluindo idade, gênero, ocupação e papel conversacional. Condicionado a esses metadados, o LLM gera um diálogo estruturado por nível de turno, onde cada enunciado é atribuído a um índice de locutor específico.
2. Síntese de TTS Condicionada por Metadados: Cada enunciado gerado é sintetizado usando um modelo de TTS neural (xTTS-v2). Crucialmente, o sistema mapeia os metadados do locutor gerados (idade e gênero) para o perfil de voz de referência mais adequado de um banco pré-existente de segmentos de fala real. O algoritmo de seleção escolhe a referência que corresponde ao gênero e ao mais próximo da idade, garantindo consistência e diversidade de locutor.
3. Simulação de Conversa Consciente do Locutor: Os enunciados sintetizados são montados em uma única forma de onda conversacional. Diferente de uma simples concatenação, esta etapa utiliza um método de simulação consciente do locutor para modelar dinâmicas temporais. Aplica-se deslocamentos (offsets) entre turnos amostrados para simular pausas e sobreposições baseadas em se o locutor muda ou permanece o mesmo, reproduzindo assim a organização interacional da fala espontânea sem a necessidade de um modelo de TTS conversacional dedicado.

Principais Contribuições

• Framework Unificado: Um pipeline que combina geração de cenário por LLM, TTS condicionado por metadados e simulação consciente do locutor para criar dados conversacionais sintéticos para ASR.
• Seleção de Voz Condicionada por Metadados: Um procedimento que mapeia explicitamente atributos de locutor gerados (idade/gênero) para perfis de referência de TTS, preenchendo a lacuna entre a geração de texto e o realismo acústico.
• Avaliação Comparativa: Uma avaliação rigorosa de cinco famílias contemporâneas de LLM (GPT, Claude Haiku, Gemini, Grok e Qwen) sob um protocolo de aumento compartilhado, avaliando o desempenho de gerador único, misturas de orçamento fixo e configurações de escala.
• Validação Empírica: Evidência demonstrando que conversas sintéticas impulsionadas por LLM e conscientes do locutor melhoram o desempenho do ASR conversacional em húngaro comparado a baselines não aumentados e métodos de aumento anteriores.

Resultos
Os experimentos foram conduzidos no benchmark de diálogo BEA-Hungarian utilizando uma receita de treinamento FastConformer-Large.

• Desempenho de Gerador Único: Conversas sintéticas melhoraram consistentemente o desempenho em relação ao treinamento apenas com dados reais. O GPT-5.4 mini emergiu como o gerador único mais forte, alcançando uma taxa de erro de caractere (cpCER) de 8,20 e uma taxa de erro de palavra (cpWER) de 17,75 em uma escala de 500 conversas.
• Mistura de Geradores: Sob um orçamento fixo de 500 conversas, a mistura de geradores produziu retornos apenas marginais ou negativos se geradores mais fracos diluíram a contribuição dos mais fortes. A melhor mistura de orçamento fixo (GPT + Haiku) superou ligeiramente o melhor gerador único (17,56 cpWER vs. 17,75 cpWER).
• Escalonamento (Scale-Up): A remoção da restrição de orçamento fixo revelou que escalar a quantidade de dados sintéticos de geradores de alto desempenho gerou novos ganhos. A melhor configuração combinou GPT, Haiku, Qwen e Grok, atingindo 16,65 cpWER.
• Aumento Combinado: O sistema mais eficaz combinou o melhor escalonamento gerado por LLM (4 geradores) com conversas simuladas derivadas de enunciados reais (BEA-Large). Esta abordagem híbrida alcançou um cpWER de 15,40 e um cpCER de 7,57.
• Comparação com Baselines de Larga Escala: O sistema combinado, treinado em apenas 67 horas de conversa real mais 636 horas de dados simulados, superou um modelo zero-shot treinado em 2.700 horas de fala húngara (que alcançou 16,27 cpWER).

Significância e Alegações
O artigo afirma que dados conversacionais gerados por LLM, quando sintetizados com TTS e estruturados via simulação consciente do locutor, servem como um complemento prático e eficiente para corpora conversacionais reais. Os achados sugerem que, para línguas de baixos recursos, gerar diálogos baseados em cenários com atributos de locutor controlados pode fornecer um contexto de treinamento mais relevante do que o pré-treinamento acústico genérico de larga escala. Os autores enfatizam que a escolha do gerador e a composição dos dados são críticas; simplesmente aumentar o volume de dados ou misturar geradores arbitrários não garante melhoria. Em vez disso, a estratégia mais eficaz envolve escalar geradores de alto desempenho e combiná-los com simulações derivadas de enunciados reais para capturar tanto a diversidade linguística quanto as propriedades acústicas naturais. Esta abordagem oferece um caminho eficiente em termos de recursos para treinar sistemas de ASR conversacional robustos onde dados rotulados compatíveis com o domínio são escassos.