Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus

Resumo Técnico: Escalando o ASR de Diálogo em Húngaro com o Corpus BEA-Dialogue+

Definição do Problema
O Reconhecimento Automático de Fala (ASR) conversacional para o húngaro é atualmente limitado pela escassez de dados de treinamento de estilo dialógico disponíveis publicamente. Embora o corpus existente BEA-Dialogue aborde a necessidade de dados conversacionais, seu critério de design rigoroso — que exige a total descontinuidade de locutores (speaker disjointness) entre as divisões de treinamento, validação e avaliação — limitou severamente o tamanho utilizável do conjunto de dados para apenas 85 horas. Essa redução é particularmente desvantajosa para os sistemas modernos de ASR baseados em redes neurais, que dependem fortemente tanto do volume quanto da diversidade dos dados de treinamento para alcançar alto desempenho. Os autores postulam que existe um compromisso (trade-off) entre manter a separação estrita de dados para evitar vazamento (leakage) e expandir o conjunto de dados para melhorar o treinamento do modelo, um equilíbrio que não havia sido sistematicamente explorado para o ASR de diálogo em húngaro.

Metodologia
Para enfrentar essa limitação, os autores introduziram o BEA-Dialogue+, uma versão expandida do corpus derivado das gravações originais do banco de dados BEA. A mudança metodológica central envolve o relaxamento da restrição de descontinuidade de locutores:

• Critérios de Divisão: Enquanto o BEA-Dialogue original garantia que nenhum locutor aparecesse em múltiplas divisões, o BEA-Dialogue+ mantém a separação estrita apenas para os locutores primários (os informantes principais). Ele permite que experimentadores e parceiros de diálogo apareçam em diferentes divisões (treinamento, desenvolvimento, avaliação), desde que o locutor primário de uma gravação não se sobreponha.
• Processamento de Dados: O corpus consiste em conversas naturais segmentadas em unidades de aproximadamente 30 segundos. Os autores utilizaram o Treinamento de Saída Serializada (SOT) para o treinamento do modelo, onde as mudanças de locutor são explicitamente marcadas com um token <sc>. Isso permite que o modelo reconheça as fronteiras de locução enquanto preserva a integridade linguística das ocorrências, mesmo durante sobreposições.
• Configuração Experimental: O estudo testou diversos modelos, incluindo as arquiteturas Whisper (medium, large-v2, large-v3) e FastConformer. Os modelos foram avaliados em duas configurações: zero-shot (apenas pré-treinados) e fine-tuned (ajuste fino - ft) nos dados em húngaro. As métricas de avaliação incluíram Taxa de Erro de Palavra (WER), Taxa de Erro de Caractere (CER) e suas variantes específicas de diálogo (cpWER e cpCER), que minimizam os erros sobre permutações de unidades delimitadas por locutor. A precisão de mudança de locutor (scAcc) também foi medida para os modelos com ajuste fino.

Principais Contribuições

1. Corpus BEA-Dialogue+: O lançamento de um corpus de fala conversacional em húngaro de 200 horas (um aumento de ~2,5x sobre as 85 horas originais). Este conjunto de dados preserva a separação dos locutores primários, aumentando significativamente o volume de material de treinamento utilizável.
2. Análise Quantitativa do Relaxamento de Divisão: Uma comparação detalhada entre o BEA-Dialogue e o BEA-Dialogue+, demonstrando que o relaxamento das restrições de divisão aumenta a complexidade da tarefa. O novo corpus contém menos segmentos com zero ou uma mudança de locutor e uma frequência maior de fala sobreposta, tornando-o um benchmark mais desafiador.
3. Benchmarking Unificado: Uma avaliação abrangente dos modelos Whisper e FastConformer em ambas as versões do corpus sob um protocolo unificado, analisando especificamente o impacto do ajuste fino baseado em SOT para transcrição de diálogos.
4. Investigação de Compromisso (Trade-off): Uma análise do compromisso entre o aumento do volume de dados e o risco de sobreposição de locutores (vazamento de dados), fornecendo evidência empírica sobre como esses fatores influenciam o desempenho do modelo.

Resultos

• Desempenho Zero-Shot: Modelos sem ajuste fino tiveram um desempenho significativamente inferior no BEA-Dialogue+ em comparação ao BEA-Dialogue original, mostrando uma degradação relativa de pelo menos 10% nas taxas de erro. Os autores atribuem isso à maior complexidade do novo corpus, especificamente à maior frequência de mudanças de locutor e fala sobreposta, o que desafia modelos que carecem de informações explícitas de fronteira.
• Desempenho com Ajuste Fino (Fine-Tuned): O ajuste fino gerou melhorias consistentes em todas as métricas (WER, CER, cpWER, cpCER). Notavelmente, os modelos FastConformer pré-treinados em húngaro e depois ajustados alcançaram os melhores resultados, superando inclusive os modelos Whisper.
• Impacto da Sobreposição: Embora o corpus expandido tenha introduzido a sobreposição de locutores (potencial vazamento de dados), os resultados sugerem que os ganhos de desempenho nos modelos com ajuste fino não se devem apenas a esse vazamento. Os modelos mostraram uma melhoria particular em segmentos complexos com múltiplas mudanças de locutor, indicando que o aumento do volume de dados permitiu uma melhor adaptação às estruturas de diálogo.
• Correlação de Métricas: O estudo observou que o cpWER e o cpCER foram consistentemente menores que o WER/CER padrão, com a lacuna aumentando para os modelos com ajuste fino. Além disso, a scAcc (precisão de mudança de locutor) correlacionou-se com a dificuldade da tarefa; conforme o número de mudanças de locutor aumentava, a scAcc diminuía, refletindo a dificuldade inerente da tarefa e não apenas a falha do modelo.

Significância
O artigo afirma que o BEA-Dialogue+ fornece um benchmark substancialmente maior, porém ainda exigente, para o ASR de diálogo em húngaro. Ele serve como um recurso prático para treinar e avaliar sistemas de transcrição de diálogo, demonstrando que o relaxamento das restrições estritas de descontinuidade de locutores pode gerar benefícios significativos de volume de dados sem tornar o benchmark trivial. Os autores concluem que, embora o corpus expandido apresente uma tarefa mais difícil para modelos pré-treinados, ele permite um treinamento mais eficaz para sistemas com ajuste fino, destacando o valor do treinamento contínuo específico para diálogos. O corpus destina-se a apoiar pesquisas futuras em IA Conversacional e ASR em húngaro, com a ressalva de que a extensão precisa dos efeitos de vazamento de dados requer investigação adicional através de conjuntos de avaliação independentes.