Speech Representation System For The Karakalpak Automatic Speech Recognition

Resumo Técnico: Sistema de Representação de Fala Para o Reconhecimento Automático de Fala do Karakalpak

Definição do Problema
O Reconhecimento Automático de Fala (ASR) avançou significativamente para línguas de altos recursos por meio de arquiteturas neurais de ponta a ponta (E2E). No entanto, o desenvolvimento de sistemas de ASR confiáveis para línguas de baixos recursos continua sendo um desafio crítico devido ao alto custo e à dificuldade de coletar e verificar dados de fala rotulados. O Karakalpak, uma língua túrquica falada principalmente na República do Karakalpakstão (Uzbequistão), enfrenta essas restrições específicas. Suas características linguísticas — especificamente a morfologia aglutinante, a harmonia vocálica e a ordem de frase sujeito-objeto-verbo — resultam em formas de palavras longas e uma rica inflexão, criando inúmeras variantes superficiais a partir de radicais lexicais únicos. Historicamente, o Karakalpak careceu de recursos de tecnologia de fala abertos, tornando difícil estabelecer benchmarks ou treinar modelos robustos. Além disso, o uso de ambos os alfabetos, Latino e Cirílico, exige uma normalização de texto rigorosa para garantir uma avaliação consistente.

Metodologia
Os autores propõem um sistema de ASR para o Karakalpak baseado em representações de fala multilingues auto-supervisionadas, especificamente adaptando a arquitetura wav2vec 2.0 XLS-R. A metodologia segue um pipeline projetado para cenários de baixos recursos:

1. Conjunto de Dados (Karakalpak Speech Corpus - KSC): O núcleo do estudo é o KSC, um conjunto de dados de benchmark disponível publicamente, coletado pelos autores e lançado via Mendeley Data. Ele contém aproximadamente 50 horas de fala predominantemente lida de 25 falantes nativos. O conjunto de dados inclui arquivos WAV (16 kHz, 16-bit PCM) e transcrições verificadas manualmente na ortografia latina padrão do Karakalpak. Crucialmente, o conjunto de dados é dividido em conjuntos de treinamento, validação e teste de maneira independente de falante para evitar vazamento de dados (data leakage).
2. Arquitetura do Modelo: O sistema utiliza o modelo XLS-R, que consiste em um codificador de características (camadas convolucionais temporais), uma rede de contexto (blocos Transformer) e um módulo de quantização usado durante o pré-treinamento. Para a tarefa de Karakalpak, o modelo XLS-R pré-treinado é ajustado (fine-tuned) com uma camada de projeção linear inicializada aleatoriamente sobre a rede de contexto para prever tokens de caracteres. O modelo é otimizado usando a perda de Classificação Temporal Conexionista (CTC).
3. Configurações de Treinamento: Para analisar o impacto da escassez de dados, os autores conduziram experimentos utilizando três configurações de dados rotulados:
   • Configuração de 50 horas: Porção total de treinamento do KSC.
   • Configuração de 10 horas: Um subconjunto equilibrado de falantes.
   • Configuração de 1 hora: Um subconjunto menor e equilibrado por falante, simulando condições de ultra-baixo recurso.
     Hiperparâmetros, incluindo taxas de aprendizado e atualizações máximas, foram ajustados com base no volume de dados.
4. Decodificação e Modelagem de Linguagem: Para abordar os desafios da morfologia aglutinante e da confusão acústica, os autores integraram modelos de linguagem n-gram de nível de palavra (trigrama, 4-grama e 5-grama) treinados usando KenLM. Duas variantes de modelo de linguagem foram testadas:
   • LM1: Treinado exclusivamente em textos de transcrição do KSC.
   • LM2: Treinado em textos do KSC mais recursos de texto adicionais de Karakalpak (notícias, materiais educacionais, etc.).
     A decodificação foi realizada através de uma combinação de pontuações do modelo acústico, restrições de léxico e probabilidades do modelo de linguagem.

Principais Contribuições
O artigo apresenta as seguintes contribuições específicas para o campo do ASR de baixos recursos:

• Desenvolvimento de Sistema: A apresentação de um sistema funcional de ASR para Karakalpak utilizando representações de fala multilingues auto-supervisionadas.
• Utilização de Conjunto de Dados: O treinamento e ajuste do modelo wav2vec 2.0 XLS-R específico para Karakalpak sobre o recém-lançado Karakalpak Speech Corpus (KSC) dos autores, estabelecendo um baseline reprodutível.
• Análise de Escassez de Dados: Uma avaliação sistemática da qualidade do reconhecimento através de quantidades variáveis de dados rotulados (1h, 10h, 50h) para determinar o limiar mínimo de dados viáveis para um desempenho confiável.
• Integração de Modelo de Linguagem: A aplicação de modelos de linguagem n-gram de nível de palavra para melhorar a decodificação em cenários de baixos recursos, demonstrando sua eficácia na redução de erros para línguas aglutinantes.
• Análise de Erros: Uma decomposição detalhada dos erros de reconhecimento em categorias de substituição, inserção e deleção, fornecendo insights sobre os modos específicos de falha do sistema sob diferentes condições de dados e domínios.

Resultados
Os experimentos produziram as seguintes métricas de desempenho em um conjunto de teste não utilizado no treinamento (held-out test set):

• Desempenho de Baseline: O modelo XLS-R treinado com 50 horas do KSC alcançou uma Taxa de Erro de Palavra (WER) de 21,10% e uma Taxa de Erro de Caractere (CER) de 4,32% sem um modelo de linguagem externo.
• Impacto do Volume de Dados: Como esperado, o desempenho melhorou com o aumento dos dados rotulados. A configuração de 1 hora resultou em um WER de 47,15%, enquanto a configuração de 10 horas alcançou 29,42% de WER.
• Impacto dos Modelos de Linguagem: A integração de modelos de linguagem reduziu consistentemente as taxas de erro.
  • Usando o LM1 (apenas texto KSC), o WER do modelo de 50 horas caiu para 18,92% (com um modelo de 5-gramas e top-k=20.000).
  • Usando o LM2 (KSC + texto adicional), o desempenho melhorou ainda mais para um WER de 17,86% e CER de 3,82% para a configuração de 50 horas.
• Avaliação Fora de Domínio (OOD): Quando testado em um conjunto de dados OOD (notícias, educação, mídia pública), o modelo de 50 horas sem um modelo de linguagem apresentou um WER de 38,40%. Com o LM2, este melhorou significativamente para 32,10%, indicando que corpora de texto mais amplos ajudam a generalizar para diferentes estilos de fala e tópicos.
• Distribuição de Erros: Erros de substituição foram o tipo de erro dominante em todas as configurações, atribuídos a sufixos acusticamente semelhantes e à rica morfologia. O modelo de linguagem reduziu efetivamente os erros de substituição e inserção, embora as deleções tenham permanecido sensíveis à qualidade do áudio e à taxa de fala.

Significância e Alegações
Os autores posicionam este trabalho como um passo fundamental para a inclusão digital e preservação linguística do Karakalpak. O artigo afirma que o conjunto de dados KSC fornece uma base necessária, transparente e reprodutível para a pesquisa de ASR em Karakalpak, movendo o campo de coleções de áudio informais para benchmarks padronizados.

O estudo demonstra que as representações multilingues auto-supervisionadas (XLS-R) são eficazes para línguas túrquicas de baixos recursos, mesmo com dados rotulados limitados. Os autores concluem modestamente que, embora o WER de 21,10% sirva como um ponto de referência, melhorias futuras dependem de corpora de texto verificados maiores, modelos de linguagem mais fortes e compatíveis com o domínio, a inclusão de fala espontânea e a normalização cuidadosa das variantes de escrita. O trabalho estabelece um baseline para pesquisas futuras, sugerindo que o conjunto de dados coletado pode apoiar a expansão dos corpora de treinamento através de correção com participação humana (human-in-the-loop) e que o pipeline proposto é viável para tarefas subsequentes, como análise de falantes e identificação de língua.