BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language

Este artigo apresenta o BaltiVoice, o primeiro corpus de fala e modelo ASR Whisper ajustado finamente disponíveis publicamente para a língua Balti, o qual reduz significativamente as taxas de erro de palavra de uma linha de base zero-shot de 182,18% para 30,07% em um conjunto de dados de 16,8 horas derivado do Mozilla Common Voice.

O essencial

Imagine que você tenha uma biblioteca de livros, mas para um idioma específico — o Balti, falado por cerca após 400.000 pessoas no Paquistão e na Índia — não existem livros de forma alguma. Não apenas a ausência de livros, mas também a ausência de assistentes de voz, softwares de ditado ou qualquer maneira de os computadores compreenderem a palavra falada. É como tentar navegar em uma cidade sem placas de sinalização ou mapas.

Este artigo apresenta o BaltiVoice, um projeto projetado para construir esse primeiro mapa.

O Problema: Uma Língua no Escuro

O Balti é um idioma único, com seus próprios sons e gramática, escrito em um belo script chamado Nastaliq (que se parece com o Urdu). Apesar de possuir uma grande comunidade de falantes, ele tem sido completamente invisível para o mundo da Inteligência Artificial. Se você tentasse pedir a um computador inteligente para "ouvir" o Balti antes deste projeto, seria como pedir a um cachorro para ler um livro; o computador apenas adivinharia aleatoriamente, errando quase tudo.

A Solução: Construindo uma Academia de Treinamento

Para ensinar um computador a falar um idioma, você precisa mostrar a ele milhares de exemplos de pessoas falando-o. O autor, Muhammad Ali, recorreu a um enorme projeto de comunidade online chamado Mozilla Common Voice. Pense nisso como uma cabine de gravação global onde voluntários leem frases em voz alta.

• A Coleção: Ali reuniu 16,8 horas de fala gravada.
• O Volume: Isso equivale a 10.060 frases ditas por 136 pessoas diferentes.
• A Validação: Assim como um professor corrigindo o dever de casa, outros voluntários verificaram essas gravações para garantir que estivessem corretas.

Esta coleção é agora chamada de corpus BaltiVoice. É o primeiro "livro didático" público para ensinar computadores sobre a língua Balti.

O Professor: Whisper e o Truque do "Urdu"

O autor não construiu um cérebro de computador do zero. Em vez disso, ele usou um modelo de IA pré-existente e muito inteligente chamado Whisper (especificamente a versão "small").

Imagine o Whisper como um estudante poliglota que já estudou 99 idiomas (como inglês, espanhol e mandarim) por milhares de horas. No entanto, este estudante nunca ouviu o Balti antes. Se você pedisse a este estudante para ouvir o Balti agora, ele alucinaria nonsense, errando cerca de 182% das palavras (o que significa que ele está inventando palavras que nem sequer foram ditas).

Para corrigir isso, o autor usou um truque inteligente:

• A Analogia: Como o Balti é escrito no script Nastaliq (que é muito semelhante ao Urdu), o autor disse à IA: "Ei, finja que isso é Urdu por um momento".
• O Treinamento: A IA foi então "ajustada" (fine-tuned). Isso é como pegar esse estudante poliglota e dar a ele um curso intensivo usando as 16,8 horas de gravações em Balti. O estudante teve que ouvir, ler o texto e aprender os sons específicos do Balti.

Os Resultados: Do Caos à Clareza

Após cerca de 2 horas de treinamento em um computador padrão, os resultados foram dramáticos:

1. Antes do Treinamento: A IA estava adivinhando loucamente (taxa de erro de 182%). Ela estava essencialmente inventando coisas.
2. Após o Treinamento: Os erros da IA caíram para 30%.

O que significa uma taxa de erro de 30%?
Imagine a IA ouvindo uma frase. Se a frase tiver 10 palavras, a IA acertará cerca de 7 e errará cerca de 3.

• É perfeito? Não. Ainda não é bom o suficiente para a ditado de um médico ou uma transcrição jurídica onde cada palavra deve ser exata.
• É útil? Sim. Prova que o idioma pode ser compreendido por máquinas. É a diferença entre um cego tropeçando no escuro e uma pessoa que agora consegue ver uma luz tênue no horizonte.

Por Que Isso Importa

O artigo enfatiza que isso não é apenas sobre obter uma pontuação alta; trata-se de iniciar a conversa.

• A Linha de Base: Antes disso, não havia como medir o progresso. Agora, os pesquisadores têm uma "linha de partida" para correr.
• O Futuro: O autor espera que esta "academia" de código aberto (os dados e o modelo treinado) permita que outros cientistas entrem, realizem mais treinamentos e, eventualmente, diminuam essa taxa de erro.

A Conclusão

Este artigo é um passo fundamental. Ele pegou uma língua que era invisível para a IA, construiu uma pequena biblioteca de exemplos falados e ensinou um computador inteligente a ouvi-la. Embora o computador ainda cometa erros (cerca de uma palavra em cada três), ele passou da "confusão total" para a "compreensão do básico", abrindo as portas para futuras ferramentas que possam ajudar os falantes de Balti a interagir com a tecnologia em seu próprio idioma.

Resumo técnico

Resumo Técnico: BaltiVoice

Problema
A língua Balti (ISO 639-3: bft), falada por aproximadamente 400.000 pessoas em Gilgit-Baltistan, Paquistão, e partes de Ladakh, Índia, tem sido historicamente ausente nas pesquisas de Processamento de Linguagem Natural (PLN) e Reconhecimento Automático de Fala (ASR). Apesar de ser uma língua tibetana com uma fonologia e gramática distintas, e escrita em um script baseado em Nastaliq adaptado do urdu, não havia recursos de ASR publicamente disponíveis, corpora de fala anotados ou sistemas de linha de base para o idioma. Consequentemente, os falantes carecem de acesso a interfaces de voz, softwares de ditado e ferramentas de acessibilidade em sua língua nativa, e os pesquisadores não possuem uma métrica para medir o progresso no ASR de Balti.

Metodologia
Para enfrentar essa lacuna, os autores desenvolveram o BaltiVoice, um pipeline para coleta de dados, pré-processamento e ajuste fino (fine-tuning) de modelos:

• Construção do Dataset: O corpus foi derivado de um subconjunto de Mozilla Common Voice para Balti. Os autores utilizaram 10.060 enunciados validados (de um total de 10.547 clipes gravados), totalizando 16,8 horas de fala. Os dados consistem em gravações de fala lida em script Nastaliq nativo.

  • Pré-processamento: Os arquivos de áudio foram convertidos de MP3 para o formato WAV mono de 16 kHz. Enunciados com menos de duas palavras foram filtrados.
  • Divisão (Splitting): Uma divisão estrita por locutor (speaker-disjoint split) foi aplicada usando GroupShuffleSplit (semente 42) para garantir que não houvesse sobreposição entre os locutores nos conjuntos de treinamento e validação. Isso resultou em 9.519 enunciados de treinamento (122 locutores) e 538 enunciados de validação (14 locutores).
  • Normalização: Nenhuma normalização de texto foi aplicada; a pontuação foi preservada conforme fornecida. Os autores observaram uma limitação quanto à ambiguidade Unicode no script Nastaliq (ex: diferentes codepoints para caracteres visualmente idênticos), mas adiaram a normalização sistemática para trabalhos futuros.

• Arquitetura do Modelo e Treinamento:

  • Modelo Base: O Whisper-small (244M de parâmetros) da OpenAI foi selecionado como o modelo base. Ele foi escolhido em detrimento de variantes maiores (ex: Whisper-medium) devido às restrições de memória na GPU NVIDIA T4 utilizada no treinamento.
  • Tokenização: O tokenizador foi inicializado com language="urdu" e task="transcribe". Essa escolha foi motivada pela similaridade de script entre Balti e urdu (ambos usam Nastaliq), permitindo que o modelo lide com os caracteres Unicode de Balti corretamente, sem perda de caracteres durante a tokenização de ida e volta (round-trip).
  • Ajuste Fino (Fine-tuning): O modelo foi ajustado usando o Seq2SeqTrainer do HuggingFace Transformers com o otimizador AdamW, uma taxa de aprendizado de $1 \times 10^{-5}$ e precisão fp16. O treinamento rodou por 1.000 passos em 16,8 horas de dados, com checkpoints salvos a cada 250 passos.

Principais Contribuições
O artigo apresenta três artefatos primários, todos liberados publicamente no HuggingFace e GitHub:

1. Corpus BaltiVoice: Um corpus de fala lida de 16,8 horas e 10.060 enunciados com transcrições em Nastaliq nativo, liberado sob CC0.
2. Whisper-small-balti: Um modelo de ASR ajustado especificamente para a língua Balti.
3. Pipeline Reproduzível: Código de treinamento completo, um notebook Colab e uma demo ao vivo no Gradio para transcrição.

Resultos
O modelo ajustado demonstrou uma melhoria significativa em relação à linha de base zero-shot:

• Linha de Base Zero-Shot: Quando aplicado ao Balti sem ajuste fino, o Whisper-small produziu uma Taxa de Erro de Palavras (WER) de 182,18%. Os autores observam que uma WER acima de 100% indica que o modelo está alucinando palavras não presentes na referência, confirmando que o Balti está inteiramente fora da distribuição de pré-treinamento do modelo.
• Desempenho com Ajuste Fino: Após 1.000 passos de treinamento, o modelo alcançou uma WER de 30,07% no conjunto de validação retido.
• Análise de Erros: A análise qualitativa sugere que a maioria dos erros são substituições de caracteres únicos no final das palavras, consistente com o modelo aprendendo padrões lexicais, mas lutando com as complexidades morfológicas da língua aglutinante. Erros de deleção ou inserção de palavras inteiras foram menos frequentes.

Significância e Alegações
Os autores enquadram a significância deste trabalho como o estabelecimento de um ponto de partida mensurável para uma língua que anteriormente não possuía nenhum.

• Estabelecimento de Linha de Base: O objetivo principal é fornecer uma linha de base reproduzível para acelerar pesquisas futuras em PLN para Balti.
• Viabilidade de Transferência de Baixo Recurso: A redução da WER de 182% para 30% usando apenas 16,8 horas de dados sugere que a transferência translinguística de línguas relacionadas (especificamente urdu e tibetano, que compartilham script e características fonológicas) é eficaz mesmo para línguas ausentes da distribuição de pré-treinamento.
• Expectativas Modestas: Os autores afirmam explicitamente que uma WER de 30% é "alta demais para ditado" ou ferramentas de acessibilidade geral, pois exige a correção de aproximadamente uma em cada três palavras. No entanto, argumentam que o resultado pode ser utilizável para tarefas mais estreitas, como detecção de palavras-chave ou detecção de tópicos, onde a transcrição exata é menos crítica.
• Direções Futuras: O artigo identifica caminhos claros para melhoria, incluindo a normalização de texto para a morfologia de Balti, a expansão do corpus com fala espontânea (conversacional) e a experimentação com variantes de modelos maiores (ex: Whisper-medium) sob orçamentos de computação maiores.

O artigo conclui enfatizando a liberação de todos os artefatos para reduzir as barreiras para pesquisas futuras, enquanto reconhece limitações como o uso de dados de fala lida em vez de conversação espontânea.