Nw\=ach\=a Mun\=a: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR

Este trabalho apresenta o corpus de fala Devanagari "Nwāchā Munā" e demonstra que o ajuste fino de um modelo de reconhecimento de fala treinado em nepali (uma língua vizinha) supera a escassez de recursos para a língua Nepal Bhasha, alcançando desempenho comparável a modelos multilíngues massivos com maior eficiência computacional.

O essencial

Imagine que o mundo da Inteligência Artificial é como uma grande biblioteca de vozes. Nela, idiomas como inglês, espanhol ou mandarim têm estantes cheias de livros, áudios e anotações. Mas, para idiomas como o Nepal Bhasha (também chamado de Newari), falado no Vale de Kathmandu, a estante está quase vazia. É como tentar ensinar alguém a cozinhar um prato complexo sem ter nenhum livro de receitas, apenas um pedaço de papel com algumas anotações soltas.

Este artigo, chamado "Nwāchā Munā", é a história de como os pesquisadores preencheram essa estante vazia e descobriram um truque inteligente para ensinar a máquina a falar essa língua.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: A Estação de Rádio Vazia

O Nepal Bhasha é uma língua antiga e rica, mas está em perigo de desaparecer digitalmente. Para criar um sistema que entenda a fala (como o Siri ou o Google Assistant), você precisa de milhares de horas de pessoas falando e de alguém transcrevendo o que foi dito. Como não havia esses dados, a IA simplesmente "não ouvia" essa língua.

A Solução (O Recolhimento):
Os pesquisadores criaram o Nwāchā Munā. Pense nisso como uma "caixa de gravações" feita à mão.

• Eles gravaram 5,39 horas de áudio (o que parece pouco para a IA, mas é um tesouro para essa língua).
• Eles transcreveram tudo manualmente, garantindo que cada palavra estivesse escrita corretamente no alfabeto local (Devanagari).
• É como se eles tivessem gravado conversas de 18 pessoas diferentes, de várias idades, para que a IA pudesse ouvir sotaques e ritmos variados.

2. O Grande Dilema: O "Gênio" vs. O "Vizinho"

Agora que eles tinham os dados, precisavam treinar a IA. Aqui surge a pergunta principal do artigo:

• Opção A (O Gigante): Usar um modelo de IA superpoderoso e gigantesco (como o Whisper da OpenAI), que já aprendeu com milhões de horas de muitas línguas do mundo. É como tentar usar um caminhão de bombeiros gigante para apagar uma pequena fogueira na cozinha. Funciona, mas é pesado e caro.
• Opção B (O Vizinho): Usar um modelo que já sabe falar Nepali (a língua oficial do país, vizinha da Nepal Bhasha). O Nepal Bhasha e o Nepali são como irmãos gêmeos que cresceram em casas vizinhas: eles usam o mesmo alfabeto e têm sons parecidos. A ideia é: "Se o modelo já sabe falar com o irmão, será que ele consegue aprender rápido com o irmãozinho?"

3. O Experimento: O Truque do "Tutor"

Os pesquisadores testaram as duas opções. E a descoberta foi surpreendente:

• O Modelo Gigante (Whisper): Funcionou bem, mas exigiu muitos recursos de computador.
• O Modelo do Vizinho (Nepali): Quando eles pegaram um modelo treinado em Nepali e o "ajustaram" levemente para o Nepal Bhasha, o resultado foi quase idêntico ao do gigante!

A Analogia da Aprendizagem:
Imagine que você quer aprender a tocar uma música difícil no violão.

• O Whisper é como contratar um maestro mundial que já toca tudo. Ele vai tocar perfeitamente, mas custa caro e é difícil de contratar.
• O Nepali é como um amigo que já toca bem violão e conhece a música, mas precisa aprender apenas a variação específica da sua região.
• O artigo descobriu que, para línguas vizinhas, o amigo (Nepali) consegue te ensinar tão bem quanto o maestro, e de forma muito mais rápida e barata.

4. O "Polimento" (Aumento de Dados)

Como os dados eram poucos (apenas 5 horas), eles usaram um truque chamado Aumento de Dados.

• Imagine que você tem apenas 10 fotos de um gato. Para treinar um sistema de reconhecimento, você pega essas 10 fotos, muda o brilho, corta um pouco, inverte a imagem e as espelha. De repente, você tem 50 fotos.
• Eles fizeram isso com o áudio: mudaram a velocidade, o tom da voz e adicionaram ruído de fundo. Isso "engordou" o conjunto de dados, permitindo que a IA aprendesse a reconhecer a língua em qualquer situação, não apenas em gravações perfeitas.

5. O Resultado Final

O resultado foi um sucesso:

• Antes de qualquer treino, a IA errava quase 53% das palavras (como tentar adivinhar um texto em um idioma que você não conhece).
• Depois de usar o "amigo vizinho" (Nepali) e o "polimento" (aumento de dados), a IA errou apenas 17,59%.
• Isso significa que a IA agora consegue entender o Nepal Bhasha com uma precisão que rivaliza com os modelos gigantes do mundo, mas usando muito menos energia e dinheiro.

Por que isso importa?

Este trabalho é como dar um microfone e um caderno para uma comunidade que estava sendo ignorada.

• Preservação: Ajuda a salvar a língua do esquecimento digital.
• Acesso: Permite que pessoas que só falam Nepal Bhasha usem assistentes de voz, digitem no celular por voz e acessem a internet de forma natural.
• Caminho para o Futuro: Mostra que, para línguas vizinhas na Ásia (e talvez em outras partes do mundo), não precisamos de supercomputadores gigantes. Podemos usar o conhecimento das línguas vizinhas para criar tecnologia acessível e eficiente.

Em resumo: Eles construíram a primeira biblioteca de voz para o Nepal Bhasha e provaram que, às vezes, o melhor professor não é o mais famoso do mundo, mas sim o vizinho que fala a mesma língua.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Nwāchā Munā: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR", apresentado em português:

1. Problema e Contexto

O artigo aborda a marginalização digital da Língua Nepal Bhasha (Newari), uma língua falada por mais de 860.000 pessoas no Vale de Katmandu, Nepal, mas classificada pela UNESCO como "definitivamente em perigo".

• Desafio Principal: A escassez extrema de recursos de fala anotados para línguas indígenas, o que impede o desenvolvimento de sistemas de Reconhecimento Automático de Fala (ASR) eficazes.
• Limitação Atual: Embora existam avanços em línguas de alto recurso (como o Nepali) e modelos multilíngues massivos (como o Whisper), estes não funcionam bem em cenários de recursos ultra-baixos sem dados específicos de treinamento. Além disso, trabalhos anteriores sobre Newari utilizaram transliteração romana, enquanto a comunidade prefere e utiliza o script Devanagari.

2. Metodologia

Os autores desenvolveram uma abordagem sistemática para criar dados e treinar modelos, focando na transferência de conhecimento de uma língua vizinha (Nepali).

A. Criação do Corpus "Nwāchā Munā"

• Dados: Um corpus de fala de 5,39 horas manualmente transcrito no script Devanagari.
• Coleta:
  • Texto: Coletado de fontes digitais (Wikipedia Newari, OSCAR) e impressas (jornais, manuscritos, livros didáticos), totalizando 5.727 frases.
  • Áudio: Gravações de campo de 18 falantes nativos (diversidade de idade e gênero) em Banepa, Dhulikhel, Panauti e Patan, além de transcrição de áudio da web.
  • Pré-processamento: Padronização para 16 kHz, mono, e remoção rigorosa de ruídos e tokens não linguísticos.

B. Estratégias de Treinamento e Transferência

O estudo investiga se a transferência proximal (de uma língua geográfica e linguisticamente adjacente, o Nepali) pode superar ou igualar modelos multilíngues massivos.

• Arquiteturas Testadas:
  1. NepConformer: Um modelo Conformer pré-treinado em Nepali.
  2. Whisper-Small: Um modelo multilíngue de grande escala (244M parâmetros).
• Técnicas de Fine-tuning:
  • Zero-shot: Avaliação direta sem treinamento em Newari.
  • Fine-tuning Supervisionado: Ajuste total do modelo e ajuste apenas do decodificador (encoder congelado).
  • Aumento de Dados: Perturbação de velocidade, variação de volume, injeção de ruído, estiramento de tempo e mudança de tom.
  • Aprendizado Semi-supervisionado: Uso de pseudo-rótulos gerados a partir de 13,65 horas de dados não rotulados (rádio/TV), embora tenha mostrado limitações devido a domain shift (desvio de domínio).
  • Fusão Rasa (Shallow Fusion): Integração de um modelo de linguagem externo (KenLM 5-gram) durante a decodificação para melhorar a coerência lexical.

3. Contribuições Chave

1. Lançamento do Nwāchā Munā: O primeiro corpus de fala Devanagari de alta qualidade e manualmente transcrito para Nepal Bhasha (5,39 horas).
2. Benchmark Controlado: A primeira comparação rigorosa entre transferência proximal (Nepali → Newari) e pré-treinamento multilíngue (Whisper) em um cenário de recursos ultra-baixos.
3. Validação da Transferência Proximal: Demonstração de que modelos menores treinados em línguas vizinhas com scripts compartilhados podem rivalizar com modelos massivos, oferecendo uma alternativa computacionalmente mais eficiente.

4. Resultados Principais

Os resultados foram avaliados principalmente pela Taxa de Erro de Caracteres (CER):

• Linha de Base (Zero-shot): O modelo NepConformer sem treinamento em Newari teve um desempenho muito ruim (52,54% CER), confirmando que a similaridade de script não é suficiente sem ajuste fino devido às diferenças fonológicas.
• Fine-tuning Completo:
  • NepConformer (ajustado): 18,72% CER.
  • Whisper-Small (ajustado): 18,76% CER.
  • Conclusão: O modelo menor e monolíngue (Nepali) igualou o desempenho do modelo multilíngue massivo, apesar de ter muito menos parâmetros.
• Impacto do Aumento de Dados: A aplicação de técnicas de aumento de dados elevou o desempenho para o estado da arte:
  • NepConformer + Aumento: 17,59% CER.
  • Whisper-Small + Aumento: 17,88% CER.
• Análise de Erros:
  • O modelo luta principalmente com a estrutura morfológica aglutinante do Newari e com diacríticos específicos (como Halant, Anusvara e nasalização).
  • A fusão rasa com KenLM reduziu a Taxa de Erro de Palavras (WER) em ~11,7%, mas aumentou ligeiramente o CER, pois o modelo de linguagem tende a corrigir formas locais para ortografias padrão, perdendo variações naturais.

5. Significado e Conclusão

O trabalho demonstra que, para línguas em perigo na região do Sul da Ásia, a transferência de aprendizado baseada em proximidade linguística e geográfica é uma estratégia viável e eficiente.

• Eficiência Computacional: É possível alcançar desempenho de ponta utilizando modelos menores e dados de línguas vizinhas, evitando a necessidade de recursos massivos de pré-treinamento multilíngue.
• Preservação Cultural: Ao fornecer um corpus aberto e benchmarks sólidos, o projeto capacita a comunidade Newari a participar do cenário tecnológico moderno, preservando sua herança linguística.
• Limitações: O corpus ainda é pequeno comparado a padrões globais, e os dados coletados focam mais em fala lida/formal do que em conversação espontânea, o que limita a robustez em cenários do mundo real.

Em resumo, o artigo estabelece um novo padrão para o desenvolvimento de ASR em línguas de recursos ultra-baixos, provando que a proximidade linguística pode ser um substituto eficaz para a escala massiva de dados.