Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

Resumo Técnico: Sometin Beta Pass Notin (SBPN)

Declaração do Problema
Apesar da diversidade linguística da Nigéria, com mais de 500 línguas, os sistemas modernos de Reconhecimento Automático de Fala (ASR) multilíngues apresentam desempenho consistentemente inferior nas línguas nigerianas em comparação com línguas de alto recurso como o inglês e o francês. Os autores identificam vários obstáculos críticos: escassez aguda de dados, ortografia inconsistente, a necessidade de diacríticos tonais (em Yorùbá e Igbo), sotaques diversos, alternância de códigos frequente e a presença de entidades nomeadas localizadas. Conjuntos de dados existentes frequentemente consistem em fala lida baseada em modelos predefinidos, falhando em generalizar para cenários conversacionais da vida real. Além disso, o domínio das línguas de alto recurso na internet acelera a erosão linguística, criando uma divisão digital que exige o desenvolvimento de recursos especializados de ASR para garantir a continuidade linguística.

Metodologia
O artigo apresenta o Sometin Beta Pass Notin (SBPN), um modelo fundamental de ASR multilíngue projetado para cinco línguas nigerianas específicas: Yorùbá, Hausa, Igbo, Pidgin Nigeriano e Inglês Nigeriano. O framework emprega um processo de destilação em duas etapas:

1. Destilação de Conhecimento a partir de Professores Monolíngues:

   • Modelos Professores: Os autores utilizaram modelos monolíngues existentes de última geração (baseados em arquiteturas como W2v-bert-2.0 e w2v-large-xlsr-53) como "professores".
   • Fusão de Modelo de Linguagem: Reconhecendo que modelos professores baseados em CTC lutam em regimes de baixo recurso sem modelagem de linguagem, a equipe curou modelos de linguagem N-gram em grande escala para cada uma das cinco línguas usando corpora de texto de fontes como Common-Crawl-100 e repositórios específicos.
   • Rótulos Pseudos: Os modelos professores geraram rótulos pseudos rígidos para dados de áudio não rotulados. Crucialmente, esses rótulos foram refinados usando uma fusão rasa das previsões do ASR com os modelos de linguagem N-gram curados durante a inferência (usando o decodificador Flashlight) para reduzir as Taxas de Erro de Palavra (WER).
   • Curadoria de Dados: O pipeline incluiu processamento extensivo de áudio: remoção de ruído (MossFormer2), diarização de falantes (Pyannote), detecção de atividade de voz e identificação de linguagem. Uma estratégia de normalização específica foi aplicada ao Pidgin Nigeriano para lidar com ortografia não padrão e homófonos, agrupando palavras e selecionando o token mais provável com base no LM N-gram.

2. Autoaperfeiçoamento Iterativo:

   • O modelo estudante multilíngue (SBPN) foi primeiro treinado em uma combinação de dados de verdade fundamental e os dados rotulados pseudos gerados na primeira etapa.
   • subsequentemente, o modelo passou por um loop de autoaperfeiçoamento onde gerou novos rótulos pseudos mais precisos para os dados não rotulados, que foram então usados para ajustar ainda mais o modelo. Este processo continuou até que a WER média estagnasse.

Arquitetura do Modelo
Os modelos SBPN são baseados na arquitetura de Transdutor baseado em Rede Neural Recorrente (RNNT), apresentando um codificador Fast Conformer, uma rede de previsão baseada em LSTM com estado e uma rede conjunta feed-forward. Uma cabeça CTC auxiliar é anexada ao codificador para regularizar recursos, o que é particularmente benéfico ao treinar com dados rotulados pseudos ruidosos. Os modelos são lançados em dois tamanhos:

• SBPN-Base: 120 milhões de parâmetros.
• SBPN-Large: 600 milhões de parâmetros.
  Ambos são projetados para rodar em CPUs durante a inferência, tornando-os acessíveis para pesquisadores sem recursos de GPU em grande escala.

Principais Contribuições

• Primeiro Modelo Fundamental Multilíngue para Línguas Nigerianas: O SBPN é o primeiro modelo capaz de transcrever com precisão tanto a fala lida quanto a fala conversacional rápida nas cinco línguas-alvo, enquanto realiza identificação de linguagem falada (SLID).
• Modelos de Linguagem N-gram Curados: Os autores criaram os primeiros modelos de linguagem N-gram em grande escala para essas cinco línguas e demonstraram seu papel crítico na melhoria da qualidade dos rótulos pseudos e no desempenho geral do ASR.
• Validação de Rótulos Pseudos em Configurações de Baixo Recurso: O estudo prova que o rotulamento pseudo em grande escala, quando combinado com destilação de conhecimento e fusão de modelo de linguagem, melhora significativamente a precisão de reconhecimento para línguas de baixo recurso, não apenas para as de alto recurso.
• Lançamento Aberto: Os modelos (SBPN-Base e SBPN-Large) e seus checkpoints são lançados como modelos fundamentais abertos para facilitar pesquisas adicionais no cenário fonético e cultural da região.

Resultados

• Ganho de Desempenho: O SBPN reduz significativamente a lacuna de desempenho, alcançando uma redução relativa média de 29% na Taxa de Erro de Palavra (WER) sobre as linhas de base monolíngues.
• Comparação com Professores: O modelo SBPN-Large superou os modelos professores monolíngues (mesmo aqueles fundidos com LMs N-gram) em uma redução relativa média de WER de 16%.
• Comparação com o Estado da Arte: Os modelos SBPN superaram os modelos multilíngues existentes de última geração (como AfriHuBERT, mHuBERT-147 e MMS-1B) em principais benchmarks, incluindo Common Voice e Fleurs. Notavelmente, o SBPN-Large de 600M parâmetros superou modelos de bilhões de parâmetros em média para línguas nigerianas.
• Robustez: O SBPN-Large demonstrou estabilidade superior na transcrição de fala conversacional rápida (até 2x a velocidade normal) em comparação com professores monolíngues, cujo desempenho degradou-se abruptamente com o aumento das taxas de fala.
• Identificação de Linguagem: Os modelos alcançaram pontuações F1 micro-médiadas quase perfeitas (100% para a maioria das línguas) na identificação da linguagem falada, superando modelos de identificação de linguagem dedicados baseados em áudio e texto para Inglês Nigeriano e Pidgin.
• Desafios de Diacríticos: Embora o desempenho tenha melhorado, o artigo observa que prever marcas diacríticas permanece um desafio, particularmente para o Yorùbá, onde a lacuna de WER entre previsões com e sem diacríticos permanece significativa, embora reduzida em comparação com as linhas de base.

Significado
O artigo afirma que o SBPN representa um passo significativo para contrapor a divisão digital e garantir a continuidade linguística para as línguas nigerianas. Ao demonstrar que "professores médios" (modelos monolíngues) podem ser destilados em um "estudante" superior (modelo multilíngue) através de rotulamento pseudo rigoroso e fusão de modelo de linguagem, o trabalho fornece um framework escalável para processamento de línguas de baixo recurso. O lançamento de modelos amigáveis a CPUs visa democratizar o acesso à tecnologia de ASR para linguistas e pesquisadores na região, fomentando maior exploração da rica diversidade fonética e cultural da área. Os autores modestamente reconhecem que, embora o SBPN seja um passo fundamental, trabalho significativo permanece para abordar a previsão de diacríticos e expandir o framework para cobrir mais das 500+ línguas da Nigéria.