Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR

1. Problema e Contexto

O reconhecimento automático de fala (ASR) em Singapura enfrenta um desafio único e complexo devido ao seu cenário linguístico:

• Multilinguismo Intenso: O país possui quatro línguas oficiais (Inglês, Mandarim, Tamil e Malaio) que coexistem frequentemente na mesma conversa.
• Singlish e Code-Switching: A prevalência do "Singlish" (uma criolização do inglês com léxico e fonologia das outras línguas) e a troca constante de código (code-switching) dentro de uma única frase tornam a identificação e transcrição difíceis.
• Limitações dos Modelos Atuais:
  • Modelos gerais de grande escala (como Whisper ou MMS) têm desempenho inferior em línguas de recursos limitados (Tamil, Malaio) e em sotaques regionais (Inglês de Singapura).
  • Sistemas especialistas de alto desempenho (como o MERaLiON-2-10B-ASR) exigem recursos computacionais massivos (128 GPUs, custo de ~$18.862 para treinamento), tornando-os inacessíveis para a maioria das universidades e pequenas empresas.
  • Modelos de linguagem de áudio (ALMs) grandes (7B+ parâmetros) são caros para ajustar e implantar.

2. Metodologia

Os autores desenvolveram o Polyglot-Lion, uma família de modelos ASR multilíngues compactos (0.6B e 1.7B parâmetros) baseados no ajuste fino (fine-tuning) dos modelos Qwen3-ASR. A abordagem baseia-se em duas escolhas de design principais:

A. Amostragem Multilíngue Balanceada (Balanced Sampling)

• O Desafio: Os corpora de treinamento públicos disponíveis são altamente desbalanceados, com Inglês e Mandarim dominando (~65% das horas), enquanto Tamil e Malaio são sub-representados.
• A Solução: Os autores implementaram uma estratégia de upsampling determinístico em duas etapas (descrita no Algoritmo 1):
  1. Equilíbrio Intra-língua: Dentro de cada língua, os conjuntos de dados menores são repetidos e reamostrados para igualar o tamanho do maior conjunto dessa língua.
  2. Equilíbrio Inter-língua: Os conjuntos de cada língua são então repetidos para que todas as quatro línguas contribuam com exatamente o mesmo número de utterances (25% cada) para o treinamento.
• Objetivo: Garantir que o modelo não superajuste (overfit) nas línguas de alto recurso e subajuste (underfit) nas línguas de baixo recurso.

B. Decodificação Agnóstica à Língua (Language-Agnostic Decoding)

• Abordagem: Diferente de sistemas como o Whisper, que exigem um "token de idioma" de entrada para funcionar corretamente, o Polyglot-Lion remove completamente a condição de etiqueta de idioma tanto no treinamento quanto na inferência.
• Mecanismo: O modelo é forçado a identificar a língua falada implicitamente apenas a partir dos sinais acústicos e padrões linguísticos. Isso é crucial para lidar com o code-switching natural em Singapura, onde a língua pode mudar no meio de uma frase sem aviso prévio.

C. Treinamento

• Dados: Exclusivamente corpora de fala públicos (Librispeech, NSC, AISHELL, Common Voice, Fleurs, etc.).
• Hardware: Treinado em uma única GPU NVIDIA RTX PRO 6000 por 48 horas.
• Hiperparâmetros: Otimizador AdamW, taxa de aprendizado com annealing cosinoidal, batch size efetivo de 32.

3. Contribuições Principais

1. Receita de Ajuste Fino Balanceado: Uma estratégia simples e sem hiperparâmetros que melhora drasticamente a precisão em línguas de baixo recurso (Tamil e Malaio) sem usar dados proprietários.
2. Identificação Implícita de Língua: Demonstra que modelos de escala moderada podem aprender a identificar línguas e lidar com code-switching sem a necessidade de tokens explícitos de idioma, aumentando a robustez em cenários reais.
3. Benchmark Abrangente: Avaliação em 12 conjuntos de dados cobrindo as quatro línguas oficiais de Singapura, comparando com 8 baselines (de modelos gerais a especialistas).
4. Análise de Custo-Eficiência: Prova que é possível atingir desempenho próximo ao estado da arte (SOTA) com uma fração do custo computacional e de treinamento.

4. Resultados Principais

Precisão (Taxa de Erro)

• Polyglot-Lion-1.7B alcançou uma taxa de erro média de 14.85% em 12 benchmarks.
• Comparação com o Estado da Arte: Este resultado é extremamente competitivo com o MERaLiON-2-10B-ASR (14.32%), que possui 6 vezes mais parâmetros (10B vs 1.7B).
• Desempenho por Língua:
  • Inglês: Superou o modelo base Qwen3-ASR e o Whisper no conjunto de dados NSC (sotaque de Singapura).
  • Mandarim: Alcançou o menor CER (Character Error Rate) em todos os benchmarks de Mandarim, superando até mesmo o MERaLiON.
  • Tamil: Redução dramática de erro: o modelo base Qwen3-ASR tinha WER >120% no Common Voice Tamil; o Polyglot-Lion reduziu para 39.19% (uma redução relativa de 72%).
  • Malaio: Alcançou o melhor resultado no corpus Mesolitica (21.51 WER), superando o MERaLiON e o Whisper.

Velocidade e Custo

• Velocidade de Inferência: O Polyglot-Lion-1.7B é aproximadamente 20 vezes mais rápido que o MERaLiON-2-10B (0.10s/amostra vs 2.02s/amostra).
• Custo de Treinamento:
  • Polyglot-Lion: ~$81 (1 GPU, 48h).
  • MERaLiON-2-10B: ~$18.862 (128 GPUs, 48h).
  • Redução de Custo: Fator de 233x menor.

5. Significado e Impacto

O trabalho demonstra que a escala bruta de parâmetros não é o único fator determinante para o sucesso em ASR multilíngue. Através de um balanceamento cuidadoso dos dados e de uma arquitetura que aprende a identificar línguas implicitamente, é possível criar sistemas de ASR de alta qualidade, prontos para implantação e acessíveis.

• Democratização: Torna viável que grupos acadêmicos e pequenas empresas desenvolvam e ajustem sistemas ASR de alta qualidade para o contexto de Singapura (e possivelmente outras regiões multilíngues) sem a necessidade de supercomputadores.
• Eficiência: Oferece uma solução 20x mais rápida para inferência, crucial para aplicações em tempo real.
• Limitações e Futuro: O modelo ainda apresenta lacunas em sotaques específicos de Singapura (NSC) e em cenários complexos de code-switching (como o corpus SEAME), que não foram incluídos nos testes atuais. O trabalho futuro focará em incorporar dados locais de Singapura e técnicas de transferência cruzada para Tamil.

Em resumo, o Polyglot-Lion estabelece um novo paradigma de eficiência, provando que o ajuste fino inteligente de modelos pré-treinados moderados pode superar sistemas especialistas massivos em cenários multilíngues específicos.