Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR

Resumen Técnico: Polyglot-Lion

1. El Problema

Singapur presenta uno de los entornos más desafiantes para el Reconocimiento Automático de Voz (ASR) multilingüe debido a su paisaje lingüístico único:

• Cuatro idiomas oficiales: Inglés, Mandarín, Tamil y Malay conviven en la comunicación diaria, a menudo dentro de una misma conversación (cambio de código o code-switching).
• Variación dialectal: La prevalencia del "Singlish" (una variedad criolla que mezcla léxico y fonología de los cuatro idiomas) y grandes variaciones en acentos, edad y comportamiento de cambio de código.
• Barreras actuales:
  • Los modelos generales (como Whisper o MMS) sufren degradación en variedades de recursos bajos (Tamil, Malay) y acentos singapurenses.
  • Los modelos de lenguaje-audio masivos (7B+ parámetros) son costosos de ajustar y desplegar.
  • Los sistemas especialistas existentes, como MERaLiON-2-10B-ASR, logran un alto rendimiento pero requieren recursos prohibitivos (128 GPUs, ~$18,862 USD en costos de entrenamiento), haciéndolos inaccesibles para la mayoría de grupos académicos y pequeñas empresas.

2. Metodología

Los autores presentan Polyglot-Lion, una familia de modelos ASR multilingües compactos (0.6B y 1.7B parámetros) obtenidos mediante el ajuste fino (fine-tuning) de los modelos base Qwen3-ASR. La estrategia se basa en dos pilares fundamentales:

• Muestreo Multilingüe Equilibrado (Balanced Sampling):

  • Problema: Los corpus públicos están desequilibrados (Inglés y Mandarín representan ~65% de las horas, mientras que Malay es <8%). El entrenamiento conjunto directo sesgaría el modelo hacia idiomas de recursos altos.
  • Solución: Se implementa una estrategia de sobremuestreo determinista en dos etapas:
    1. Intra-idioma: Se iguala el tamaño de los conjuntos de datos dentro de cada idioma.
    2. Inter-idioma: Se iguala el tamaño total entre los cuatro idiomas, garantizando que cada uno contribuya exactamente con el 25% de las muestras de entrenamiento.
  • Esto asegura una cobertura equitativa sin necesidad de hiperparámetros complejos ni datos propietarios.

• Transcripción Agnóstica al Idioma (Language-Agnostic Decoding):

  • A diferencia de sistemas como Whisper que requieren un token de identificación de idioma explícito, Polyglot-Lion omite por completo las etiquetas de idioma tanto en entrenamiento como en inferencia.
  • El modelo debe inferir el idioma hablado implícitamente a partir de las características acústicas y lingüísticas. Esto lo hace robusto ante el cambio de código natural en Singapur, donde el idioma no se conoce a priori.

• Entrenamiento Eficiente:

  • Se utiliza exclusivamente corpus de voz de acceso público.
  • Entrenamiento realizado en una sola GPU NVIDIA RTX PRO 6000 durante 48 horas.

3. Contribuciones Clave

1. Receta de Ajuste Fino Equilibrado: Una estrategia simple pero efectiva que mejora drásticamente la precisión en idiomas de recursos bajos (Tamil, Malay) mediante el igualamiento de la cobertura de entrenamiento, sin requerir datos privados.
2. Identificación Implícita de Idioma: Demuestra que un modelo de escala moderada puede identificar con fiabilidad el idioma hablado sin señales explícitas, superando la dependencia de etiquetas que fallan en entornos de cambio de código.
3. Benchmarking Exhaustivo: Evaluación en 12 conjuntos de datos estándar que cubren los cuatro idiomas oficiales de Singapur, comparando contra 8 sistemas base (desde modelos generales hasta sistemas especialistas masivos).
4. Análisis de Costo-Eficiencia: Una demostración cuantitativa de que se puede lograr un rendimiento cercano al estado del arte (SOTA) a una fracción del costo computacional y financiero.

4. Resultados

Los resultados se presentan comparando Polyglot-Lion-1.7B contra el sistema especialista líder MERaLiON-2-10B-ASR y otros modelos de referencia:

• Precisión (Tasa de Error):

  • Polyglot-Lion-1.7B logra una tasa de error promedio de 14.85% (WER/CER) en 12 benchmarks.
  • Esto es casi idéntico al rendimiento de MERaLiON-2-10B-ASR (14.32%), a pesar de tener 6 veces menos parámetros.
  • Supera significativamente a modelos más grandes pero no ajustados específicamente (ej. Qwen2.5-Omni-7B tiene errores catastróficos en Tamil).
  • En Tamil, el ajuste fino equilibrado reduce la tasa de error en un 72% (de ~140% a ~39% en Common Voice), cerrando la brecha de idiomas de recursos bajos.

• Velocidad de Inferencia:

  • Polyglot-Lion es aproximadamente 20 veces más rápido que MERaLiON-2-10B-ASR (0.10 s/muestra vs. 2.02 s/muestra).
  • Es 3 veces más rápido que Whisper-large-v3-turbo.

• Costo de Entrenamiento:

  • Polyglot-Lion: ~$81 USD (1 GPU, 48h).
  • MERaLiON-2-10B-ASR: ~$18,862 USD (128 GPUs, 48h).
  • Reducción de costo: 233 veces menor.

5. Significado e Impacto

El trabajo de Polyglot-Lion demuestra que el equilibrio de datos y el ajuste fino ligero son más críticos que la escala bruta de parámetros para el ASR multilingüe en entornos complejos como Singapur.

• Accesibilidad: Democratiza el acceso a sistemas ASR de alta calidad para Singapur, permitiendo que grupos académicos y empresas pequeñas desarrollen y adapten sus propios modelos sin necesidad de infraestructura masiva.
• Eficiencia Operativa: La velocidad de inferencia y el bajo costo de entrenamiento facilitan el despliegue en tiempo real y en dispositivos con recursos limitados (edge computing).
• Robustez Lingüística: La capacidad de manejar el cambio de código sin etiquetas explícitas ofrece una solución práctica para la realidad lingüística de Singapur, donde la mezcla de idiomas es la norma y no la excepción.

Limitaciones Futuras:
El artículo reconoce que aún existen brechas menores en el reconocimiento de acentos singapurenses específicos (Singlish) y en la mezcla intra-oracional de idiomas (code-switching), áreas que se planean abordar en trabajos futuros mediante el uso de datos locales adicionales y objetivos de entrenamiento conscientes del cambio de código.