Task Arithmetic with Support Languages for Low-Resource ASR

Título: Aritmética de Tareas con Lenguajes de Soporte para ASR de Recursos Limitados

1. Problema

El reconocimiento automático del habla (ASR) enfrenta un desafío significativo en lenguas de recursos limitados debido a la escasez de datos de entrenamiento etiquetados. La tarea específica abordada en este trabajo es el desafío de habla espontánea de Mozilla Common Voice 2025, que requiere desarrollar sistemas ASR para 26 lenguas de bajos recursos.

• Desafíos principales: La mayoría de las lenguas objetivo tienen muy pocos datos; cinco de ellas son "invisibles" (sin datos de entrenamiento proporcionados). Además, a diferencia de los benchmarks tradicionales basados en habla leída, este desafío se centra en habla espontánea, lo cual es más difícil de modelar.
• Limitaciones de modelos existentes: Aunque modelos fundacionales como Whisper han demostrado ser efectivos, su rendimiento es desigual, favoreciendo a las lenguas de alto recurso. El ajuste fino (fine-tuning) directo en lenguas de bajos recursos a menudo resulta en un rendimiento deficiente debido a la falta de datos.

2. Metodología

Los autores proponen un enfoque basado en la Aritmética de Tareas (Task Arithmetic) para transferir conocimiento desde lenguas de soporte (de mayor recurso o genéticamente relacionadas) hacia las lenguas objetivo.

• Modelos Base:
  • Se utilizan dos variantes de Whisper: Whisper-tiny (ajuste fino completo) y Whisper-large-v3 (ajuste fino mediante LoRA - Low-Rank Adapters).
  • Se aplican restricciones de tamaño de modelo (500 MB) y cuantización a 4 bits para cumplir con los requisitos de la tarea.
• Generación de Vectores de Tarea:
  • Se define un vector de tarea ($\tau$) como la diferencia entre los pesos de un modelo ajustado a una lengua de soporte ($\theta_S$) y los pesos del modelo base preentrenado ($\theta$): $\tau_S = \theta_S - \theta$.
  • Para Whisper-large-v3, este proceso se aplica a las capas de los adaptadores LoRA en lugar de los pesos completos.
• Fusión de Modelos (Task Arithmetic):
  • Se entrena un modelo específico para la lengua objetivo ($\theta_T$).
  • El modelo final se obtiene combinando linealmente el modelo objetivo con el vector de tarea del lenguaje de soporte:
    $$\theta_{final} = \theta_T + \lambda \tau_S$$
    Donde $\lambda$ es un hiperparámetro de escala optimizado.
• Selección de Lenguas de Soporte:
  • Se seleccionan lenguas basándose en la relación genética, el alfabeto compartido y la disponibilidad de datos de habla leída en Common Voice.
  • Para lenguas con muy pocos datos, se agrupan múltiples lenguas relacionadas (ej. 13 lenguas quechua para Puno Quechua).
  • Se utiliza un "lenguaje proxy" de Whisper para la inicialización, maximizando la superposición de tokens con la lengua objetivo.
• Optimización:
  • El parámetro de escala $\lambda$ se optimiza mediante optimización bayesiana en el conjunto de validación (rango [0, 1]).
  • Se utiliza una estrategia de muestreo (upsampling) basada en votos de calidad de Common Voice para priorizar transcripciones de mayor calidad.

3. Contribuciones Clave

• Aplicación de Aritmética de Tareas a ASR de Lenguas de Recursos Limitados: Se expande el uso de vectores de tarea más allá de las cuatro lenguas probadas en trabajos anteriores, aplicándolo a 23 lenguas objetivo, muchas de las cuales no estaban presentes en los datos de entrenamiento originales de Whisper.
• Integración de Adaptadores LoRA: Se demuestra que la aritmética de tareas puede realizarse eficazmente mediante la combinación lineal de capas LoRA, no solo con vectores de pesos completos.
• Estrategia de Soporte Genético: Se establece un marco sistemático para identificar y combinar múltiples lenguas de soporte relacionadas genéticamente para mejorar el rendimiento en lenguas con datos extremadamente escasos.
• Análisis de Correlación: Se investiga la relación entre la similitud lingüística (medida por superposición de tokens) y la mejora en el rendimiento, encontrando una correlación positiva moderada para modelos pequeños.

4. Resultados

• Mejoras Consistentes: La incorporación de vectores de tareas de lenguas de soporte mejoró consistentemente el Tasa de Error de Palabras (WER) en comparación con el modelo base ajustado solo a la lengua objetivo.
  • Whisper-tiny: Mejora promedio del WER de -3.51%, con mejoras máximas de hasta -9.93% en lenguas específicas.
  • Whisper-large-v3: Mejora promedio del WER de -5.43%. En casos extremos como Adyghe, la mejora fue de -49.72%.
• Rendimiento del Modelo Pequeño vs. Grande: Contrario a la intuición habitual, Whisper-tiny superó a Whisper-large-v3 en muchas lenguas objetivo. Los autores atribuyen esto a que el modelo grande, con su mayor capacidad, se sobreajustó o no convergió adecuadamente con la escasa cantidad de datos y los hiperparámetros subóptimos (rank de LoRA, cuantización).
• Lenguas Invisibles: El enfoque funcionó incluso para las 5 lenguas sin datos de entrenamiento (ej. Ushojo, Basaa), superando a la línea base de la tarea en varios casos.
• Comparación con Líneas Base: Aunque el enfoque propuesto superó a las líneas base específicas de la tarea para ciertos modelos, el sistema basado en el modelo MMS (Massively Multilingual Speech) de la tarea base aún superó a la mayoría de los sistemas propuestos, sugiriendo que la elección del modelo base es crítica.

5. Significado e Implicaciones

• Eficiencia de Recursos: El trabajo demuestra que para el ASR de lenguas de recursos limitados, no siempre es necesario utilizar los modelos más grandes. Un enfoque más dirigido, utilizando modelos más pequeños (como Whisper-tiny) combinados con datos de soporte relevantes y técnicas de fusión de modelos, puede lograr un rendimiento superior.
• Viabilidad de la Aritmética de Tareas: Se valida que la aritmética de tareas es una herramienta robusta para transferir capacidades entre dominios lingüísticos, incluso cuando las lenguas objetivo no estaban en el conjunto de datos original del modelo base.
• Consideraciones Éticas y Ambientales:
  • Ética: Se destaca la importancia de que la investigación en lenguas indígenas beneficie directamente a las comunidades hablantes, evitando la extracción de datos sin impacto real.
  • Medio Ambiente: Se reconoce el costo computacional de entrenar múltiples modelos (74 en total) y se aboga por una evaluación cuidadosa de los recursos necesarios frente a la calidad del modelo obtenido.
• Limitaciones y Futuro: El estudio señala que la ventana de contexto limitada de Whisper (30 segundos) afecta el rendimiento en audio largo y que la selección de lenguas de soporte podría optimizarse mediante métricas más sofisticadas (distancia filogenética, préstamos léxicos).

En conclusión, el artículo presenta un sistema robusto que combina ajuste fino, adaptadores LoRA y aritmética de tareas para abordar el desafío del ASR en lenguas de bajos recursos, demostrando que la integración inteligente de datos de lenguas relacionadas puede cerrar significativamente la brecha de rendimiento.