MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

Resumen Técnico: MiLorE-SSL

Planteamiento del Problema
El aprendizaje autosupervisado (SSL, por sus siglas en inglés) ha revolucionado el aprendizaje de representaciones del habla, pero los modelos SSL multilingües enfrentan restricciones significativas. Los modelos existentes suelen estar limitados a los idiomas encontrados durante el preentrenamiento. La incorporación de nuevos idiomas suele requerir un reentrenamiento computacionalmente costoso desde cero. Alternativamente, el entrenamiento secuencial sin estrategias de mitigación suele resultar en un "olvido catastrófico", donde el rendimiento en los idiomas previamente aprendidos se degrada severamente. Mientras que las soluciones previas como la repetición de datos (data replay) requieren grandes corpus históricos y almacenamiento, y los módulos basados en adaptadores escalan deficientemente con el aumento en el número de idiomas, existe la necesidad de un marco que permita un entrenamiento multilingüe continuo y eficiente sin descartar el conocimiento previo ni incurrir en costos prohibitivos.

Metodología
Los autores proponen MiLorE-SSL (Mixture of LoRA Experts), un marco ligero diseñado para la extensión continua de modelos SSL. La arquitectura modifica los modelos SSL estándar basados en Transformer (específicamente HuBERT) reemplazando la red Feed-Forward (FFN) estándar en cada bloque por un módulo MiLorE. Este módulo consta de tres componentes:

1. Backbone Congelado: Los pesos originales de la FFN ($W_0$) permanecen congelados para preservar el conocimiento multilingüe previo.
2. Expertos LoRA: Un conjunto de $N$ expertos, cada uno parametrizado como matrices de bajo rango ($\Delta W = BA$) mediante Adaptación de Bajo Rango (LoRA). Estos introducen un número mínimo de parámetros entrenables.
3. Router Suave (Soft Router): Un mecanismo aprendible que calcula pesos de enrutamiento suave ($p$) basados en los estados ocultos de entrada. A diferencia del enrutamiento rígido (hard routing), esto permite que las entradas se distribuyan entre múltiples expertos, promoviendo el intercambio de conocimiento y la especialización de manera flexible sin requerir identificadores de idioma explícitos.

La salida del módulo es una suma ponderada de la salida del backbone congelado y las salidas de los expertos: $o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$.

Para mitigar aún más el olvido catastrófico, el marco emplea una estrategia de repetición (replay strategy). En lugar de depender de corpus históricos masivos, utiliza un subconjunto pequeño y aleatorio de datos (por ejemplo, 100 horas) de los idiomas existentes durante el entrenamiento de nuevos idiomas. Esto permite que el modelo vuelva a visitar las distribuciones lingüísticas previas mientras se adapta a nuevos patrones.

Contribuciones Clave

• Marco Novedoso: MiLorE-SSL es el primer marco que combina LoRA con un mecanismo de Mezcla de Expertos (MoE) suave específicamente para la extensión multilingüe continua de modelos SSL.
• Enrutamiento de Expertos Suave: El diseño introduce un mecanismo de enrutamiento suave que equilibra el intercambio de conocimiento y la especialización entre idiomas, reduciendo la interferencia translingüística.
• Mitigación Eficiente del Olvido: La integración de una estrategia de repetición utilizando un mínimo de datos de idiomas existentes reduce el olvido sin la necesidad de acceder a conjuntos de datos históricos completos.
• Eficiencia de Parámetros: El enfoque logra un alto rendimiento con solo el 2.14% de los parámetros totales siendo entrenables.

Resultados Experimentales
Los experimentos se realizaron en el benchmark ML-SUPERB, centrándose en tareas de Reconocimiento Automático del Habla (ASR) monolingüe e Identificación de Idioma (LID). El estudio utilizó un modelo HuBERT-Large preentrenado en inglés y lo entrenó continuamente en mandarín y cantonés, utilizando datos en inglés para la repetición.

• Ganancias de Rendimiento: MiLorE-SSL superó significativamente tanto al baseline de HuBERT-Large solo en inglés como al mHuBERT-147 multilingüe. En el conjunto de datos CommonVoice, redujo las Tasas de Error de Caracteres (CER) a 10.3% (inglés), 10.7% (mandarín) y 11.0% (cantonés), comparado con el 18.5%, 15.5% y 14.8% de mHURBT-147 respectivamente.
• Identificación de Idioma: El modelo logró una precisión promedio de LID del 99.40%, superando a mHURBT-147 (97.21%) y HuBERT-Large (94.94%).
• Estudios de Ablación: Eliminar el componente MoE o la estrategia de repetición resultó en una degradación del rendimiento en todas las tareas. Específicamente, la eliminación de MoE confirmó la necesidad de la especialización de los expertos, mientras que la eliminación de la repetición afectó principalmente el rendimiento del inglés, validando su papel en la prevención del olvido.
• Activación de Expertos: El análisis de los patrones de activación de los expertos reveló que las capas inferiores codifican características independientes del idioma, mientras que las capas medias y superiores exhiben una divergencia específica del idioma, validando la utilidad de la estructura MoE para modelar características lingüísticas tanto compartidas como distintas.

Significancia y Reivindicaciones
El artículo afirma que MiLorE-SSL aborda eficazmente el equilibrio entre la eficiencia computacional y la capacidad multilingüe en los modelos SSL. Al combinar la adaptación de bajo rango con un MoE suave y una estrategia de repetición ligera, el marco permite a los modelos aprender nuevos idiomas incrementalmente mientras mantienen un fuerte rendimiento en los existentes. Los autores enfatizan que esto se logra sin los requisitos rígidos de equilibrio de datos del entrenamiento estático o las masivas necesidades de almacenamiento de los métodos de repetición tradicionales. Los resultados demuestran que es posible extender los modelos SSL a nuevos idiomas con un mínimo de parámetros entrenables (2.14%) evitando el olvido catastrófico, ofreciendo una solución escalable para la diversidad lingüística global.