Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR

Resumen Técnico: Incorporación de Capacidades Robustas de Alternancia de Código en ASR Multilingüe de Alto Rendimiento

Planteamiento del Problema
La alternancia de código (Code-switching, CSW) sigue siendo un obstáculo significativo para los sistemas de Reconocimiento Automático del Habla (ASR) multilingües de gran escala en despliegues del mundo real. Aunque el ajuste fino (fine-tuning) con datos sintéticos de CSW es una estrategia común, este frecuentemente degrada el sólido rendimiento monolingüe de los modelos preentrenados. Las investigaciones existentes suelen centrarse en bases débiles o evaluaciones de dominio específico que no logran probar la robustez frente a condiciones acústicas fuera de dominio (por ejemplo, habla con acento, audio de campo lejano). Los autores identifican una brecha crítica: la falta de métodos para mejorar las capacidades de CSW en modelos multilingües que ya son fuertes (por ejemplo, Whisper-large, XLS-R) sin sobrescribir sus capacidades de generalización establecidas. Los enfoques actuales, incluyendo la Adaptación de Bajo Rango (LoRA) estándar y los complejos procesos de datos sintéticos de múltiples etapas, a menudo resultan en un olvido catastrófico del rendimiento monolingüe cuando se aplican a modelos preentrenados de alta calidad.

Metodología
El artículo propone la Adaptación Factorizada Bayesiana (BLoRA) como una solución para integrar el conocimiento relevante para la alternancia en modelos preentrenados fuertes sin degradar las capacidades existentes.

1. Generación de Datos Sintéticos: Los autores generan texto de alternancia de código alemán-inglés utilizando GPT-4o. A diferencia de la sustitución ingenua, la generación sigue reglas lingüísticas estrictas basadas en el teorema de la restricción de equivalencia, imponiendo la integración morfológica (por ejemplo, aplicando terminaciones inflexionales alemanas a verbos ingleses como "managst"). El texto está anotado con etiquetas de delimitador (§§...§§) para identificar los puntos de cambio.
2. Síntesis de Audio: Se utiliza un modelo de Texto a Voz (TTS) multilingüe (x-tts-v2) para sintetizar el audio. Los autores emplean un enfoque de "costura" (stitching) donde los segmentos se sintetizan por idioma y se concatenan, en lugar de sintetizar la oración completa en un solo idioma.
3. Mecanismo de Adaptación:
   • LoRA Estándar: Introduce matrices de bajo rango $A$ y $B$ entrenables para actualizar los pesos ($\Delta W = \frac{\alpha}{r} AB$).
   • BLoRA: Introduce un prior bayesiano en los pesos $A$ y $B$, modelándolos como distribuciones $N(\mu, \sigma^2)$ en lugar de valores fijos. Los priors se establecen para empujar los valores hacia cero, lo que resulta en matrices de adaptación dispersas y conscientes de la incertidumbre. Esto permite al modelo integrar selectivamente nuevo conocimiento lingüístico mientras preserva el conocimiento denso y general del modelo base.
4. Configuración Experimental: Los autores realizan el ajuste fino de un modelo Whisper v3 turbo sobre alternancia de código inglés-alemán utilizando únicamente datos sintéticos (sin habla de CSW real). Evalúan en el benchmark CSFleurs para el rendimiento de CSW y en CommonVoice para la preservación monolingüe. Utilizan la Tasa de Error de Punto de Interés (PIER) para medir específicamente los errores en las palabras con alternancia de código, junto con la Tasa de Error de Palabra (WER) estándar.

Contribuciones Clave

• Desafío a la Suposición de Complejidad de Datos: El artículo desafía la suposición prevaleciente de que mejores o más complejos datos sintéticos conducen a mejores resultados. Los autores demuestran que, para bases sólidas, el ajuste fino ingenuo con datos sintéticos es activamente perjudicial, causando hasta una degradación relativa del 418% en el WER en alemán.
• Integración sobre Generación: El estudio identifica que el cuello de botella en la adaptación de CSW no es la complejidad de la generación de datos (por ejemplo, procesos de múltiples pasos, unión de audio), sino el mecanismo de integración.
• Escalabilidad Sin Anotación: El enfoque propuesto no requiere habla de alternancia de código real, ni anotación manual de puntos de cambio, ni componentes específicos de pares de idiomas más allá de reglas básicas de prompting, ofreciendo una vía escalable para cualquier par de idiomas que carezca de corpora de CSW.

Resultados

• Rendimiento en Bases Sólidas: El ajuste fino con LoRA estándar en datos sintéticos degradó consistentemente el rendimiento en todos los conjuntos de datos (CommonVoice y CSFleurs), independientemente de la cantidad de datos (desde 1k hasta 246k locuciones).
• Eficacia de BLoRA: En contraste, BLoRA integró con éxito las capacidades de CSW mientras preservaba el rendimiento monolingüe.
  • Alternancia de Código: Logró una reducción relativa del 32.87% en PIER en el conjunto de datos CSFleurs.
  • Precisión General: Mejoró el WER general en un 5.31% en CSFleurs.
  • Preservación Monolingüe: Mantuvo el rendimiento en CommonVoice, mientras que LoRA causó una degradación significativa.
• Filtrado de Datos: El filtrado agresivo de datos sintéticos (eliminando segmentos con una Tasa de Error de Caracteres > 5%) produjo los mejores resultados, reduciendo significativamente los errores relacionados con CSW incluso con conjuntos de datos pequeños (1,000 muestras).
• Análisis de Diversidad: En los estudios de ablación, la diversidad textual (muchos transcriptos únicos) resultó ser ligeramente más impactante para la reducción de PIER que la diversidad de hablantes, reforzando que la integración del conocimiento lingüístico es el principal motor del éxito.

Significancia y Reivindicaciones
El artículo sostiene que el encuadre de la adaptación de CSW como un "problema de datos" (es decir, sintetizar mejor el habla para obtener mejores resultados) se rompe cuando el modelo base ya es fuerte. Los autores argumentan que añadir nuevas capacidades a modelos fundacionales potentes es fundamentalmente diferente de entrenar desde cero.

La principal significancia radica en desplazar el enfoque de la investigación de la complejidad de los datos hacia la integración del conocimiento. Los autores afirman que la adaptación efectiva para modelos fuertes depende más de cómo el nuevo conocimiento lingüístico se fusiona con el conocimiento existente del modelo (mediante mecanismos dispersos y conscientes de la incertidumbre como BLoRA) que de la sofisticación del proceso de generación de datos. Este trabajo sugiere que la investigación futura debe priorizar metodologías de adaptación robustas que prevengan el olvido catastrófico, en lugar de perseguir únicamente la generación de datos sintéticos más complejos.