Cross-Lingual Interleaving for Speech Language Models

1. El Problema

Los Modelos de Lenguaje Oral (SLMs, por sus siglas en inglés) buscan aprender competencia lingüística directamente a partir del habla utilizando unidades discretas, con el objetivo de democratizar el Procesamiento del Lenguaje Natural (NLP) para idiomas con recursos escritos limitados. Sin embargo, el progreso en este campo ha estado dominado por el inglés debido a dos cuellos de botella principales:

• Evaluación centrada en el inglés: La falta de benchmarks de evaluación semántica hablada para otros idiomas dificulta medir la competencia cruzada.
• Dependencia del texto en el entrenamiento: Los métodos actuales que fomentan el aprendizaje multilingüe (como la intercalación de texto y habla en modelos TSLM) dependen de la supervisión textual, lo cual es incompatible con la visión original de los SLMs "sin texto" (textless) que deben aprender solo de audio.

2. Metodología

Los autores proponen un enfoque novedoso llamado intercalado cruzado (cross-lingual interleaving) que permite mezclar tokens de habla de diferentes idiomas dentro de la misma secuencia de entrenamiento, sin utilizar tokens de texto.

• Mecanismo de Intercalado: En lugar de entrenar secuencias monolingües, el método alterna segmentos de habla de diferentes idiomas (en este caso, Inglés y Francés) a nivel de oración dentro de una única secuencia. Se asume una alineación de oraciones entre idiomas. La secuencia intercalada se define como $s = (A^{(l_1)}_1 \parallel A^{(l_2)}_2 \parallel \dots)$, donde $\parallel$ denota la concatenación en los límites de las oraciones.
• Objetivo de Entrenamiento: El modelo se entrena con el objetivo estándar de predicción del siguiente token sobre estas secuencias intercaladas. Esto obliga al modelo a aprender un subespacio representacional compartido y a realizar transferencia entre idiomas, manteniendo la compatibilidad con pipelines puramente de audio.
• Arquitectura: Se utilizan modelos basados en transformadores decoder-only entrenados sobre unidades de habla discretas obtenidas mediante un tokenizador neuronal (Mimi), que utiliza cuantización vectorial residual (RVQ) y destilación semántica de representaciones WavLM.

3. Contribuciones Clave

El artículo presenta tres contribuciones fundamentales:

1. Estrategia de Intercalado Cruzado: Un método que alterna segmentos de habla de diferentes idiomas en una sola secuencia para promover un espacio representacional compartido sin necesidad de texto.
2. Recursos de Datos y Benchmarks:
   • Liberación de un corpus hablado alineado oración a oración en Inglés-Francés derivado de TinyStories (aprox. 42,000 horas de audio), generado mediante síntesis de voz (TTS) con GPT-4 para la traducción y un sistema TTS multi-voz.
   • Creación de benchmarks de evaluación semántica hablada bilingües: sStoryCloze (sSC) y sTopicCloze (sTC), generados sintéticamente para evaluar la comprensión semántica y la coherencia temática en contextos cruzados.
3. Validación Empírica: Demostración de que este método mejora las tareas semánticas monolingües y habilita una continuación robusta cruzada entre idiomas en modelos de 360M y 1B de parámetros, bajo un presupuesto de tokens de entrenamiento equivalente.

4. Resultados Experimentales

Los experimentos se realizaron en modelos de 360M y 1B parámetros, comparando tres configuraciones: entrenamiento monolingüe, entrenamiento mixto sin intercalado (EN+FR), y entrenamiento con intercalado cruzado.

• Transferencia Positiva Monolingüe: El intercalado mejora la precisión semántica en el idioma de menor recurso (Francés), incluso cuando el modelo ve menos tokens en ese idioma que en un entrenamiento monolingüe puro. Esto indica una transferencia efectiva desde el idioma de alto recurso (Inglés).
• Capacidades Cruzadas: Los modelos con intercalado logran un rendimiento en tareas de continuación cruzada (ej. prompt en Inglés, continuación en Francés) que se acerca significativamente al rendimiento monolingüe, superando ampliamente a los modelos entrenados simplemente con datos mixtos pero secuencias monolingües.
• Alineación de Estados Ocultos: El análisis de similitud coseno entre los estados ocultos de oraciones alineadas EN-FR muestra que el intercalado produce una alineación cruzada más fuerte (0.75) en comparación con el entrenamiento mixto sin intercalado (0.73).
• Compensación (Trade-off): Inicialmente, el intercalado puro puede reducir ligeramente el rendimiento en tareas léxicas y sintéticas de bajo nivel en el idioma dominante (Inglés), pero una fase de fine-tuning bilingüe (estabilización) restaura estos valores sin perder las ganancias cruzadas.

5. Significado e Impacto

Este trabajo demuestra que es posible construir Modelos de Lenguaje Oral multilingües verdaderamente "sin texto" que entienden y conversan a través de idiomas.

• Escalabilidad: El método es simple y escalable, ya que no requiere alineaciones de texto ni arquitecturas complejas de múltiples modalidades.
• Accesibilidad: Abre la puerta a desarrollar capacidades de NLP avanzadas para idiomas con pocos recursos escritos, basándose únicamente en datos de audio.
• Reproducibilidad: Al liberar el dataset TinyStories (EN-FR) y los benchmarks de evaluación, los autores facilitan la investigación futura en la comprensión semántica del habla multilingüe.

En resumen, el intercalado cruzado de tokens de habla se presenta como una ruta viable y eficiente para superar las barreras actuales en el aprendizaje de modelos de lenguaje oral multilingüe.