Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

1. Problema

El trabajo aborda el desafío de adaptar modelos de lenguaje grandes (LLMs) pre-entrenados en texto a la modalidad de habla (creando "Speech LMs") mediante el pre-entrenamiento continuo (CPT) en datos de audio.

• El conflicto: Aunque el CPT permite que el modelo herede conocimientos lingüísticos, a menudo provoca una degradación severa de las capacidades originales de texto (conocido como "olvido catastrófico").
• Limitaciones de enfoques existentes:
  • Repetición de datos (Replay): Requiere grandes cantidades de datos de texto adicionales y aumenta el costo de entrenamiento, además de que muchos LLMs de código abierto no liberan sus datos de pre-entrenamiento originales.
  • Fine-tuning completo: Destruye las capacidades de texto.
  • LoRA (Low-Rank Adaptation): Aunque preserva mejor el texto que el fine-tuning completo, los autores encuentran que carece de la capacidad suficiente para aprender una nueva modalidad (habla) eficazmente, especialmente en modelos más pequeños.

2. Metodología: "Multimodal Depth Up-Scaling"

Los autores proponen una extensión de la estrategia de "Depth Up-Scaling" (escalado de profundidad) para la adaptación multimodal. La idea central es inyectar nuevas capas en un LLM de texto congelado en lugar de modificar los pesos existentes.

• Arquitectura:

  • Se toma un LLM de texto pre-entrenado (congelado) y se insertan $m$ nuevas capas de transformador entre las $n$ capas originales.
  • Entrenamiento: Solo las capas añadidas (y la capa de embeddings expandida) son entrenables. Las capas originales permanecen congeladas.
  • Inicialización Funcional: Para evitar perturbar las representaciones pre-entrenadas, las nuevas capas se inicializan como funciones identidad (sus proyecciones de salida se inicializan en cero). Esto asegura que, al inicio, el modelo se comporte exactamente como el original.
  • Vocabulario: Se expande el tokenizador para incluir tokens de habla discretos (semánticos y acústicos).

• Estrategias de Ubicación: Se investigó dónde insertar las nuevas capas:

  • Interleaved (Entrelazado): Distribución uniforme a lo largo de toda la red.
  • Bottom/Middle/Top: Concentración en la parte inferior, media o superior.
  • Sandwich: En la parte inferior y superior.

• Arquitectura de Capas Añadidas:

  • Se compararon capas de transformador estándar con E-Branchformer, una arquitectura diseñada específicamente para reconocimiento de voz que combina atención global (MHSA) y extracción de patrones locales mediante convoluciones (CSGU).
  • Se propuso una inicialización específica para E-Branchformer (matriz de fusión $[I; 0]$) para mantener la propiedad de identidad inicial.

• Ventaja de Inferencia (Layer Dropping):

  • Dado que las capas originales nunca se tocan, las capas añadidas pueden eliminarse completamente durante la inferencia si solo se requiere procesamiento de texto. Esto garantiza una recuperación exacta del modelo pre-entrenado original (degradación de texto = 0).

3. Contribuciones Clave

1. Propuesta de Depth Up-Scaling Multimodal: Una nueva estrategia para adaptar LLMs de texto a habla sin modificar los pesos base, preservando así el conocimiento lingüístico original.
2. Análisis de Arquitectura e Inicialización: Demostración de que utilizar E-Branchformer como capas añadidas mejora el rendimiento de ASR en comparación con transformadores estándar, y que una inicialización funcional específica es crucial para el éxito.
3. Preservación de Instrucciones de Texto: Evidencia de que el modelo mantiene la capacidad de seguir instrucciones de texto (traducción, resumen) incluso cuando se entrena exclusivamente en datos de habla, algo que falla en el fine-tuning completo.

4. Resultados Experimentales

Los experimentos se realizaron con SmolLM2-360M y SmolLM2-1.7B utilizando 48,000 horas de datos de ASR en inglés (OWSM v3.2).

• Rendimiento de ASR (WER - Tasa de Error de Palabra):

  • El método Depth Up-Scaling con disposición Interleaved logró un rendimiento de ASR comparable al Fine-tuning completo.
  • En el modelo de 1.7B, el uso de E-Branchformer igualó o superó al Fine-tuning completo en ASR.
  • LoRA mostró un rendimiento significativamente inferior, especialmente en el modelo más pequeño (360M), indicando insuficiencia de capacidad.

• Preservación de Capacidades de Texto:

  • Fine-tuning completo y LoRA causaron una degradación masiva en las tareas de texto (caídas de ~22% a ~35% en precisión promedio).
  • Depth Up-Scaling redujo la degradación drásticamente. Con la disposición Interleaved, la degradación fue de solo ~1.9% (360M) y ~8.3% (1.7B).
  • Recuperación Total: Al eliminar las capas añadidas en inferencia, el modelo recuperó el 100% del rendimiento original de texto ($\Delta = 0.0$).

• Eficiencia:

  • La combinación de Depth Up-Scaling con E-Branchformer en el modelo de 1.7B logró un rendimiento superior al Fine-tuning en ASR, con una reducción de más del 75% en la degradación de texto y utilizando 60% menos de parámetros entrenables en comparación con el ajuste fino completo.

• Análisis Cualitativo:

  • En tareas de "zero-shot" (traducción, simplificación, resumen) condicionadas por entrada de voz, el Fine-tuning completo falló por completo (generando tokens repetidos), mientras que el modelo con Depth Up-Scaling generó respuestas coherentes y adecuadas.

5. Significado e Impacto

Este trabajo ofrece una guía práctica para adaptar LLMs de texto a la modalidad de habla sin sacrificar sus capacidades originales.

• Solución al Olvido: Resuelve el dilema entre aprender una nueva modalidad (habla) y olvidar la modalidad original (texto) sin necesidad de datos de texto adicionales para el entrenamiento.
• Flexibilidad Operativa: Permite tener un único modelo que puede operar como un LLM de texto puro (quitando las capas de habla) o como un modelo de habla, optimizando recursos de inferencia.
• Eficiencia: Demuestra que aumentar la profundidad con arquitecturas especializadas (E-Branchformer) es más efectivo para la adaptación multimodal que simplemente ajustar parámetros existentes con métodos eficientes como LoRA.

En resumen, la Multimodal Depth Up-Scaling permite crear modelos de lenguaje de habla robustos que mantienen la inteligencia y versatilidad del modelo de texto base, superando las limitaciones de los métodos actuales de adaptación.