In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads

1. Problema y Motivación

El Aprendizaje en Contexto (ICL) es una capacidad fundamental de los Modelos de Lenguaje Grandes (LLMs) que les permite realizar tareas nuevas basándose en demostraciones en el contexto de entrada, sin actualizar sus parámetros. Aunque el ICL ha sido extensamente estudiado en el dominio del texto, su aplicación en el dominio de la voz (Speech) sigue siendo poco explorada.

Con la aparición de los Modelos de Lenguaje de Voz (SpeechLMs), que unifican audio y texto en un solo marco de modelado, surge la necesidad de entender cómo estos modelos procesan el ICL cuando deben razonar simultáneamente sobre estructuras acústicas y lingüísticas. Específicamente, se desconoce:

• Cómo afectan las características acústicas (velocidad, tono, intensidad) al rendimiento del ICL.
• Si los modelos imitan las propiedades acústicas de las demostraciones en su salida.
• Si los mecanismos subyacentes al ICL en texto (como las "cabezales de inducción") son operativos en el dominio de la voz.

2. Metodología

Los autores utilizaron SPIRITLM, una adaptación de LLaMA-2-7B preentrenada continuamente en secuencias intercaladas de tokens de voz y texto. El modelo utiliza un codificador HUBERT para convertir audio en unidades discretas, un modelo de lenguaje para la predicción de tokens y un vocodificador HIFI-GAN para la síntesis de audio.

Configuración Experimental:

• Tarea: Se enfocaron en la tarea de Texto a Voz (TTS). Esto permite evaluar el ICL desde dos ángulos: (1) precisión en la inferencia del contenido lingüístico y (2) grado de imitación de las características acústicas de las demostraciones.
• Corpus: Utilizaron el corpus PRIME-LM, que proporciona pares controlados de oraciones de demostración (primes) y objetivo (targets).
• Condiciones de Manipulación:
  1. Solapamiento Lingüístico: Variaron la superposición léxica (solo sustantivos, solo verbo principal, todas las palabras) y la similitud semántica entre demostración y objetivo, incluyendo una condición "Core" sin solapamiento lingüístico alguno.
  2. Estructura Sintáctica: Compararon oraciones activas y pasivas (congruencia vs. incongruencia entre demostración y objetivo).
  3. Manipulaciones Acústicas: Modificaron la velocidad de habla (rápida 2x, lenta 0.5x), el rango de tono (aplanado) y la intensidad (baja a 30 dB).
  4. Número de Demostraciones: Variaron de 0 a 5 demostraciones en el prompt.
• Evaluación:
  • Rendimiento de Tarea: Se midió mediante la Tasa de Error de Palabras (WER) y el Recuerdo de Palabras de Contenido (palabras léxicas clave), utilizando un ASR externo (Whisper) para transcribir la salida.
  • Imitación Acústica: Se midieron estadísticas de velocidad, tono e intensidad en la salida generada y se compararon con las demostraciones.
• Análisis Mecanístico: Identificaron y ablationaron (eliminaron) cabezales de inducción (atención que copia patrones previos) para determinar su causalidad en el ICL de voz.

3. Contribuciones Clave

1. Primera caracterización sistemática del ICL en SpeechLMs para TTS: Desentrañan el impacto aislado de características acústicas y lingüísticas en el aprendizaje en contexto.
2. Descubrimiento de la asimetría acústica: Demuestran que la velocidad de habla es un factor crítico que afecta tanto al rendimiento como a la imitación, mientras que el tono y la intensidad tienen efectos mínimos.
3. Validación de mecanismos en voz: Son los primeros en identificar y probar causalmente el papel de las cabezales de inducción en modelos de lenguaje de voz, mostrando que existen cabezales específicos para voz y otros multimodales.
4. Análisis de la relación entre solapamiento y rendimiento: Muestran que el solapamiento léxico mejora el rendimiento, pero la similitud semántica tiene un impacto menor que en los modelos de texto.

4. Resultados Principales

A. Rendimiento del Tarea (ICL)

• Suficiencia de una demostración: Una sola demostración es suficiente para activar el comportamiento de ICL, superando significativamente a la línea base de cero demostraciones. El rendimiento se estabiliza tras 2 demostraciones.
• Independencia del solapamiento lingüístico: El ICL emerge incluso en la condición "Core" (sin solapamiento lingüístico), aunque el solapamiento léxico (especialmente palabras funcionales y sustantivos) mejora el rendimiento. La similitud semántica no aporta mejoras significativas.
• Impacto de la Sintaxis: La estructura sintáctica del objetivo (pasiva vs. activa) influye más en el rendimiento que la congruencia sintáctica con la demostración. Los objetivos pasivos se generan con mayor precisión en palabras funcionales.
• Efecto Crítico de la Velocidad de Habla:
  • Las demostraciones con velocidad rápida (2x) degradan significativamente el rendimiento del ICL.
  • Las demostraciones con velocidad lenta (0.5x) no perjudican y, en algunos casos, mejoran ligeramente el rendimiento, probablemente porque proporcionan más información temporal dispersa para el aprendizaje en contexto.

B. Imitación Acústica

• Velocidad: El modelo imita la velocidad de habla de las demostraciones. La salida es más rápida tras demostraciones rápidas y más lenta tras demostraciones lentas. Este efecto es más fuerte tras 3 demostraciones para la velocidad rápida, pero visible tras 1 para la lenta.
• Tono e Intensidad: El rango de tono (plano vs. regular) y la intensidad no se imitan consistentemente ni afectan al rendimiento de la tarea. Solo se observa un efecto leve en la intensidad cuando se usan voces específicas (Kokoro-TTS).

C. Papel de las Cabezales de Inducción

• Identificación: Se identificaron cabezales con alta puntuación de "coincidencia de prefijos" (prefix-matching). Existe una superposición significativa entre cabezales para texto y voz, pero también hay cabezales específicas de modalidad (25 únicas para voz y 25 únicas para texto entre las top 50).
• Ablación Causal:
  • Eliminar las cabezales de prefijo de voz (específicas o generales) provoca una caída drástica en el rendimiento del ICL.
  • Eliminar las cabezales de prefijo de texto también reduce el rendimiento, pero el efecto es menor que en las de voz para esta tarea específica.
  • Eliminar cabezales aleatorias o las de "no coincidencia de prefijo" tiene un impacto mínimo o incluso mejora ligeramente el rendimiento.
  • Conclusión: Las cabezales de inducción son causales para el ICL en SpeechLMs, y la coincidencia de prefijos en tokens de voz es particularmente crítica.

5. Significado e Implicaciones

Este trabajo establece que el ICL en modelos de voz no es simplemente una extensión del ICL textual, sino que está fuertemente modulado por la temporalidad acústica (velocidad de habla).

• Interpretación Mecanística: Los autores proponen que las características que mejoran el ICL (como el solapamiento léxico o la velocidad lenta) lo hacen porque facilitan el mecanismo de coincidencia de prefijos de las cabezales de inducción. Una velocidad más lenta genera más tokens repetidos en el tiempo, ofreciendo más oportunidades para que las cabezales de inducción "copien" y generalicen patrones.
• Brecha Texto-Voz: Los resultados sugieren que los LLMs puramente textuales podrían tener cabezales de inducción más fuertes o eficientes que los SpeechLMs, lo que podría explicar por qué los modelos de texto superan a los de voz en tareas de razonamiento y comprensión con pocos ejemplos.
• Aplicaciones Futuras: Estos hallazgos guían el diseño de prompts para sistemas de voz (evitando velocidades extremas) y abren la puerta a investigaciones sobre la interpretabilidad mecánica en modelos multimodales.