Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation

Resumen Técnico: Alineación de Habla-Texto en Tasa de Fotogramas y Representación

Planteamiento del Problema
Los modelos de diálogo hablado construidos sobre arquitecturas base de Grandes Modelos de Lenguaje (LLM) de texto suelen exhibir capacidades de razonamiento degradadas cuando se condicionan con tokens de habla en comparación con los tokens de texto. Los autores atribuyen este desfase de modalidad principalmente a un desajuste de granularidad temporal. Los tokenizadores de habla estándar operan a altas tasas de fotogramas (12.5–50 Hz), generando secuencias órdenes de magnitud más largas que sus contrapartes de texto para el mismo contenido semántico. Esta redundancia temporal diluye la densidad semántica por token, sobrecarga el mecanismo de autoatención con posiciones de baja información y perturba la dinámica de razonamiento "nativa del texto" que el LLM fue preentrenado para modelar.

Las soluciones existentes suelen implicar el entrenamiento post-entrenamiento de extremo a extremo del modelo base sobre habla, lo cual es costoso y entrelaza las mejoras en la representación de la habla con cambios en el propio LLM. Este trabajo, en cambio, aisla la representación de la habla como la única variable al congelar el backbone de texto del LLM, tratando el diseño del token de habla como un problema de selección de representación bajo una configuración controlada.

Metodología
El estudio investiga dos dimensiones primarias: alineación de la tasa de fotogramas y alineación de la representación, manteniendo una tasa de información fija (bits/segundo) para asegurar una comparación justa.

1. Alineación de Longitud y Arquitectura Escalable:

   • El Cuello de Botella: Reducir las tasas de fotogramas para igualar la tasa promedio de tokens de texto (~3.32 Hz) crea un severo cuello de botella de información bajo diseños estándar de un solo código o una sola cabeza. Los experimentos mostraron que el simple submuestreo de características con un tamaño de código fijo conduce a una degradación catastrófica en el rendimiento de Reconocimiento Automático del Habla (ASR) por debajo de 6.25 Hz.
   • Solución Propuesta: Para superar esto, los autores introducen una arquitectura escalable que combina la Cuantización Escalar Finita Factorizada (FSQ) y una cabezal de lenguaje de audio No-Autorregresivo (NAR) ligero.
     • FSQ Factorizada: En lugar de predecir desde un vocabulario exponencialmente grande, el método particiona las dimensiones de las características en $n$ grupos. Cada grupo se predice en paralelo, factorizando la tarea de clasificación en subproblemas manejables mientras mantiene un alto tamaño de código implícito (escalando la capacidad a casi 300 bits/fotograma).
     • Cabezal de Audio NAR: Un transformador ligero (2 capas) procesa las consultas de los grupos en paralelo para capturar dependencias inter-grupo antes de que una capa de clasificación compartida prediga los tokens. Esto evita el crecimiento prohibitivo de parámetros asociado con vocabularios grandes en las cabezales lineales estándar.

2. Alineación de la Representación:

   • Los autores introducen un objetivo contrastivo utilizando InfoNCE para fomentar explícitamente que los embeddings de habla y texto residan en un espacio latente compartido.
   • Crucialmente, esta alineación se realiza en capas ocultas intermedias del LLM en lugar de solo en la capa de embedding de entrada. Esto permite que la correspondencia semántica se inyecte a través de toda la jerarquía del LLM sin actualizar los parámetros del backbone.

3. Configuración Experimental:

   • Backbone: Modelos de texto Qwen3-4B y Qwen3-8B congelados.
   • Codificador: Whisper-Large-v3 congelado (características de 50 Hz).
   • Pipeline de Entrenamiento: Un enfoque progresivo de tres etapas: (1) Habla-a-Texto (ASR), (2) Texto-a-Habla (TTS), y (3) Pregunta-Respuesta (QA) de Habla-a-Habla.
   • Variables: El estudio recorre tasas de fotogramas desde 50 Hz hasta 2.08 Hz manteniendo la tasa de información constante en 600 bits/s.

Resultos Clave

• Tasa de Fotogramas Óptima: Los experimentos revelan un "punto ideal" consistente para el rendimiento de QA de habla en 4.17 Hz (factor de submuestreo de 12×), siendo 6.25 Hz también un buen desempeño.
  • Altas Tasas de Fotogramas (>12.5 Hz): El rendimiento se degrada debido a la redundancia temporal, donde el LLM congelado lucha por procesar secuencias largas con baja densidad semántica.
  • Tasas de Fotogramas Muy Bajas (<3.32 Hz): El rendimiento se degrada porque la densidad de información por token se vuelve demasiado alta para que el LLM congelado la prediga con precisión, particularmente en tareas de generación (TTS).
  • ¿Por qué 4.17 Hz en lugar de 3.32 Hz? Aunque 3.32 Hz coincide con la tasa promedio de tokens de texto, las expresiones individuales varían en su ritmo de habla. Operar ligeramente por encima de la media (4.17 Hz) proporciona un margen de maniobra, asegurando que incluso las expresiones que hablan más rápido permanezcan dentro del rango de tolerancia de longitud de entrada del LLM (verificado mediante experimentos de estiramiento de longitud de MMLU).
• Alineación de la Representación: Alinear en la capa media (L/2) del LLM produce la mejora más significativa (+7.4 puntos en Llama Questions) en comparación con la alineación a nivel de embedding o de capas tardías. Esto sugiere que el desfase de la modalidad es más crítico en las representaciones semánticas intermedias.
• Eficiencia de Datos: El sistema propuesto logra un rendimiento competitivo de QA de Habla-a-Habla utilizando solo 2.5k horas de datos y ~100M de parámetros entrenables (para el backbone de 4B). Esto supera a sistemas como Moshi (backbone de 7B, 7M de horas) y se acerca a sistemas entrenados con más de 100B de tokens, a pesar de utilizar un backbone congelado.
• Reconstrucción: El tokenizador FSQ factorizado mantiene una fuerte calidad de reconstrucción de la voz (UTMOS y similitud de locutor) incluso a 4.17 Hz, lo que indica que reducir la tasa de fotogramas no crea inherentemente un cuello de botella de reconstrucción.

Significancia y Reivindicaciones
El artículo afirma proporcionar un análisis controlado y sistemático de cómo la tokenización de la habla afecta el razonamiento en LLMs congelados, aislando el impacto de la estructura temporal del proceso de adaptación del modelo.

• La Tasa de Fotogramas como Variable de Diseño: Los autores argumentan que la tasa de fotogramas es un "controlador de primer orden" en el diseño de tokens de habla. Igualar la granularidad temporal de la habla con la del texto (mediante un submuestreo moderado) es esencial para heredar las capacidades de razonamiento nativas del texto.
• Sinergia de Longitud y Semántica: El estudio demuestra que la alineación de longitud (vía tasa de fotogramas óptima) y la alineación de representación (vía aprendizaje contrastivo en capas intermedias) son complementarias. La alineación de longitud asegura la compatibilidad estructural, mientras que la alineación de representación cierra la brecha semántica.
• Guías Prácticas: Los hallazgos ofrecen orientación concreta para el diseño futuro de tokens de habla:
  1. Apuntar a tasas de fotogramas moderadas ligeramente superiores a la media de tokens de texto (4.17–6.25 Hz) para acomodar la variabilidad de la expresión.
  2. Utilizar códigos factorizados (como FSQ) para mitigar los cuellos de botella de información en tasas de fotogramas bajas.
  3. Alinear las representaciones en las capas intermedias del LLM en lugar de solo en la entrada.
• Eficiencia: El trabajo demuestra que se pueden construir sistemas de diálogo hablado de alto rendimiento con un mínimo de parámetros entrenables y datos, aprovechando las capacidades de razonamiento de los LLM de texto preentrenados mediante una cuidadosa ingeniería de representación, en lugar de un ajuste fino de todo el modelo.