HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models

Resumen Técnico: HybridCodec

Planteamiento del Problema
Las representaciones de audio discretas se han convertido en el estándar para integrar capacidades de audio en los Modelos de Lenguaje Extensos (LLM) y construir sistemas multimodales. Sin embargo, la literatura existente destaca un compromiso fundamental: si bien los tokens discretos facilitan una convergencia estable y una integración fluida con los LLM, el proceso de cuantización inevitablemente descarta detalles acústicos de grano fino. Esta "penalización por cuantización" conduce a una degradación del rendimiento en tareas posteriores, particularmente en la pérdida de identidad del hablante, microprosodia y riqueza acústica, especialmente a bajas tasas de bits. Las soluciones actuales suelen depender de adaptaciones específicas para cada tarea (por ejemplo, difusión o modelado enmascarado) que sacrifican el marco unificado y generalizable proporcionado por los LLM discretos.

Metodología
Los autores proponen HybridCodec, un marco novedoso que cierra la brecha entre la eficiencia discreta y la fidelidad acústica continua. El enfoque consta de dos componentes principales:

1. HybridCodec (El Codificador/Decodificador):

   • Arquitectura: Una extensión de la arquitectura FocalCodec, que emplea una estrategia de codificación de doble vía.
   • Vía Discreta: Extrae tokens discretos comprimidos temporalmente ($z_q$) a partir de las características de audio base mediante Cuantización Esférica Binaria (BSQ).
   • Vía Continua: Calcula el error residual ($x_{res}$) entre las características originales y la aproximación cuantizada. Este residuo es comprimido por un codificador focal dedicado en una representación continua de dimensionalidad reducida ($\bar{x}_{res}$).
   • Decodificación: El decodificador reconstruye la señal aumentando la resolución (upsampling) de los tokens discretos y los residuales continuos por separado, y luego sumándolos ($\hat{x}_{base} = \hat{x}_{quant} + \hat{x}_{res}$) antes de pasarlos a un decodificador Vocos para la síntesis de la forma de onda.
   • Resolución Temporal: El sistema soporta tasas de fotogramas variables (desde 50 Hz hasta 6.25 Hz) ajustando los pasos de submuestreo (strides) del codificador residual.

2. HybridLM (El Modelo de Lenguaje):

   • Arquitectura: Un Transformer de solo decodificador diseñado para procesar las representaciones híbridas.
   • Decodificación Unificada: Unifica dos modos operativos dentro de una sola red utilizando Normalización de Capa Adaptativa (AdaLN):
     • Fase Autoregresiva (AR): Genera tokens discretos para establecer la estructura semántica.
     • Fase No-Autoregresiva (NAR): Predice residuales continuos en una sola pasada hacia adelante (forward pass) para recuperar detalles acústicos de alta fidelidad.
   • Eficiencia de Inferencia: Al generar tokens discretos a una tasa de fotogramas más baja (por ejemplo, 12.5 Hz) y refinarlos con un solo paso NAR, el modelo reduce drásticamente el número total de pasos autoregresivos requeridos en comparación con la generación discreta de tasa completa.

Contribuciones Clave

1. Marco HybridCodec: Un códec de audio neuronal que extrae conjuntamente tokens discretos reducidos en el tiempo y modela la información restante como residuales continuos de dimensionalidad reducida, mitigando eficazmente la relación tasa-distorsión.
2. Arquitectura HybridLM: Un decodificador Transformer unificado que aprovecha AdaLN para multiplexar la generación de tokens AR y la predicción de residuales NAR, permitiendo prompts mixtos discretos-continuos en diferentes escalas temporales.
3. Desempeño Unificado en Tareas Posteriores: Un único marco capaz de manejar las principales tareas de voz (Reconocimiento Automático del Habla y Texto-a-Voz) mientras restaura la información de grano fino perdida en modelos puramente discretos.

Resultados Experimentales
Evaluado en el conjunto de datos LibriTTS, el enfoque demuestra mejoras significativas sobre las líneas base puramente discretas, particularmente en tasas de fotogramas ultra bajas:

• Resíntesis: A 12.5 Hz, HybridCodec logró una tasa de error de palabra diferencial (dWER) de 1.47, una mejora sustancial sobre la dWER de 7.94 del modelo base FocalCodec (solo discreto). La similitud del hablante (SpkSim) se mantuvo alta (97.1) incluso a 12.5 Hz.
• Texto-a-Voz (TTS): En configuraciones zero-shot a 12.5 Hz, el método híbrido más que duplicó la puntuación UTMOS (4.10 frente a 1.99) y redujo la dWER en más de la mitad (14.79 frente a 32.97) en comparación con los modelos solo discretos. En un extremo de 6.25 Hz, el enfoque híbrido mantuvo un UTMOS de 3.08, superando ampliamente al modelo base discreto (1.44).
• Reconocimiento Automático del Habla (ASR): La inclusión de residuales continuos mejoró consistentemente la precisión de la transcripción. A 50 Hz, la tasa de error de palabra (WER) cayó de 28.11 a 23.36. Esta mejora persistió incluso con altos niveles de compresión (12.5 Hz y 6.25 Hz), confirmando que las claves acústicas continuas mejoran en lugar de interferir con las representaciones semánticas.

Significancia
El artículo afirma que HybridCodec representa el primer enfoque que unifica el refinamiento discreto y continuo dentro de una única arquitectura Transformer. Al aprovechar la eficiencia de los tokens discretos para la estructura semántica y los residuales continuos para la fidelidad acústica, el marco logra una síntesis de voz de alta fidelidad a tasas de fotogramas ultra bajas (hasta 6.25 Hz). Esto reduce significativamente el costo computacional de la inferencia (menos pasos autoregresivos) al tiempo que restaura las características del hablante y los matices prosódicos que suelen perderse en las representaciones puramente discretas. El trabajo sugiere un camino viable hacia sistemas multimodales de voz de alta calidad y eficientes.