HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

Resumen Técnico: HybridCodec

Planteamiento del Problema

La rápida adopción de Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ha establecido a los códecs de audio neuronales como tokenizadores de voz esenciales, lo que requiere la separación efectiva de la información semántica (contenido lingüístico) y acústica (identidad del hablante, prosodia, condiciones de grabación). Los enfoques existentes generalmente se dividen en dos paradigmas, cada uno con distintas limitaciones:

1. Modelos de Flujo Dual (p. ej., DualCodec): Estos emplean flujos separados para las características semánticas y acústicas, utilizando a menudo un modelo de Aprendizaje Auto-Supervisado (SSL) de gran tamaño (p. ej., w2v-BERT-2.0) para extraer representaciones semánticas. Aunque logran un fuerte desenredamiento semántico-acústico, incurren en una alta latencia de inferencia debido a la sobrecarga computacional del codificador SSL.
2. Modelos de Destilación Semántica (p. ej., Mimi, DAC con Destilación): Estos inyectan supervisión semántica destilando representaciones SSL en la primera capa de Cuantización de Vector Residual (RVQ) de un códec estándar. Esto elimina la necesidad de un modelo SSL durante la inferencia, ofreciendo una latencia rápida, pero típicamente resulta en una especialización semántica más débil en el primer libro de códigos en comparación con los enfoques de flujo dual.

El desafío central abordado por este trabajo es lograr el fuerte desenredamiento semántico de los modelos de flujo dual manteniendo la eficiencia de inferencia de los modelos basados en destilación, sin requerir un codificador SSL pesado durante la inferencia.

Metodología

Los autores proponen HybridCodec, una arquitectura unificada que integra la estructura de flujo dual con la destilación semántica. El sistema opera de la siguiente manera:

• Descripción General de la Arquitectura: El modelo utiliza un codificador y un decodificador comunes basados en Redes Neuronales Convolucionales (CNN). El codificador común procesa formas de onda crudas de 24kHz en representaciones latentes, que luego se dividen en dos ramas paralelas: una Rama Semántica y una Rama Acústica.
• Rama Semántica: Esta rama consiste en un Codificador Semántico (SE) y un Decodificador Semántico (SD) ligeros que rodean una capa de Cuantización de Vector (VQ). El SE procesa los latentes del codificador común para producir códigos RVQ-1. Crucialmente, el SD está entrenado para destilar información semántica de las representaciones SSL (específicamente, embeddings de la capa 16 de w2v-BERT-2.0) mediante una pérdida de destilación semántica. El modelo SSL permanece congelado durante el entrenamiento y se elimina por completo durante la inferencia.
• Rama Acústica: Esta rama contiene un Codificador Acústico (AE) ligero, una capa de Cuantización de Vector Residual (RVQ) y un Decodificador Acústico (AD). Para forzar el desenredamiento, la salida del decodificador semántico se resta de la salida del codificador común antes de ser pasada al codificador acústico. Esto asegura que la rama acústica modele solo la información acústica residual no capturada por la rama semántica.
• Objetivos de Entrenamiento: El modelo se entrena de extremo a extremo utilizando una función de pérdida compuesta:
  • Pérdida de Reconstrucción de Espectrograma ($L_{spec}$): Pérdida de espectrograma Mel multiescala para la fidelidad acústica.
  • Pérdida de Destilación Semántica ($L_{distill}$): Error Cuadrático Medio (MSE) entre la salida del decodificador semántico y las características SSL submuestreadas.
  • Pérdida de Cuantización ($L_q$): Incluye pérdidas de libro de códigos y de compromiso para ambos flujos.
  • Pérdida Adversaria ($L_{adv}$) y Pérdida de Emparejamiento de Características ($L_{fm}$): Utilizando discriminadores de STFT multi-período y multi-escala para mejorar el realismo perceptual.

Contribuciones Clave

1. Arquitectura Unificada: El artículo introduce HybridCodec, que combina con éxito el paradigma de flujo dual con la destilación semántica. Este diseño modela explícitamente la información semántica y acústica por separado, aprovechando al mismo tiempo el conocimiento SSL sin requerir el modelo SSL durante la inferencia.
2. Comparación Sistemática: Los autores proporcionan una comparación exhaustiva de los paradigmas de desenredamiento semántico-acústico bajo un entorno experimental unificado, analizando las compensaciones entre el rendimiento semántico, la calidad acústica y la velocidad de inferencia en entornos in-domain, cross-lingual y zero-shot.
3. Compensación Rendimiento-Velocidad: El modelo propuesto logra velocidades de inferencia comparables a los códecs basados en destilación, preservando la fuerte capacidad de desenredamiento semántico-acústico característica de los modelos de flujo dual.

Resultados Experimentales

Los experimentos se realizaron en el corpus LibriSpeech (in-domain), SeedTTS-en (out-of-domain) y Common Voice French (zero-shot cross-lingual).

• Especialización Semántica (RVQ-1): HybridCodec (específicamente la variante HC-SED-AED) logró la Tasa de Error de Palabra (WER) más baja en el primer libro de códigos en todos los conjuntos de datos. En LibriSpeech Test Clean, alcanzó un WER del 15.36%, superando a DualCodec (18.93%) y DAC (Distill) (21.54%).
• Reconstrucción Acústica: A medida que se añadieron más cuantificadores (RVQ-all), el rendimiento convergió, manteniéndose HybridCodec competitivo con las líneas base existentes en términos de PESQ, UTMOS y Similitud de Hablante (SSIM).
• Generalización: El modelo demostró robustez en entornos out-of-domain y zero-shot. En la desafiante tarea zero-shot de CV-French, HybridCodec mejoró respecto a DAC (Distill) y se acercó al rendimiento de DualCodec en el WER de RVQ-1.
• Eficiencia de Inferencia: HybridCodec logró una aceleración de 3x sobre DualCodec. Alcanzó un Factor de Tiempo Real (RTF) de 0.014 en comparación con el 0.042 de DualCodec, procesando 348.75 muestras/seg. Esta eficiencia se atribuye a la eliminación del codificador SSL de 600 millones de parámetros requerido por DualCodec durante la inferencia.
• Entrenamiento Extendido: Escalar el entrenamiento de 60k a 300k actualizaciones mejoró aún más el WER y la fidelidad acústica, mostrando HybridCodec ganancias particulares en los niveles más profundos de RVQ.

Significado y Reivindicaciones

El artículo afirma que HybridCodec ofrece una solución práctica y efectiva para la tokenización de voz al cerrar la brecha entre el desenredamiento semántico y la eficiencia de inferencia. Al utilizar una arquitectura de flujo dual con destilación SSL, el modelo elimina la necesidad de codificadores SSL pesados durante la inferencia, manteniendo al mismo tiempo una especialización semántica superior (el menor WER de RVQ-1) y una calidad de reconstrucción competitiva. Los autores sostienen que este enfoque híbrido proporciona un equilibrio balanceado, haciéndolo adecuado para aplicaciones en tiempo real donde se requieren tanto un modelado acústico de alta fidelidad como un fuerte separación semántica. El trabajo demuestra que combinar el desenredamiento de flujo dual con la destilación es un camino viable para la próxima generación de códecs de audio neuronales.