Resumen Técnico: Entrenamiento de Extremo a Extremo para Sistemas TTS Basados en Tokens Discretos de LLM

Planteamiento del Problema

Los sistemas actuales de texto a voz (TTS) de vanguardia (SOTA) suelen depender de un pipeline en cascada que comprende un tokenizador de voz, un Modelo de Lenguaje Grande (LLM) autorregresivo y un modelo de flujo de emparejamiento (FM) basado en difusión. Estos componentes están tradicionalmente diseñados y entrenados de forma independiente, lo que conduce a tres limitaciones primarias:

1. Objetivos Desalineados: Los tokenizadores se pre-entrenan utilizando objetivos de aproximación (por ejemplo, precisión de ASR, calidad de la representación SSL o fidelidad de auto-codificación) que pueden no alinearse con las necesidades descendentes de la predicción de tokens autorregresiva o la reconstrucción por FM. Esto suele resultar en un comportamiento subóptimo de extremo a extremo, donde el aumento de la expresividad de los tokens (por ejemplo, libros de códigos más grandes) beneficia la reconstrucción pero incrementa la dificultad de aprendizaje para el LLM.
2. Representaciones de Tokens Opacas: Debido a la naturaleza de caja negra de las redes neuronales, la información codificada en los tokens discretos es difícil de desentrañar. Los tokens suelen contener factores de variación entrelazados, redundantes y no controlables (por ejemplo, atributos del hablante mezclados con contenido semántico), lo que introduce ambigüedad en la predicción y reduce la controlabilidad de la síntesis.
3. Desajuste entre Entrenamiento y Prueba (Train-Test Mismatch): El modelo FM se entrena típicamente con tokens de verdad fundamental (ground-truth) en lugar de con los tokens predichos por el LLM. En consecuencia, los errores y los cambios en la distribución de los outputs del LLM se propagan al FM, degradando la calidad de la síntesis en el tiempo de inferencia. Además, los LLM entrenados únicamente para maximizar la verosimilitud de los tokens tienden a converger hacia generaciones "seguras" y "promedio", fallando en capturar la diversidad de la prosodia y el estilo requeridos para una TTS expresiva.

Aunque estudios recientes han intentado una optimización conjunta parcial (por ejemplo, acoplando tokenizadores con modelos de difusión o LLMs con modelos de recompensa), los enfoques existentes suelen fallar al no optimizar el sistema de manera holística, dejando inconsistencias en la interfaz y desajustes entre el entrenamiento y la prueba en sus componentes entrenados independientemente.

Metodología

El artículo propone un marco de optimización totalmente de Extremo a Extremo (E2E) que unifica el entrenamiento del tokenizador de voz, el LLM, el modelo FM y un modelo de Recompensa (RM) auxiliar. El marco utiliza dos funciones de pérdida distintas y un pipeline de entrenamiento de tres etapas.

Componentes Principales

• Tokenizador de Voz: Utiliza Cuantificación Escalar Finita (FSQ) para convertir señales de voz en secuencias de tokens discretos ($c_{1:T}$) y representaciones cuantizadas ($q_{1:T}$).
• Modelo de Recompensa (RM): Un modelo de reconocimiento multitarea que realiza Reconocimiento Automático del Habla (ASR), Reconocimiento de Emoción del Hablante (SER) e Identificación del Hablante (SPK) sobre las representaciones de los tokens.
• Modelo de Flujo de Emparejamiento (FM): Un Transformer de Difusión (DiT) que reconstruye la voz a partir de las representaciones de los tokens.
• Modelo de Lenguaje Grande (LLM): Un modelo autorregresivo que predice el siguiente token de voz condicionado al texto de entrada y a los tokens previos.

Funciones de Pérdida

1. Pérdida de Primer Orden ($L_1$):

   • Objetivo: Optimiza conjuntamente el tokenizador utilizando tokens de verdad fundamental.
   • Componentes:
     • $L_{LLM}$: Pérdida de predicción del siguiente token.
     • $L_{RM}$: Suma de las pérdidas de ASR (CTC), SER (Entropía Cruzada) y SPK (Similitud de Coseno).
     • $L_{FM}$: Pérdida de reconstrucción de flujo de emparejamiento.
   • Mecanismo: Los gradientes de estas tareas se propagan directamente hacia atrás al tokenizador, moldeando el espacio de tokens discretos para que sea acústica y semánticamente relevante para el pipeline específico de TTS.

2. Pérdida de Segundo Orden ($L_2$):

   • Objetivo: Optimiza el LLM bajo su propia distribución de generación para mitigar el desajuste entre entrenamiento y prueba.
   • Mecanismo: El LLM genera secuencias de tokens (usando Gumbel-Softmax para asegurar la diferenciabilidad) que son introducidas en el FM y el RM. El sistema se optimiza entonces basándose en la calidad de la reconstrucción ($L_{LFM}$) y la consistencia de reconocimiento ($L_{LRM}$) de estos tokens predichos.
   • Efecto: Esto actúa como un alineamiento de tipo refuerzo, alentando al LLM a generar tokens que no solo sean precisos, sino también robustos ante los requisitos de reconstrucción y reconocimiento descendentes.

Pipeline de Entrenamiento

El entrenamiento se lleva a cabo en tres etapas para asegurar la estabilidad:

1. Etapa 1: Todos los parámetros son entrenables usando $L_1$. El objetivo es entrenar el tokenizador con supervisión descendente proveniente del RM, FM y LLM.
2. Etapa 2: El tokenizador se congela. El RM, el FM y el LLM se entrenan de forma independiente (potencialmente con diferentes conjuntos de datos, añadiendo datos ruidosos para el RM).
3. Etapa 3: El RM se congela. El LLM y el FM se entrenan conjuntamente usando $L_2$ (pérdida de segundo orden) para alinear la distribución de generación del LLM con las capacidades de reconstrucción del FM.

Contribuciones Clave

• Marco Holístico E2E: El artículo introduce un marco de entrenamiento unificado que optimiza simultáneamente el tokenizador, el LLM, el FM y el RM, yendo más allá de las limitaciones de los pipelines en cascada entrenados independientemente.
• Optimización de Doble Etapa: La distinción entre la Pérdida de Primer Orden (supervisión de verdad fundamental para el moldeado del tokenizador) y la Pérdida de Segundo Orden (supervisión consciente de la generación para el alineamiento del LLM) aborda tanto el aprendizaje de representaciones como el desajuste en el tiempo de inferencia.
• Análisis Teórico: Los autores formulan el entrenamiento del tokenizador de voz como un problema de codificación de fuente, demostrando que los objetivos E2E propuestos maximizan la entropía de los tokens ($H(X_n)$) y la dependencia temporal ($I(X_{n+1}; X_n)$), lo que conduce a una utilización más eficiente del libro de códigos y una mejor retención de la información predictiva.
• Pipeline de Entrenamiento Simplificado: El método logra resultados SOTA con un proceso de entrenamiento significativamente más simple en comparación con los sistemas complejos en cascada existentes.

Resultados Experimentales

El sistema fue evaluado en el benchmark Seed-TTS-Eval utilizando un LLM de 0.6B de parámetros y un modelo FM de 0.5B de parámetros.

• Desempeño de Zero-Shot TTS:
  • Logró una Tasa de Error de Palabra (WER) de 0.78% (Chino) y 1.56% (Inglés).
  • Estos resultados representan un nuevo SOTA para sistemas con tamaños de parámetros comparables, superando a las líneas base en cascada y otros modelos recientes (por ejemplo, Seed-TTS, CosyVoice3, Qwen3-TTS) tanto en consistencia de contenido (WER/CER) como en similitud de hablante (SS).
• Reconstrucción y Reconocimiento:
  • El modelo FM mostró mejoras sustanciales en WER y Similitud de Hablante (SS) entre las etapas de entrenamiento, particularmente cuando se introdujo el entrenamiento conjunto con el tokenizador.
  • El RM demostró un desempeño robusto en ASR y SER, superando a los tokenizadores S3 y Qwen-TTS en tareas de ASR en chino.
• Estudios de Ablación:
  • Eliminar el entrenamiento E2E (pre-entrenar el tokenizador de forma independiente) resultó en un desempeño inferior, confirmando el papel crítico de la optimización conjunta.
  • El análisis estadístico de las distribuciones de tokens mostró que el entrenamiento E2E conduce a una mayor entropía de información y una utilización más uniforme del libro de códigos en comparación con los modelos entrenados sin $L_{LLM}$ o $L_{FM}$.

Significancia

El artículo sostiene que la optimización de Extremo a Extremo holística es crítica para mejorar los sistemas de TTS basados en tokens discretos. Al alinear el aprendizaje de representación del tokenizador directamente con los requisitos del LLM y el FM, el sistema supera los problemas de desalineación y los desajustes entre entrenamiento e inferencia inherentes a los enfoques en cascada. Los resultados validan que un pipeline de entrenamiento mucho más simple, que unifica la optimización de todos los componentes, puede alcanzar un rendimiento comparable o superior a los sistemas SOTA actuales, reduciendo significativamente la complejidad de la infraestructura de entrenamiento.