Resumen Técnico: dots.tts

1. Declaración del Problema

El artículo aborda dos limitaciones primarias en los sistemas actuales de Conversión de Texto a Voz (TTS):

1. Limitaciones de Tokens Discretos: Los sistemas de TTS autorregresivos (AR) predominantes dependen de tokens acústicos discretos. Si bien esto permite la reutilización de pilas de Modelos de Lenguaje de Gran Escala (LLM), el cuello de botella de la cuantización limita la capacidad del sistema para modelar una distribución única que cubra habla, paralingüística emocional, canto y audio general.
2. Inestabilidad de los AR Continuos: Los intentos recientes de modelar el habla como generación AR de representación continua evitan la cuantización, pero sufren de acumulación de errores a largo plazo. A diferencia de los sistemas discretos donde un codec devuelve las muestras imperfectas a configuraciones válidas, los latentes continuos reconstruyen fielmente cada pequeño error de predicción, retroalimentándolo como condicionamiento para el siguiente paso. Esto provoca deriva e inestabilidad durante ejecuciones prolongadas.
3. Post-entrenamiento Inmaduro: La pila de post-entrenamiento para modelos AR continuos es menos madura que la de los sistemas de tokens discretos, careciendo de métodos robustos para corregir errores en tiempo de inferencia sin modelos de recompensa externos.

2. Metodología

dots.tts es un modelo fundacional de TTS end-to-end, totalmente continuo y autorregresivo de 2B de parámetros. Modela el habla en un espacio latente continuo utilizando tres innovaciones arquitectónicas y de entrenamiento fundamentales:

A. AudioVAE Causal Semántico

El sistema se basa en un AudioVAE de alta fidelidad que codifica habla mono de 48 kHz en un flujo latente de 128 dimensiones a 25 Hz (submuestreo temporal de 1920×).

• Arquitectura: Utiliza una variante causal del decodificador BigVGAN-v2 y un codificador convolucional totalmente causal.
• Objetivos de Entrenamiento:
  • Etapa 1: Se enfoca en la calidad de la reconstrucción mediante pérdida adversaria de CQT multi-período/sub-banda, pérdida de espectro mel multi-escala y pérdida de emparejamiento de características, regularizada por un prior de KL + flujo.
  • Etapa 2: Mejora la capacidad de aprendizaje para el backbone AR. Añade una pérdida de alineación de representación WavLM (alineación de coseno a nivel de frame) y un bloque de tareas múltiples downstream (ASR, emoción, clasificación de hablante). Esto asegura que el espacio latente esté semánticamente estructurado y sea apto para la predicción sin sacrificar la fidelidad de la reconstrucción.
• Codificador Semántico: Un módulo trasladado del pipeline de entrenamiento del AudioVAE proyecta cada parche latente de VAE de 25 Hz en un único embedding semántico de audio de 6.25 Hz. Esto elimina los detalles acústicos de alta varianza, proporcionando al LLM un resumen semántico compacto en lugar de latentes brutos.

B. Backbone de Flow-Matching Autorregresivo

El backbone consta de tres componentes desacoplados:

1. Codificador Semántico: Convierte los parches de VAE en entradas para el LLM.
2. Backbone LLM: Inicializado desde Qwen2.5-1.5B, consume tokens de texto BPE y los embeddings semánticos de 6.25 Hz. Maneja el modelado de texto-a-contenido de largo alcance.
   • Streaming Dual: Soporta un modo intercalado 1T1A (alternando tokens de texto y pasos de audio) para diálogos de baja latencia, permitiendo que la síntesis comience antes de que esté disponible una expresión completa.
3. Cabezal de Flow-Matching Autorregresivo (AR-FM): Un Transformer de Difusión (DiT) que genera el siguiente parche latente de VAE de cuatro frames.
   • Condicionamiento de Historia Completa: El cabezal se condiciona en el estado oculto del LLM, todos los parches limpios previos y el parche ruidoso actual.
   • Atención Causal por Bloques: Una máscara de entrenamiento especializada permite el entrenamiento paralelo a través de todos los parches mientras reproduce estrictamente el contexto autorregresivo por paso de la inferencia, asegurando la identidad numérica entre el entrenamiento y la ejecución.

C. Pipeline de Entrenamiento y Post-entrenamiento

El entrenamiento procede en tres etapas:

1. Preentrenamiento:
   • Alineación de Modalidad: Alinea el codificador semántico y el cabezal AR-FM con el LLM congelado.
   • Entrenamiento General: Entrenamiento end-to-end en 1.5M de horas de datos multilingües.
   • Recocido (Annealing): Ajuste fino en un subconjunto de alta calidad.
2. Alineación Autocorrectiva Libre de Recompensa (SOAR):
   • Adapta el concepto SOAR al cabezal de flow-matching AR.
   • El modelo realiza un rollout de Euler desvinculado desde su propio estado de tiempo de inferencia para generar errores "fuera de trayectoria".
   • Luego es entrenado para dirigir estos errores de vuelta hacia el endpoint latente limpio. Esto mejora la robustez y la calidad acústica sin requerir un modelo de recompensa o un profesor externo.
3. Destilación de MeanFlow Consciente de CFG:
   • Destila el DiT profesor autocorrectivo en un DiT estudiante.
   • El estudiante predice la velocidad media (mean velocity) sobre un intervalo de tiempo, fusionando el Classifier-Free Guidance (CFG) directamente en el objetivo.
   • Esto permite la inferencia de baja latencia con solo 2–4 evaluaciones de función (NFE) por paso, eliminando la necesidad de pasadas condicionales/incondicionales separadas.

3. Contribuciones Clave

1. Modelo dots.tts: Un sistema de TTS AR totalmente continuo de 2B de parámetros que elimina los tokens acústicos discretos mientras logra estabilidad de vanguardia y calidad de clonación de voz zero-shot.
2. Mecanismos de Estabilidad: Una tríada de diseños para mitigar la inestabilidad de los AR continuos:
   • Un AudioVAE causal semántico con alineación WavLM.
   • Descomposición en planificación semántica (LLM) y renderizado acústico (AR-FM).
   • Alineación autocorrectiva libre de recompensa para el cabezal de flow-matching.
3. Eficiencia: Implementación de la destilación MeanFlow consciente de CFG y streaming intercalado 1T1A totalmente causal, logrando bajas latencias de primer paquete (85 ms en modo simple, 54 ms en modo intercalado) aptas para despliegue en tiempo real.

4. Resultados Experimentales

El modelo fue entrenado con 1.5M de horas de habla y evaluado en múltiples benchmarks:

• Seed-TTS-Eval (Clonación de Voz Zero-Shot):

  • Logró el mejor rendimiento promedio entre los sistemas de código abierto.
  • WER: 0.94% (zh), 1.30% (en), 6.60% (zh-hard).
  • SIM (Similitud de Hablante): 81.0 (zh), 77.1 (en), 79.5 (zh-hard).
  • Superó a baselines como CosyVoice 3, Seed-TTS y VoxCPM 2.

• Set de Prueba Multilingüe de MiniMax (24 Idiomas):

  • Lideró en similitud de hablante promedio (83.9), superando al siguiente mejor baseline (VoxCPM 2 con 82.3).
  • Logró la mayor SIM en 19 de 24 idiomas.
  • El WER fue competitivo, aunque ligeramente superior en idiomas de bajos recursos debido a los límites de cobertura de tokens BPE.

• CV3-Eval (Clonación Translingüe):

  • Lideró la similitud de hablante en tareas translingües (75.0 para en→zh, 72.8 para zh→en), superando significativamente a CosyVoice 3.
  • Mostró ganancias significativas en el subconjunto "hard-en" tras la etapa de post-entrenamiento SOAR.

• EmergentTTS-Eval (Expresividad):

  • Alcanzó la puntuación de Complejidad Sintáctica más alta (65.7%) entre todos los sistemas (abiertos y cerrados), superando a Gemini-2.5-Pro.
  • Lideró en sistemas de código abierto en Emociones (72.7%) y en la tasa de victoria general contra gpt-4o-mini-tts.
  • Se observó un compromiso donde SOAR mejoró la fidelidad textual (Sintaxis) a costa de una ligera reducción en la expresividad emocional comparado con el checkpoint pre-entrenado.

• Eficiencia:

  • En una sola GPU NVIDIA H800, el modelo destilado con MeanFlow logró un Tiempo al Primer Paquete (TTFP) de 54 ms en modo de streaming intercalado con un RTF de 0.245.

5. Significado y Reivindicaciones

El artículo afirma que dots.tts logra cerrar la brecha entre la expresividad de la generación de latentes continuos y la estabilidad requerida para la producción. Al desacoplar el razonamiento semántico del renderizado acústico e introducir un mecanismo de autocorrección libre de recompensa, los autores demuestran que el TTS AR continuo puede alcanzar una estabilidad y calidad de clonación de voz de vanguardia sin necesidad de cuantización discreta.

El trabajo se presenta como un stack de referencia reproducible para el TTS AR continuo, publicado bajo la licencia Apache 2.0 con el código completo de entrenamiento e inferencia. Los autores posicionan el sistema como una solución viable para aplicaciones conversacionales en tiempo real, ofreciendo un equilibrio de alta fidelidad, cobertura multilingüe y baja latencia que los modelos continuos anteriores luchaban por lograr simultáneamente.

Limitaciones Reconocidas:

• Idiomas de Bajos Recursos: El rendimiento en idiomas con escrituras divergentes o subrepresentadas (ej. árabe, hindi) está limitado por la cobertura de tokens BPE.
• Alcance: El lanzamiento actual se centra en el habla; el canto y la generación unificada de sonido y habla no están cubiertos.
• Control: El sistema se evalúa bajo condiciones canónicas zero-shot sin control explícito de estilo o instrucción (aunque un dataset emparejado con descripciones sugiere un camino a seguir).
• Seguridad: Los autores reconocen los riesgos de la clonación de voz zero-shot de alta fidelidad y recomiendan el uso de políticas conscientes del consentimiento y herramientas de detección.