💬 NLP

DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis

El artículo presenta DLLM-TTS, un marco de 0.6 mil millones de parámetros que formula la síntesis de texto a voz como una difusión discreta de bloques condicionales sobre tokens de códec de audio neuronal, logrando un rendimiento competitivo con alta inteligibilidad y un factor de tiempo real de 0.15 mediante la predicción paralela de tokens dentro de bloques secuenciales.

Autores originales: Wasim Madha, Nityanand Mathur, Hamees Sayed, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wasim Madha, Nityanand Mathur, Hamees Sayed, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a cantar. Tienes dos formas principales de hacerlo, y ambas tienen un inconveniente molesto. La primera forma es como un estudiante leyendo un libro en voz alta, palabra por palabra. Consigue la pronunciación perfecta y la historia tiene sentido, pero tiene que terminar la frase completa antes de poder empezar la siguiente. Es lento, y si quieres que el robot suene como una persona específica, necesitas alimentarlo con una biblioteca masiva de libros (o, en este caso, horas y horas de habla grabada) para aprender el truco. La segunda forma es como un coro donde todos cantan su parte exactamente al mismo tiempo. Es increíblemente rápido, pero a menudo los cantantes se pierden, saltan palabras o se repiten porque no están escuchando a la persona anterior.

Durante años, los científicos han estado atrapados eligiendo entre "perfecto pero lento" o "rápido pero desordenado". Este artículo, escrito por un equipo de Smallest.ai, se adentra en ese punto medio desordenado. Están trabajando en el campo del Text-to-Speech (TTS), que es la tecnología que convierte el texto escrito en audio hablado. La idea clave con la que juegan es la "difusión discreta". Piensa en esto como un juego de "el teléfono descompuesto" jugado a la inversa. En lugar de susurrar un mensaje a lo largo de una línea, imagina que tienes una oración donde todas las palabras están ocultas tras signos de interrogación. El trabajo del robot es adivinar las palabras faltantes, pero no solo las adivina una por una. Adivina un bloque entero de palabras a la vez, comprueba si tienen sentido y luego las refina. Los autores querían ver si podían combinar la velocidad del método del "coro" con la precisión del método del "estudiante", todo ello utilizando mucha menos información de entrenamiento de lo habitual.

El equipo presenta un nuevo marco llamado DLLM-TTS. En lugar de intentar generar toda la señal de voz a la vez o una pequeña pieza a la vez, dividen el audio en pequeños "bloques", como capítulos de un libro. Imagina que el habla es un tren largo. Los viejos métodos rápidos intentaban construir todo el tren a la vez, lo que a menudo provocaba que los vagones se salieran de las vías. Los viejos métodos lentos construían el tren un vagón a la vez, esperando a que cada uno terminara antes de empezar el siguiente. DLLM-TTS construye el tren en grupos de vagones (bloques). Dentro de cada grupo, el robot adivina todos los vagones simultáneamente, pero espera a que el grupo anterior haya terminado antes de comenzar el siguiente.

Este enfoque de "bloque" permite que el robot sea rápido porque puede trabajar en muchas partes del sonido al mismo la vez, pero mantiene la precisión porque sigue respetando el orden de la historia. El robot utiliza un tipo especial de "enmascaramiento" para aprender. Durante el entrenamiento, el robot se le muestra una oración donde algunas palabras están ocultas, y tiene que averiguar cuáles son basándose en el texto y en una breve muestra de la voz que quiere imitar. Debido a que el robot ve la misma oración con diferentes palabras ocultas cada vez, aprende las reglas del habla mucho más rápido que si simplemente leyera la oración de principio a fin. Esto es como aprender una canción practicando diferentes estrofas en orden aleatorio en lugar de simplemente cantar toda la canción una y otra vez; aprendes la melodía y la letra de manera más eficiente.

Los resultados son bastante prometedores. El equipo entrenó un modelo con 0.6 mil millones de parámetros (una medida de qué tan "grande" es el cerebro del robot) utilizando solo 20,000 horas de datos de voz. Para poner esto en perspectiva, otros robots de primer nivel a menudo necesitan entre 60,000 y 250,000 horas de datos para aprender los mismos trucos. A pesar de usar menos datos, su robot compite competitivamente en pruebas estándar sobre qué tan bien habla y qué tanto se parece a la persona que está imitando. En cuanto a la velocidad, el robot puede generar voz en tiempo real con un "Factor de Tiempo Real" (RTF) de 0.15. Esto significa que al robot solo le toma 0.15 segundos generar un segundo de audio, lo que lo hace lo suficientemente rápido para conversaciones en vivo.

El artículo sugiere que este enfoque basado en bloques es una alternativa sólida a los métodos tradicionales. Demuestra que no es necesario tener una cantidad masiva de datos o un proceso secuencial súper lento para obtener un habla de alta calidad. Al dividir el problema en fragmentos manejables y utilizar una estrategia de "adivinar y refinar", los autores han creado un sistema que es tanto eficiente en datos como rápido. Si bien el artículo no afirma que esta sea la solución definitiva a todos los problemas del habla, demuestra que esta forma específica de combinar velocidad y precisión funciona muy bien, ofreciendo un nuevo camino para hacer robots que puedan hablar de forma natural y rápida sin necesidad de una biblioteca de cada voz del mundo para aprender.

Resumen Técnico: DLLM-TTS

1. Planteamiento del Problema

Los sistemas actuales de Texto a Voz (TTS) enfrentan un compromiso fundamental entre la calidad de generación y la eficiencia de la inferencia.

Modelos de Lenguaje de Códec Autorregresivos (AR-LLMs): Estos modelos (por ejemplo, VALL-E, LLASA) producen un habla altamente inteligible con fuertes capacidades de zero-shot, pero requieren conjuntos de datos masivos (60k–250k horas) y generan tokens secuencialmente, lo que resulta en una alta latencia que dificulta las aplicaciones en tiempo real.
Enfoques No Autoregresivos (NAR): Los métodos basados en el ajuste de flujo (flow matching) o difusión permiten la generación en paralelo y una menor latencia. Sin embargo, a menudo tienen dificultades con la alineación texto-voz, lo que provoca errores como el salto de palabras o la repetición, y frecuentemente requieren un modelado de duración explícito o pipelines multietapa complejos.

Avances recientes en la difusión discreta enmascarada para la generación de texto han demostrado que la decodificación en paralelo puede igualar la calidad autorregresiva. Sin embargo, la aplicación de estas técnicas a la generación de voz condicional sobre tokens de códec neuronal discretos sigue sin explorarse, particularmente en lo que respecta a cómo equilibrar la coherencia acústica local con la alineación global texto-voz.

2. Metodología: DLLM-TTS

Los autores proponen DLLM-TTS, un marco que formula el TTS como difusión discreta por bloques condicional sobre tokens del códec de audio neuronal X-Codec2.

Arquitectura Central y Mecanismo

Representación del Códec: El sistema utiliza X-Codec2, que comprime el audio en un único flujo de tokens (tasa de fotogramas de 50 Hz) mediante una arquitectura semántico-acústica unificada y Cuantización Escalar Finita (FSQ), simplificando la integración con modelos de lenguaje transformer en comparación con los códecs RVQ de múltiples flujos.
Descomposición por Bloques: Las secuencias de tokens de códec se descomponen en bloques contiguos de tamaño $B$ (por defecto $B=32$ , $\approx 0.64$ segundos de audio).
Atención en Escalera (Staircase Attention): El modelo emplea una máscara de atención especializada para manejar la naturaleza híbrida de la tarea:
1. Atención bidireccional dentro del bloque actual "con ruido" para capturar la coherencia acústica local.
2. Atención causal desde el bloque actual hacia todos los bloques previos "limpios" para mantener el contexto secuencial.
3. Atención causal dentro de los bloques limpios previos.
  Este diseño interpola entre la difusión totalmente paralela y la generación autorregresiva sin requerir un modelado de duración explícito.
Objetivo de Entrenamiento: El modelo se entrena para reconstruir tokens enmascarados dentro de un bloque, condicionado al texto de entrada y a una referencia de locutor (speaker reference prompt). El proceso de propagación hacia adelante enmascara progresivamente los tokens con un esquema lineal, y el proceso inverso minimiza la pérdida de entropía cruzada sobre las posiciones enmascaradas. Este objetivo enmascarado proporciona una aumentación de datos implícita, ya que las secuencias se observan bajo diversos patrones de enmascaramiento.
Estrategia de Inferencia: La generación procede secuencialmente bloque por bloque. Dentro de cada bloque, el modelo realiza pasos iterativos de eliminación de ruido (denoising). Se utiliza una estrategia de muestreo basado en la confianza: en cada paso, los tokens con una confianza de predicción por encima de un umbral ( $\tau=0.6$ ) se "comprometen" (desenmascaran), mientras que las posiciones ambiguas permanecen enmascaradas para pasos subsecuentes. Esto permite el cierre temprano si todos los tokens en un bloque se resuelven antes del recuento máximo de pasos.

3. Contribuciones Clave

Primera Aplicación de Difusión Discreta por Bloques a TTS: El artículo introduce el primer marco para modelar la síntesis de voz como la reconstrucción condicional de tokens enmascarados sobre tokens de códec utilizando la descomposición por bloques.
Atención en Escalera para el Modelado Conjunto: Los autores emplean un novedoso mecanismo de atención que captura conjuntamente la coherencia acústica local (dentro de los bloques) y la alineación global texto-voz (a través de los bloques) sin necesidad de un modelado de duración explícito.
Alta Eficiencia de Datos: El sistema logra un rendimiento competitivo utilizando solo 20,000 horas de datos de entrenamiento, lo que representa una reducción de 3 a 12 veces en comparación con los sistemas autorregresivos que típicamente requieren 60k–250k horas.
Generación Eficiente en Tiempo Real: Un modelo de 0.6B de parámetros logra un Factor de Tiempo Real (RTF) de 0.15, permitiendo la síntesis de voz práctica y de baja latencia con una fuerte similitud de locutor zero-shot.

4. Resultados Experimentales

El modelo fue evaluado en el benchmark Seed-TTS-eval (inglés), cubriendo escenarios estándar y desafiantes (palabras raras, prosodia compleja, enunciaciones largas).

Métricas de Rendimiento:
- Inteligibilidad: Logró una Tasa de Error de Palabra (WER) del 2.25% y una Tasa de Error de Carácter (CER) del 1.05%.
- Similitud de Locutor: Alcanzó una puntuación de similitud de coseno de 0.750, situándose entre los más altos para sistemas de código abierto.
- Calidad Subjetiva: Obtuvo una Puntuación de Opinión Media (MOS) de 4.25, superando a la mayoría de las líneas base incluyendo F5-TTS, MaskGCT y CosyVoice3, y quedando solo por detrás de LLASA-3B y OpenAudio-s1-mini.
Estudios de Ablación:
- Pasos de Denoising ( $T$ ): Aumentar los pasos de 8 a 32 mejoró significativamente la inteligibilidad (el WER cayó de 14.58% a 2.25%) manteniendo una similitud de locutor estable. Una configuración de $T=16$ ofreció el mejor equilibrio entre velocidad y calidad.
- Tamaño de Bloque ( $B$ ): Un tamaño de bloque de 32 produjo resultados óptimos. Los bloques más pequeños aumentaron las tasas de error debido a un contexto paralelo limitado, mientras que los bloques más grandes degradaron la inteligibilidad al debilitar el condicionamiento entre bloques.

5. Significado y Reivindicaciones

El artículo afirma que DLLM-TTS demuestra que los modelos de lenguaje de difusión discreta por bloques son una alternativa viable y escalable a los modelos de voz autorregresivos. Al combinar las ventajas de la generación paralela de la difusión con una estructura de bloques secuencial, el marco logra:

Síntesis en Tiempo Real Práctica: Un RTF de 0.15 permite aplicaciones de streaming con bajo tiempo hasta el primer audio (time-to-first-audio).
Eficiencia de Datos: Es posible lograr una síntesis de alta calidad con significativamente menos datos de entrenamiento que sus contrapartes autorregresivas, debido a la aumentación de datos implícita del objetivo de difusión enmascarada.
Alineación Robusta: El método modela con éxito la alineación texto-voz y la coherencia acústica local sin la necesidad de modelos de duración explícitos o anotaciones a nivel de fonema.

Los autores concluyen que este enfoque ofrece una solución equilibrada al compromiso entre eficiencia y calidad en el TTS, permitiendo una síntesis de voz de alta fidelidad y baja latencia con menores requisitos computacionales y de datos.