🤖 machine learning

Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech

Este artículo demuestra teórica y empíricamente que el esquema de tokenización de Cuantización Escalar Finita (FSQ) es óptimo para los modelos de difusión continua que generan datos categóricos, como lo evidencia su rendimiento superior en tareas de texto a voz donde supera a los modelos de lenguaje de gran escala autorregresivos siendo significativamente más pequeño y rápido.

Autores originales: Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a hablar. Para hacer esto, el robot necesita entender que el habla humana no es un río suave e interminable, sino una serie de bloques de construcción distintos (como palabras o sonidos). En el mundo de la IA, estos bloques se llaman tokens.

Durante mucho tiempo, la mejor manera de enseñar a los robots a generar estos bloques fue utilizar un método llamado "Autorregresión", que es como escribir una oración palabra por palabra, mirando hacia atrás en cada palabra anterior para decidir la siguiente. Es preciso pero lento y requiere un cerebro enorme (un modelo de computadora gigante) para hacerlo.

Recientemente, los científicos descubrieron una forma más rápida llamada Difusión. Piensa en la difusión como un escultor que comienza con un bloque de arcilla ruidosa y lleno de estática y va quitando lentamente la estática hasta que emerge una estatua perfecta. Esto funciona muy bien para cosas suaves como imágenes o música. Pero intentar usar la difusión para cosas "discretas" como los tokens del habla (que son como piezas de Lego distintas, no arcilla suave) es complicado. El ruido se interpone en el camino y el robot tiene dificultades para saber qué pieza de Lego específica elegir.

Este artículo presenta una nueva forma de organizar esas piezas de Lego para que el proceso de difusión funcione perfectamente. Aquí está el desgido:

1. El Problema: La "Habitación Ruidosa"

Imagina que estás en una habitación oscura llena de gente (los tokens). Quieres encontrar a una persona específica, pero la habitación está neblinosa (el ruido).

La forma antigua: La niebla es tan espesa que las personas están dispersas al azar. Es difícil distinguir quién es quién.
El objetivo: Necesitamos organizar a las personas en la habitación de modo que, incluso en la niebla, el robot pueda adivinar fácilmente quién está dónde.

2. La Solución: La "Cuadrícula Perfecta" (FSQ)

Los autores descubrieron que la mejor manera de organizar estas personas (tokens) es utilizando un método llamado Cuantización Escalar Finita (FSQ).

Piensa en FSQ como una cuadrícula perfectamente organizada en un cubo 3D.

En lugar de personas paradas al azar, se colocan en coordenadas exactas y uniformemente espaciadas (como -1, 0 y +1 en una regla).
Esto crea una "cuadrícula" donde cada token tiene un lugar único y predecible.
El artículo demuestra matemáticamente que esta disposición de cuadrícula específica es la configuración óptima para el proceso de difusión. Es como organizar las piezas de Lego en una caja perfecta para que, sin importar cuánto agites la caja (añadas ruido), aún puedas clasificarlas fácilmente de nuevo en sus ranuras originales.

3. La Prueba: Por qué esta Cuadrícula Gana

Los autores no solo conjeturaron; hicieron dos cosas para demostrar que esta cuadrícula es la mejor:

Las Matemáticas: Demostraron que esta disposición de cuadrícula minimiza la "confusión" (medida por algo llamado divergencia KL) entre los caminos que toma el robot para encontrar diferentes tokens. En términos simples, los caminos para encontrar "Gato" y "Perro" son lo suficientemente distintos para que el robot no se pierda, incluso cuando el ruido es alto.
El Experimento: Construyeron una versión "de juguete" del sistema y probaron arreglos aleatorios de tokens frente a la cuadrícula FSQ perfecta. La cuadrícula FSQ ganó consistentemente, prediciendo los tokens correctos con mucha más precisión.

4. La Prueba del Mundo Real: El Nuevo Asistente de Voz

Para demostrar que esto funciona en el mundo real, el equipo construyó un nuevo sistema de Texto a Voz (TTS) (un robot que lee texto en voz alta).

Tomaron un sistema de voz existente y potente (CosyVoice2) que utilizaba un "cerebro" masivo (un Modelo de Lenguaje Grande o LLM) para generar el habla.
Reemplazaron ese cerebro masivo con su nuevo y más pequeño cerebro basado en difusión que utiliza la cuadrícula FSQ.

Los Resultados:

Mejor Calidad: El nuevo robot hablaba de forma más clara y natural que el antiguo.
Más Rápido: Debido a que no tiene que escribir el habla palabra por palabra, es de 5 a 10 veces más rápido.
Más Pequeño: El nuevo modelo es 10 veces más pequeño que el anterior. Es como reemplazar una supercomputadora con una tableta inteligente y obtener mejores resultados.
Clonación Zero-Shot: Al igual que el sistema antiguo, podía imitar la voz de una persona a partir de una muestra corta, pero lo hizo de manera más eficiente.

Resumen

El artículo argumenta que si quieres usar el método de "escultura" (difusión) para generar sonidos de habla discretos, debes organizar tus bloques de sonido (tokens) en una cuadrícula perfecta y uniforme (FSQ). Esta disposición hace que las matemáticas funcionen mejor, el entrenamiento sea más estable y el asistente de voz final sea más rápido, pequeño y claro que los gigantes actuales en el campo.

Resumen Técnico: Optimalidad de los Tokens FSQ para la Difusión Continua de Datos Categóricos con Aplicación a la Síntesis de Voz (Text-to-Speech)

1. Planteamiento del Problema

Los modelos de difusión continua han logrado resultados de vanguardia en dominios continuos (por ejemplo, imágenes, video), pero enfrentan desafíos significativos cuando se aplican a datos categóricos, como el texto o los tokens de voz discretos. Aunque existen modelos de difusión discreta, ha surgido un marco híbrido conocido como Difusión Continua para Datos Categóricos (CDCD). En CDCD, los procesos de difusión hacia adelante y hacia atrás operan en un espacio latente continuo que contiene embeddings de tokens discretos, mientras que la red neuronal predice las probabilidades de estos tokens discretos.

Sin embargo, el marco CDCD ha recibido menos atención que los enfoques puramente discretos o continuos. Un cuello de botella principal es la inestabilidad del entrenamiento, a menudo atribuida a la optimización conjunta de la estructura del espacio latente y el modelo de difusión. La estructura del espacio latente continuo es crítica: si la geometría de los embeddings de los tokens es subóptima, los caminos de difusión correspondientes a diferentes tokens pueden volverse indistinguibles, dificultando la capacidad del modelo para aprender trayectorias inversas precisas. Este artículo investiga las propiedades geométricas de los espacios latentes que los hacen óptimamente adecuados para los modelos CDCD, centrándose específicamente en la relación entre las distancias de los embeddings de los tokens y la divergencia de Kullback-Leibler (KL) de las medidas de los caminos de difusión.

2. Metodología

Marco Teórico

Los autores establecen una conexión teórica entre la geometría del espacio latente y la dinámica de entrenamiento de los modelos CDCD.

Medidas de Caminos de Difusión: El artículo deriva que la divergencia KL entre las medidas de los caminos de difusión en tiempo inverso que conducen a dos muestras de datos diferentes (embeddings de tokens) $a_1$ y $a_2$ es proporcional a la distancia euclidiana al cuadrado $\|a_1 - a_2\|^2_2$ y a una integral dependiente del tiempo de los coeficientes de difusión hacia adelante.
Criterio de Optimalidad: Basándose en esta derivación, los autores hipotetizan que maximizar la distancia promedio de los vecinos más cercanos entre los embeddings de los tokens en el espacio latente minimiza la divergencia KL entre sus caminos de difusión correspondientes. Esta separación facilita que la red neuronal distinga entre las trayectorias que conducen a diferentes tokens, mejorando así la estabilidad del entrenamiento y la precisión de la predicción.
Análisis de FSQ: El artículo se centra en la Cuantización Escalar Finita (FSQ), un método donde los embeddings de los tokens se localizan "uniformemente" en un hipercubo con coordenadas restringidas a valores enteros específicos. Los autores analizan dos configuraciones específicas de FSQ:
- Base2: Las coordenadas son $\{-1, 1\}$ .
- Base3: Las coordenadas son $\{-1, 0, 1\}$ .
Pruebas Teóricas:
- Teorema 4.3: Demuestra que los codebooks de FSQ (Base2 y Base3) son localmente óptimos en términos de la distancia promedio de los vecinos más cercanos entre todos los codebooks con entradas limitadas por una norma $L_\infty$ de 1. Cualquier pequeña perturbación de un embedding de FSQ reduce esta distancia.
- Hipótesis de Mejor Precisión: Los autores hipotetizan que, para un modelo CDCD optimizado con priors de tokens uniformes, la precisión promedio de predicción (top-1) se maximiza cuando el espacio latente sigue la estructura de FSQ. Esto se demuestra analíticamente para espacios latentes de 1 dimensión.

Validación Experimental

Experimentos Numéricos: Los autores realizaron simulaciones de Monte Carlo para probar la optimalidad global de los codebooks de FQS. Generaron miles de codebooks aleatorios y encontraron que las configuraciones de FSQ logran consistentemente mayores distancias promedio de vecinos más cercanos y mayores precisiones de predicción en comparación con los embeddings perturbados o aleatorios.
Aplicación de Texto a Voz (TTS): Para validar los hallazgos en un escenario del mundo real, los autores reemplazaron la columna vertebral de Modelo de Lenguaje Grande (LLM) autorregresivo del sistema de TTS CosyVoice2 por un modelo CDCD.
- Arquitectura: El nuevo modelo, CDCD-TTS, utiliza una arquitectura Diffusion Transformer (DiT) adaptada de F5-TTS, con una capa softmax para predecir los tokens de voz FSQ.
- Tokenización: El sistema utiliza embeddings FSQ de 8 dimensiones (Base3), lo que resulta en un vocabulario de $3^8 = 6,561$ tokens de voz.
- Entrenamiento: Los modelos se entrenaron con 65k horas de datos de voz en inglés (LibriLight, GigaSpeech, Emilia).
- Líneas de Base (Baselines): Las comparaciones se realizaron contra:
  - FSQ-original: CDCD con embeddings FSQ estándar.
  - FSQ-perturb: CDCD con embeddings FSQ ligeramente perturbados.
  - FSQ-permute: CDCD con IDs de tokens permutados (rompiendo el mapeo del autoencoder).
  - RVQ: CDCD utilizando tokens de Cuantización Vectorial Residual (EnCodec).
  - Contrapartes LLM: CosyVoice2, F5-TTS y CosyVoice3.

3. Contribuciones Clave

Conexión Teórica: El artículo establece un vínculo formal entre los parámetros de difusión hacia adelante, la distancia euclidiana entre las muestras generadas y la divergencia KL entre las medidas de los caminos de difusión inversa.
Optimalidad de FSQ: Formula y verifica (tanto teórica como empíricamente) que los codebooks de FSQ poseen propiedades geométricas (específicamente, la máxima distancia promedio de vecinos más cercanos) que los hacen óptimamente adecuados para los modelos CDCD.
Nuevo Modelo de TTS: Los autores proponen CDCD-TTS, el primer modelo de texto a voz basado en CDCD que depende de tokens de voz FSQ. Este modelo demuestra que la difusión no autorregresiva puede generar eficazmente tokens de voz discretos.

4. Resultados

Hallazgos Numéricos: Los experimentos con datos de juguete confirmaron que los codebooks de FSQ superan a los codebooks aleatorios y perturbados en términos de distancia promedio de vecinos más cercanos y divergencia log-KL entre las distribuciones reales y las generadas.
Rendimiento de TTS:
- Calidad: El modelo FSQ-original CDCD-TTS logró un rendimiento superior en comparación con las variantes FSQ-perturb y FSQ-permute en cuanto a Tasa de Error de Palabra (WER), Similitud de Locutor (SIM) y Puntuación Media de Opinión (MOS). Notablemente, el modelo FSQ-original superó al CosyVoice2 basado en LLM en WER (2.00% vs 2.57%) y MOS (4.119 vs 4.077).
- Eficiencia: La columna vertebral de CDCD-TTS es aproximadamente 10 veces más pequeña (45M de parámetros vs 0.5B del LLM) y 5 a 10 veces más rápida que su contraparte basada en LLM.
- Factor de Tiempo Real: El sistema logra un factor de tiempo real de 0.2–0.3, sintetizando voz de 3 a 5 veces más rápido que el tiempo real en una sola GPU con 25 pasos de difusión inversa.
- Capacidades Zero-Shot: El modelo mantiene fuertes capacidades de clonación de voz y copia de emociones zero-shot, superando al baseline basado en LLM en inteligibilidad y naturalidad de la voz.

5. Significado y Reivindicaciones

El artículo sostiene que la estructura geométrica del espacio latente es un factor crítico y a menudo pasado por alto en el éxito de los modelos CDCD. Al demostrar que la tokenización FSQ proporciona una estructura de espacio latente que maximiza la separabilidad de los caminos de difusión, los autores argumentan que FSQ no es simplemente una técnica de cuantización, sino una elección teóricamente óptima para la difusión continua en datos categóricos.

La importancia de este trabajo radica en:

Desafiar el Dominio de los Modelos Autorregresivos: Proporciona una alternativa viable y de alta calidad a los LLM autorregresivos para la generación de datos discretos, ofreciendo ganancias significativas en velocidad de inferencia y tamaño del modelo.
Estabilizar el Entrenamiento de CDCD: Ofrece un enfoque basado en principios para diseñar espacios latentes que mitiguen la inestabilidad del entrenamiento históricamente asociada con los marcos CDCD.
Aplicación Práctica: El despliegue exitoso en TTS demuestra que los modelos CDCD pueden igualar o superar el rendimiento de los sistemas de vanguardia basados en LLM siendo significativamente más eficientes, lo que sugiere una dirección prometedora para la investigación futura en modelos generativos para modalidades discretas.

Los autores mantienen la modestia respecto a la "Hipótesis de Mejor Precisión", señalando que la prueba teórica actualmente se limita a casos con probabilidades de tokens uniformes, e identifican el manejo de priors no uniformes como una dirección para investigaciones futuras.