Resumen Técnico: MagpieTTS-LF

Declaración del Problema

Si bien los sistemas de Texto a Voz (TTS) neuronales han logrado una naturalidad notable en locuciones cortas (2–20 segundos), presentan dificultades significativas en la generación de habla de larga duración. A medida que aumenta la longitud de la generación, los modelos de vanguardia existentes (por ejemplo, Tortoise TTS, VALL-E, MagpieTTS, CosyVoice) exhiben deriva prosódica, inconsistencias del hablante y artefactos en los límites de las oraciones.

Los enfoques actuales para extender la longitud de la generación sufren limitaciones distintivas:

• Fragmentación Ingenua (Naive Chunking): Dividir el texto en oraciones y concatenar audio sintetizado de forma independiente genera discontinuidades de energía, oscilaciones en los límites, tasas de habla inconsistentes y pérdida de patrones prosódicos globales (por ejemplo, cambios de entonación).
• Compresión de Secuencias: Métodos como VibeVoice comprimen los tokens de audio para ajustar contextos más largos en ventanas fijas, pero sacrifican la resolución temporal, lo que a menudo conduce a alucinaciones y reducción de la inteligibilidad en secuencias extendidas.
• Métodos de Flujo/Por Bloques (Streaming/Block-wise): Los enfoques que utilizan máscaras de atención por bloques (por ejemplo, CosyVoice 2) crean cortes de información abruptos en lugar de gradientes suaves. Crucialmente, estos requieren modificaciones arquitectónicas y reentrenamiento, lo que dificulta su aplicación en despliegues existentes.
• Modelos de Oraciones Cruzadas: Aunque modelos como HiGNN-TTS demuestran que el contexto de texto vecino mejora la prosodia, requieren redes de grafos dedicadas o módulos de memoria entrenados conjuntamente con el sistema TTS.

Metodología

Los autores proponen MagpieTTS-LF, un enfoque de inferencia que permite al modelo MagpieTTS existente generar habla coherente de larga duración sin reentrenamiento ni cambios arquitectónicos. El método se basa en tres innovaciones principales:

1. Priores de Atención Suave en Tiempo de Inferencia

A diferencia de las máscaras de atención binarias que crean cortes duros, MagpieTTS-LF introduce priores de atención suave para guiar la generación autorregresiva hacia una alineación monotónica mientras preserva el contexto de tokens distantes.

• Mecanismo: En cada paso de decodificación $t$, el modelo identifica la posición de texto $T_t$ con la puntuación de atención cruzada más alta del paso anterior. Se construye una distribución de probabilidad previa $P_t$ donde los pesos son altos para el segmento actual ($T_t -1$ a $T_t +3$) y se asigna un épsilon ($\epsilon$) pequeño y no nulo a todas las demás posiciones.
• Efecto: Esto asegura que las posiciones del codificador distantes reciban pesos no nulos, preservando un gradiente de atención y permitiendo que el modelo retenga información de largo alcance sin suprimir completamente el contexto distante. La atención modificada se calcula como:
  $$\tilde{A}_t = \text{softmax}\left(\frac{Q_t K^\top}{\sqrt{d}} + \lambda \log P_t\right)$$
  donde $\lambda$ controla la fuerza del prior.

2. Algoritmo de Generación de Fragmentos con Estado (Stateful Chunk Generation)

Para mantener la continuidad a través de los límites de las oraciones, el algoritmo procesa el texto en fragmentos a nivel de oración mientras transporta la información de estado. El estado comprende tres componentes:

• Tokens de Texto de Historial ($H_{text}$): Los últimos $K$ tokens del fragmento anterior se anteponen a la entrada del fragmento actual para proporcionar contexto lingüístico para la planificación prosódica.
• Contexto del Codificador de Historial ($H_{enc}$): Los estados ocultos del codificador correspondientes a los tokens del historial se concatenan con la salida del codificador del fragmento actual, asegurando representaciones continuas a través de los límites.
• Seguimiento de la Atención: Las posiciones de texto atendidas finales del fragmento anterior se registran para inicializar el prior de atención suave del fragmento actual, asegurando transiciones prosódicas suaves.

3. Codificación de Texto Consciente del Historial

El método aprovecha el historial de texto pasado pasándolo a través del codificador de texto para la planificación prosódica. Esto utiliza las representaciones de texto nativas del modelo en lugar de requerir módulos de contexto externos especializados.

Contribuciones Clave

El artículo describe las siguientes contribuciones específicas:

1. Mecanismo en Tiempo de Inferencia: Un mecanismo de prior de atención suave que guía la generación autorregresiva hacia una alineación monotónica mientras preserva el contexto útil de los tokens distantes, evitando los cortes duros de las máscaras binarias.
2. Generación con Estado: Un algoritmo de generación de fragmentos que transporta el estado del prior de atención, los estados ocultos del codificador y el historial de texto a través de los límites de las oraciones, permitiendo una prosodia coherente sin la sobrecarga de memoria de la generación de un solo paso o las discontinuidades de la concatenación ingenua.
3. Validación de Desempeño: Demostración de que la combinación de los priors suaves en tiempo de inferencia con la propagación de estado entre fragmentos mejora significativamente la coherencia prosódica a largo plazo, la consistencia del hablante durante varios minutos y la naturalidad en los límites.
4. Benchmarking: Una comparación estructurada contra modelos de vanguardia (modelos de lenguaje de códec neuronal, arquitecturas multimodales y marcos de difusión de flujo).
5. Nuevo Conjunto de Datos: La introducción del conjunto de datos Long-Form HiFiTTS, un benchmark diseñado para evaluar la continuidad prosódica, la persistencia del hablante y la robustez de los límites bajo configuraciones de generación extendidas.

Resultados Experimentales

Los autores evaluaron MagpieTTS-LF frente a líneas base que incluyen Qwen3-TTS, VibeVoice-TTS y X-TTS en un conjunto curado de 20 textos largos en inglés (aprox. 3–4 minutos cada uno).

• Inteligibilidad (WER/CER): MagpieTTS-LF logró tasas de error de palabra (WER 0.025) y de carácter (CER 0.012) significativamente más bajas en comparación con todas las líneas base. VibeVoice mostró una degradación significativa (WER 0.115), lo que sugiere que la compresión extrema de tokens perjudica la inteligibilidad en secuencias largas.
• Similitud del Hablante (SSIM): MagpieTTS-LF mantuvo la similitud de hablante más alta y estable (WavLM: 0.979) a lo largo de la secuencia. Los modelos competidores exhibieron mayor varianza y deriva. VibeVoice sufrió de un bajo SSIM, indicando una pérdida de las características del hablante debido a la compresión de tokens.
• Discontinuidad de Frontera Prosódica (PBD): MagpieTTS-LF logró la menor discontinuidad de energía en la frontera (14.04 dB), aproximadamente la mitad que los modelos competidores. Aunque los saltos de tono ($\Delta F_0$) fueron comparables entre los sistemas, la consistencia de la energía fue el diferenciador dominante.
• Naturalidad (UTMOSv2): MagpieTTS-LF alcanzó las puntuaciones UTMOSv2 más altas con la menor varianza, indicando el audio más natural y estable. VibeVoice se degradó más en la síntesis de larga duración, mientras que X-TTS produjo el habla menos natural.

Significancia

El artículo afirma que MagpieTTS-LF aborda cuatro brechas convergentes en la literatura al operar enteramente en el tiempo de inferencia. Su importancia radica en permitir una síntesis de habla de larga duración coherente, robusta y de sonido natural sin necesidad de reentrenamiento del modelo o modificaciones arquitectónicas. Al mantener el estado entre fragmentos y utilizar priores de atención suave, el enfoque resuelve los problemas de deriva prosódica y artefactos de frontera que afectan a los sistemas actuales de TTS basados en fragmentos. Los autores sostienen que este método puede extenderse a cualquier sistema de TTS de codificador-decodificador basado en fragmentos, ofreciendo una solución práctica para la generación de larga duración en despliegues existentes.