Resumen Técnico: WordVoice

1. Planteamiento del Problema

Los sistemas recientes de Texto a Voz (TTS) basados en Grandes Modelos de Lenguaje (LLM) han logrado una naturalidad notable, pero dependen predominantemente de paradigmas de generación implícitos y de extremo a extremo (end-to-end). Esta arquitectura resulta en un control de grano grueso, lo que crea un cuello de botella crítico para aplicaciones que requieren intervenciones precisas y deterministas a nivel de palabra, como la narración de audiolibros y el doblaje de video. Los modelos actuales tienen dificultades para manipular explícitamente atributos acústicos específicos (por ejemplo, duración, energía, tono, altura) para palabras individuales sin comprometer la estabilidad global. Además, esta limitación se ve exacerbada por la escasez de conjuntos de datos anotados a gran escala y de grano fino, así como por la dificultad arquitectónica de integrar señales de control multidimensionales en la generación autorregresiva discreta.

2. Metodología

Los autores proponen WordVoice, un marco unificado que transforma la generación implícita en un paradigma explícito y altamente controlable mediante una arquitectura de dos etapas y un nuevo conjunto de datos masivo.

2.1. Base de Datos: WordVoice-5A

Para abordar la escasez de datos, los autores construyeron WordVoice-5A, un conjunto de datos bilingüe (chino e inglés) que comprende aproximadamente 4,700 horas de voz.

• Pipeline de Anotación: Se desarrolló un proceso riguroso guiado lingüísticamente que involucra:
  • Optimización de Marcas de Tiempo: Alineación de doble modelo (MFA y Qwen3FA) con optimización basada en la sonoridad y verificaciones de consistencia para asegurar límites de palabra de alta precisión.
  • Atributos Temporales: Extracción de la duración y discretización de los límites en cinco niveles (desde la fonación continua hasta las pausas a nivel de periodo).
  • Atributos Acústicos/Prosódicos: Extracción de la energía (promedio del 50% superior de los fotogramas), el tono o altura (pitch) (promedio del 80% central de F0) y la entonación (tone). La entonación se modela mediante regresión morfológica guiada por expertos, mapeando contornos de F0 continuos en siete categorías prosódicas universales (plano, ascendente, ascenso fuerte, descendente, descenso fuerte, pico, valle).

2.2. Marco Arquitectónico

WordVoice opera sobre una base derivada de CosyVoice3, refinando la generación a nivel de oración hacia un proceso de "planificación acústica" a nivel de palabra.

Etapa 1: WordVoice-LLM (Planificación Macro-Prosódica)

Los autores introducen un mecanismo de token delimitador (⟨b⟩) dentro del LLM autorregresivo para reestructurar el proceso de generación causal.

• Planificación Acústica: Al predecir el token delimitador para una palabra, el estado oculto del modelo se redirige a un Decodificador de Palabras ligero para predecir cinco atributos acústicos: duración, límite, energía, tono (pitch) y entonación (tone).
• Control Explícito: Estos atributos se incrustan en un token de estilo y se concatenan con la incrustación semántica para formar una condición unificada. Esto permite dos modos de inferencia:
  • Modo Libre: El modelo planifica la prosodia de forma autónoma.
  • Modo de Control: Los usuarios pueden omitir el decodificador y especificar manualmente los valores de los atributos para palabras específicas, logrando un control determinista zero-shot sin alterar los pesos del LLM.

Etapa 2: WordVoice-FM (Modulación Micro-Acústica)

Para cerrar la brecha de resolución entre los tokens discretos y las formas de onda continuas, se integra un módulo de modulación acústica de grano fino en la etapa de Flow Matching (FM).

• Sobremuestreo (Upsampling): Los tokens de estilo a nivel de palabra se sobremuestrean al nivel de fotograma basándose en las duraciones y pausas predichas.
• Modulación: Estos tokens de estilo a nivel de fotograma se inyectan en la base de FM a través de un módulo dedicado que genera parámetros de escala ($\gamma_t$) y desplazamiento ($\beta_t$). Esto guía explícitamente la síntesis de la forma de onda para que se adhiera a la energía, el tono y los límites temporales planificados, compensando los detalles acústicos perdidos durante la cuantización.

3. Contribuciones Clave

1. Base de Datos: La creación y apertura de WordVoice-5A, un conjunto de datos bilingüe de 4.7k horas con anotaciones rigurosas de cinco dimensiones a nivel de palabra y un pipeline guiado lingüísticamente.
2. Innovación Arquitectónica: La propuesta del marco WordVoice, que combina un proceso de "planificación acústica" explícito mediante tokens delimitadores en el LLM con un módulo de modulación de estilo de grano fino en la etapa de Flow Matching.
3. Control a Nivel de Palabra: La demostración de un control desacoplado altamente preciso en múltiples dimensiones acústicas (duración, límite, energía, tono y entonación) a nivel de palabra, manteniendo una estabilidad de síntesis zero-shot competitiva.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de prueba de WordVoice-5A (chino e inglés) utilizando CosyVoice3 como línea base.

• Evaluación Subjetiva: WordVoice-Control alcanzó las puntuaciones más altas en Naturalidad (N-MOS) y Control de Estilo de Palabra (Ctrl-MOS), con mejoras estadísticamente significativas ($p < 0.01$) en la controlabilidad respecto a la línea base. Aunque la Similitud de Locutor (Spk-MOS) experimentó un compromiso marginal debido a variaciones localizadas, la expresividad general aumentó significamente.
• Evaluación Objetiva:
  • Precisión de Control: En el modo de Control, WordVoice redujo drásticamente el Error Absoluto Medio (MAE) para atributos continuos (Duración, Energía, Tono) y la Tasa de Error (ER) para atributos discretos (Límite, Entonación) en comparación con las líneas base.
  • Alineación Temporal: WordVoice superó a MagicTTS (una línea base fuerte para el control temporal) tanto en métricas de duración como de límite, demostrando una estabilidad superior al manipular múltiples atributos simultáneamente.
  • Desacoplamiento: Los estudios de ablación confirmaron que el mecanismo de control está mayormente desacoplado; restringir un solo atributo redujo significamente su error específico con un impacto mínimo en los demás, excepto para la entonación, que mostró un ligero entrelazamiento debido a su naturaleza dinámica.
• Estudios de Ablación: Eliminar el módulo WordVoice-FM resultó en una degradación significativa de la precisión de la energía y el tono, confirmando su necesidad para compensar las pérdidas de cuantización. Por el contrario, los atributos temporales se modelaron principalmente en la etapa del LLM.

5. Significado y Reivindicaciones

El artículo afirma que WordVoice aborda una limitación fundamental en los actuales LLM-TTS: la incapacidad de realizar un control acústico de alta precisión y grano fino a nivel de palabra. Al transformar la generación implícita en un proceso explícito e interpretable, el marco permite:

• Intervenciones Deterministas: Los creadores pueden manipular meticulosamente la duración, el énfasis y la entonación de palabras específicas para transmitir emociones matizadas o lograr una alineación cross-modal estricta (por ejemplo, sincronización labial).
• Control Multidimensional Unificado: A diferencia de enfoques anteriores que solían ser unidimensionales (por ejemplo, solo duración o solo emoción), WordVoice controla simultáneamente cinco dimensiones acústicas.
• Potencial Futuro: Los autores sugieren que este mecanismo de planificación explícita podría servir como una "cadena de pensamiento acústico" para sistemas de diálogo hablado altamente expresivos y proporcionar generación interpretable para el TTS basado en instrucciones.

El trabajo se posiciona no solo como una mejora incremental en la naturalidad, sino como un cambio estructural hacia la síntesis de voz explícita, controlable y desacoplada.