Resumen Técnico: X-Voice

Enunciado del Problema

La clonación de voz zero-shot ha revolucionado la conversión de texto a voz (TTS), sin embargo, los sistemas multilingües existentes enfrentan cuellos de botella significativos. Los enfoques actuales generalmente se dividen en dos categorías: modelos autoregresivos (AR), que sufren de latencia en la inferencia y acumulación de errores, y modelos no autoregresivos (NAR), que a menudo dependen de pares de voz y transcripciones como prompts. La dependencia de transcripciones es una limitación crítica en entornos multilingües, particularmente para lenguas de recursos bajos y dialectos no escritos donde es difícil obtener transcripciones precisas. Además, los modelos NAR existentes a menudo luchan con la "fuga de acento" en la síntesis cruzada de idiomas, donde el acento original del hablante interfiere con la pronunciación del idioma objetivo. Además, muchos modelos de alto rendimiento son masivos en escala (de miles de millones de parámetros), lo que limita la accesibilidad y la velocidad de inferencia.

Metodología

Los autores proponen X-Voice, un modelo de flujo-matching de 0.4B parámetros diseñado para la clonación de voz zero-shot sin transcripciones, a través de 30 idiomas. El sistema se basa en la arquitectura F5-TTS (un Transformador de Difusión) e introduce un nuevo paradigma de entrenamiento de dos etapas para eliminar la necesidad de transcripciones de referencia sin requerir preprocesamiento complejo como la alineación forzada.

1. Representación Multilingüe Unificada

Para cerrar las brechas interlingüísticas, X-Voice utiliza el Alfabeto Fonético Internacional (IPA) como representación unificada. El chino mandarín se representa mediante Pinyin, mientras que otros idiomas utilizan tokens IPA derivados de herramientas especializadas (por ejemplo, eSpeak-NG, PyThaiNLP, PyOpenJTalk, g2pK) para garantizar precisión. La secuencia de tokens incluye explícitamente marcadores de acento y descompone los fonemas en unidades articulatorias centrales y modificadores suprasegmentales (por ejemplo, longitud, aspiración, tono) para capturar tanto las bases acústicas universales como los cambios específicos del idioma.

2. Paradigma de Entrenamiento de Dos Etapas

• Etapa 1: Fundación Robusta (X-Voices1): El modelo se entrena en un corpus multilingüe curado de 420K horas. Esta etapa establece una variedad acústica robusta y aprende representaciones universales del habla.
  • Inyección de Idioma a Dos Niveles: Para prevenir la fuga de acento, los autores inyectan el ID de idioma (LID) en dos niveles:
    • Nivel Temporal: Los embeddings de LID se concatenan con los embeddings temporales y se pasan a través de una MLP para dirigir la trayectoria de la EDO hacia la variedad prosódica del idioma objetivo.
    • Nivel Textual: Los embeddings de LID se aplican a los embeddings de texto mediante Modulación Lineal Específica de Características (FiLM). Esto actúa como una puerta, escalando y desplazando características fonéticas para adaptar las representaciones IPA compartidas a patrones específicos del idioma.
• Etapa 2: Ajuste Fino sin Transcripciones (X-Voices2): Esta etapa permite la clonación sin transcripciones de referencia.
  • Generación de Datos Sintéticos: X-Voices1 se utiliza para sintetizar más de 10K horas de audio consistente con el hablante, emparejando textos aleatorios con prompts de audio reales.
  • Ajuste Fino Supervisado (SFT) con Prompts Enmascarados: El modelo se ajusta finamente en pares de prompts de audio sintéticos y habla objetivo real. Crucialmente, la transcripción del prompt de audio se enmascara (reemplazada con tokens especiales), obligando al modelo a extraer características prosódicas directamente del prompt de audio en lugar de depender del texto.

3. Optimización de Inferencia

Los autores implementan Guía Libre de Clasificadores Desacoplada y Programada (CFG):

• Desacoplamiento: La guía lingüística y acústica se dirigen de forma independiente para controlar mejor el estilo y la pronunciación.
• Calentamiento Asimétrico (A-Warmup): Para abordar las oscilaciones de trayectoria causadas por una guía fuerte en ruido de alta entropía, la fuerza de la guía lingüística se calienta linealmente desde cero, mientras que la guía acústica permanece a plena fuerza desde el inicio para bloquear el contorno de la voz del hablante.

Contribuciones Clave

1. Fundamento Multilingüe Eficiente en Parámetros: X-Voice es un modelo altamente eficiente de 0.4B que soporta 30 idiomas. Mediante la Inyección de Idioma a Dos Niveles y la CFG Desacoplada, logra clonación zero-shot de alta fidelidad sin el costo computacional de modelos de escala de miles de millones.
2. Paradigma de Ajuste Fino Supervisado sin Transcripciones: El artículo introduce una nueva tubería de dos etapas que elimina la dependencia de transcripciones de referencia sin módulos auxiliares ni alineación forzada, abordando un cuello de botella importante en la síntesis multilingüe.
3. Ecosistema de Código Abierto: Los autores liberan el corpus completo de entrenamiento de 420K horas, un subconjunto de alta fidelidad de 30K horas, una verificación rigurosa de referencia en 30 idiomas y todas las recetas de entrenamiento para facilitar la investigación comunitaria.

Resultados Experimentales

• Métricas Objetivas: En el Conjunto de Pruebas X-Voice (30 idiomas), X-Voice supera a los sistemas de flujo-matching de código abierto existentes como LEMAS-TTS en Tasa de Error de Palabra (WER) y Similitud del Hablante (SIM-o). Logra resultados comparables al modelo comercial de miles de millones de parámetros Qwen3-TTS en WER, aunque con una ligera brecha en la similitud del hablante para ciertos idiomas.
• Rendimiento Cruzado de Idiomas: X-Voice demuestra capacidades robustas de clonación cruzada de idiomas, logrando el mejor o casi el mejor WER en la mayoría de los pares de idiomas (por ejemplo, inglés a italiano, coreano a inglés). Mitiga eficazmente los errores de ASR inducidos por el acento.
• Evaluación Subjetiva: En términos de Inteligibilidad (IMOS) y Similitud del Hablante (SMOS), X-Voice funciona particularmente bien en idiomas europeos de recursos bajos. Aunque muestra un SMOS ligeramente inferior en idiomas como el alemán y el portugués en comparación con modelos más grandes, mantiene un equilibrio sólido entre naturalidad y consistencia.
• Eficiencia: X-Voice logra un Factor de Tiempo Real (RTF) significativamente más rápido en comparación con las líneas base autoregresivas, lo que lo hace adecuado para aplicaciones en tiempo real.

Significado y Afirmaciones

El artículo afirma que X-Voice demuestra que una sólida base acústica de Etapa 1, entrenada en un corpus curado masivo, puede servir como un motor de datos de alta fidelidad para supervisar la síntesis sin transcripciones en la Etapa 2. Los autores afirman que sus innovaciones arquitectónicas mitigan eficazmente el desafío persistente de la fuga de acento cruzada en modelos de flujo-matching.

Al poner en código abierto los datos, las referencias y los modelos, los autores buscan reducir la barrera para la investigación en la generación de habla escalable y contribuir a la democratización de la tecnología TTS de alta fidelidad, permitiendo que "todos hablen 30 idiomas". El trabajo sugiere que la clonación de voz multilingüe zero-shot sin transcripciones es alcanzable sin depender de parámetros de escala de miles de millones o tuberías de preprocesamiento complejas.