⚡ electrical engineering

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

OmniVoice es un modelo de texto a voz cero-shot multilingüe que, mediante una arquitectura novedosa de modelo de lenguaje difusivo no autoregresivo y un conjunto de datos masivo de código abierto, logra cubrir más de 600 idiomas con un rendimiento superior al estado del arte.

Autores originales: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Publicado 2026-04-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que quieres crear un robot que hable. No solo que hable en español o inglés, sino que pueda imitar cualquier voz, con cualquier acento, en más de 600 idiomas diferentes, desde el chino hasta lenguas de tribus remotas que apenas tienen un libro de texto.

Eso es exactamente lo que hace OmniVoice, el nuevo "super-robot" creado por Xiaomi que acaban de presentar.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La vieja forma de cocinar (El modelo de dos pasos)

Antes, para que una IA hablara, tenía que seguir una receta complicada de dos pasos, como si fueras a hacer un pastel:

Paso 1: Convertir el texto en una "idea" abstracta de cómo suena (semántica).
Paso 2: Convertir esa "idea" en sonido real (audio).

El problema: Si te equivocas en el paso 1 (la idea está un poco torcida), el pastel del paso 2 sale mal. Además, al separar los pasos, se perdían muchos detalles finos de la voz, como la respiración o el tono exacto. Era como intentar dibujar un paisaje primero en blanco y negro y luego intentar pintarlo de colores; a veces los colores no encajaban bien.

2. La Solución: OmniVoice (El chef que hace todo de una vez)

OmniVoice es diferente. En lugar de cocinar por pasos, hace todo de un solo golpe.

La analogía: Imagina un chef maestro que, en lugar de preparar la salsa y luego el plato por separado, mezcla todos los ingredientes en una sola olla y sale un plato perfecto.
Cómo lo hace: OmniVoice toma el texto y lo convierte directamente en ondas de sonido, saltándose el paso intermedio. Esto evita que se pierda información y hace que la voz suene mucho más natural y clara.

3. Los Dos Secretos Mágicos

Para lograr esto sin que el robot se confunda, los científicos usaron dos trucos geniales:

Truco A: El "Juego de las Sillas Musicales" (Enmascaramiento aleatorio)
Imagina que tienes una hoja de papel llena de palabras y sonidos, y tapas algunas con pegatinas. El robot tiene que adivinar qué hay debajo.
- Antes: Solo tapaban una línea de la hoja a la vez (muy lento).
- OmniVoice: Taparon todas las líneas al azar a la vez. Esto obliga al cerebro del robot a aprender mucho más rápido y a entender mejor el contexto global, como si aprendieras un idioma viendo películas enteras en lugar de solo frases sueltas.
Truco B: El "Entrenador Experto" (Inicialización con LLM)
Imagina que quieres enseñar a un niño a hablar. Podrías empezar desde cero (cero), o podrías darle un libro de un profesor experto para que aprenda las reglas del lenguaje primero.
- OmniVoice empieza su vida "leyendo" un libro gigante de un modelo de lenguaje experto (como un Chatbot muy inteligente). Ya sabe gramática, vocabulario y cómo se estructuran las frases. Luego, solo necesita aprender a cantar esas palabras. Esto hace que hable con una claridad increíble, sin tartamudeos ni errores raros.

4. La Biblioteca Universal (Los Datos)

Para entrenar a este robot, no usaron datos de pago ni secretos. Recopilaron 581,000 horas de audio de todo internet (todo de código abierto).

La analogía: Es como si construyeran una biblioteca gigante con grabaciones de personas hablando en 646 idiomas.
El reto: Hay idiomas con millones de horas de grabación (como el inglés) y otros con solo unas pocas horas (idiomas de tribus pequeñas). OmniVoice es tan inteligente que aprende a hablar bien incluso en esos idiomas "pobres" en datos, gracias a que entendió las reglas generales del lenguaje.

5. ¿Qué puede hacer además de hablar?

OmniVoice no es solo un parlante; es un actor de doblaje versátil:

Limpieza de voz: Si le das una grabación de referencia con ruido de tráfico o lluvia, el robot "limpia" el ruido y te da una voz perfecta.
Diseño de voz: Si no tienes una grabación de referencia, puedes decirle: "Quiero una voz de mujer mayor, con acento de Madrid y un tono triste". ¡Y lo hace!
Control de detalles: Puede añadir risas, suspiros o corregir la pronunciación de palabras difíciles (como nombres propios o términos técnicos) si se lo pides.

En resumen

OmniVoice es como un políglota mágico que ha leído todos los libros del mundo y escuchado a millones de personas. Gracias a una arquitectura nueva (que hace todo en un solo paso) y a un entrenamiento inteligente, puede hablar en casi cualquier idioma del planeta, imitar cualquier voz y hacerlo con una calidad que antes solo veíamos en estudios de cine profesionales.

Es un paso gigante para que la tecnología del habla llegue a todos, no solo a quienes hablan inglés o chino. ¡El futuro de la comunicación es omnilingüe!

Resumen Técnico: OmniVoice

1. El Problema

A pesar de los avances recientes en modelos de Texto a Voz (TTS) de disparo cero (zero-shot), la mayoría de los sistemas existentes presentan limitaciones críticas:

Cobertura lingüística restringida: La mayoría soporta solo un conjunto limitado de idiomas (generalmente decenas), dejando atrás a cientos de idiomas de recursos bajos.
Arquitecturas complejas y propensas a errores: Los modelos de alto rendimiento actuales suelen basarse en pipelines de dos etapas (texto $\to$ semántico $\to$ acústico). Esta descomposición introduce problemas de propagación de errores (si la predicción semántica falla, el audio final se degrada) y cuellos de botella de información (las representaciones semánticas de baja tasa de bits pierden detalles acústicos finos).
Compromiso entre velocidad y calidad: Los modelos no autoregresivos (NAR) son rápidos pero a menudo sufren de baja inteligibilidad en arquitecturas de una sola etapa, mientras que los autoregresivos (AR) son lentos.

2. Metodología Propuesta

OmniVoice introduce un marco de TTS no autoregresivo (NAR) de una sola etapa basado en el estilo de los Modelos de Difusión de Lenguaje (Diffusion Language Models).

Arquitectura Unificada: En lugar de un pipeline de dos etapas, OmniVoice mapea directamente los tokens de texto a tokens acústicos de múltiples libros de códigos (multi-codebook) utilizando un Transformer bidireccional. Esto elimina la propagación de errores y preserva los detalles acústicos.
Estrategia de Enmascaramiento Completo (Full-Codebook Random Masking):
- A diferencia de métodos anteriores que enmascaran capa por capa (ineficiente), OmniVoice utiliza una estrategia estocástica completa.
- Para cada entrada de entrenamiento, se enmascara aleatoriamente el 50% de los tokens a través de todos los libros de códigos simultáneamente.
- Esto acelera significativamente la convergencia y mejora la calidad generativa al optimizar una densidad de pérdida mucho mayor en cada iteración.
Inicialización con Grandes Modelos de Lenguaje (LLM):
- Para resolver el problema de la baja inteligibilidad típico de los modelos NAR de una sola etapa, el modelo se inicializa con los pesos preentrenados de un LLM autoregresivo (específicamente Qwen3-0.6B).
- Esto permite que el modelo herede el conocimiento lingüístico profundo del LLM, actuando como un fuerte prior para el mapeo texto-audio, logrando la primera vez que un modelo NAR TTS se beneficia exitosamente de esta inicialización.
Datos a Gran Escala:
- Se curó un conjunto de datos masivo de 581,000 horas de audio, extraído exclusivamente de fuentes de código abierto.
- El corpus abarca 646 idiomas, incluyendo cientos de idiomas de recursos bajos.
- Se aplicó una estrategia de remuestreo de datos para mitigar el desequilibrio entre idiomas de alta y baja recursos, asegurando que el modelo aprenda patrones de idiomas minoritarios sin sacrificar el rendimiento en los mayoritarios.

3. Contribuciones Clave

OmniVoice: El primer modelo TTS de disparo cero masivamente multilingüe que soporta más de 600 idiomas con rendimiento de vanguardia.
Arquitectura Simplificada: Un diseño de una sola etapa que supera las limitaciones de los pipelines de dos etapas tradicionales, logrando una alta calidad y eficiencia.
Innovaciones Técnicas:
- La estrategia de enmascaramiento aleatorio en todo el libro de códigos para una eficiencia de entrenamiento superior.
- La inicialización basada en LLM para garantizar una inteligibilidad excepcional en modelos NAR.
Control Multidimensional: El modelo soporta:
- Denoising de prompts: Capacidad para limpiar el ruido ambiental de la voz de referencia.
- Diseño de voz basado en atributos: Generación de voces sin audio de referencia especificando género, edad, acento, etc.
- Control lingüístico: Manejo de paralingüística (risas) y control fonético explícito (ej. pinyin para caracteres chinos polisémicos).

4. Resultados Experimentales

OmniVoice fue evaluado en benchmarks estándar y masivos, demostrando un rendimiento superior o competitivo frente a los modelos más avanzados (SOTA):

Idiomas de Alta Recursos (Inglés y Chino):
- Superó a todos los modelos NAR baselines (como F5-TTS, MaskGCT) entrenados en el mismo corpus (Emilia).
- En comparación con modelos comerciales y AR masivos (como CosyVoice, IndexTTS2, Qwen3-TTS), OmniVoice logró resultados líderes en similitud de hablante (SIM-o) e inteligibilidad (WER/CER), con un UTMOS (calidad natural) competitivo.
Evaluación Multilingüe (MiniMax-24 y FLEURS-102):
- En el benchmark de 24 idiomas, OmniVoice superó a sistemas comerciales como ElevenLabs y MiniMax-Speech en promedio de SIM-o y WER, a pesar de entrenarse solo con datos de código abierto.
- En el benchmark FLEURS de 102 idiomas, alcanzó una tasa de error de caracteres (CER) promedio del 4.00%, comparable a la transcripción de referencia (ground-truth).
- Generalización: El modelo mantiene una inteligibilidad alta (CER < 5%) incluso en idiomas con menos de 10 horas de datos de entrenamiento, demostrando una capacidad de generalización robusta.
Velocidad de Inferencia:
- Logra un factor de tiempo real (RTF) de 0.0319 con 16 pasos de inferencia, superando a modelos competidores como ZipVoice en eficiencia.

5. Significado e Impacto

OmniVoice representa un avance significativo en la democratización de la tecnología de voz:

Inclusividad Lingüística: Al soportar más de 600 idiomas, cierra la brecha tecnológica para miles de millones de hablantes de idiomas de recursos bajos que han sido ignorados por la IA generativa.
Eficiencia y Calidad: Demuestra que es posible lograr un rendimiento de nivel comercial con una arquitectura simplificada de una sola etapa, eliminando la complejidad de los pipelines de dos etapas.
Reproducibilidad: Al basarse exclusivamente en datos de código abierto y publicar el código y los modelos preentrenados, fomenta la investigación abierta y el desarrollo de aplicaciones globales de TTS.

En conclusión, OmniVoice establece un nuevo estándar para los sistemas TTS multilingües, combinando una arquitectura innovadora, estrategias de entrenamiento eficientes y una cobertura lingüística sin precedentes.