⚡ electrical engineering

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

O artigo apresenta o OmniVoice, um modelo de conversão de texto em fala (TTS) zero-shot multilíngue massivo que suporta mais de 600 idiomas e alcança desempenho de última geração através de uma arquitetura inovadora baseada em modelos de linguagem difusos que mapeia diretamente texto para tokens acústicos, utilizando um conjunto de dados aberto de 581 mil horas.

Autores originais: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Publicado 2026-04-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a falar. O desafio não é apenas fazer ele falar uma língua, mas fazer ele falar 600 línguas diferentes (desde o inglês e chinês até línguas raras de tribos remotas) e, o mais impressionante: fazer isso com a voz de qualquer pessoa, mesmo que você só tenha 5 segundos de áudio dela para "ensinar" o robô.

É exatamente isso que o OmniVoice faz. O novo artigo da Xiaomi apresenta esse modelo como um "super-herói" da fala. Vamos descomplicar como ele funciona usando analogias do dia a dia.

1. O Problema: A Fábrica de Duas Etapas (O "Gargalo")

Antes do OmniVoice, a maioria dos robôs de voz funcionava como uma fábrica de duas etapas:

Etapa 1: O robô lê o texto e cria um "esboço" abstrato do som (como um mapa de estrada).
Etapa 2: Outro robô pega esse mapa e tenta desenhar o som final (a voz).

O problema: Se o primeiro robô errar o mapa, o segundo robô não consegue consertar. O erro se propaga, como se você passasse um recado de "telefone sem fio" por várias pessoas; no final, a mensagem chega distorcida. Além disso, o "esboço" perde detalhes finos da voz, como o sotaque ou a emoção.

2. A Solução: O "Chef de Cozinha" Tudo-em-Um

O OmniVoice muda a regra do jogo. Em vez de duas fábricas, ele é uma única cozinha de alta eficiência.

A Mágica: Ele pega o texto e vai direto para a voz final, sem passar pelo "esboço" intermediário. É como se um chef lesse a receita e, de uma só vez, preparasse o prato perfeito, sem precisar de um ajudante intermediário.
Tecnologia: Ele usa uma arquitetura chamada "Modelo de Difusão" (parecido com como o DALL-E gera imagens, mas para áudio). Ele começa com um "ruído" (estático de rádio) e vai limpando esse ruído passo a passo até que a voz perfeita apareça.

3. Os Dois Superpoderes (Inovações Chave)

Para que essa "cozinha única" funcione tão bem, os criadores usaram duas técnicas geniais:

A. A "Máscara de Pintura" Aleatória (Full-Codebook Random Masking)

Imagine que você está tentando aprender a desenhar um quadro complexo.

O jeito antigo: Você cobria apenas uma pequena parte do quadro (uma linha) e tentava adivinhar o resto. Era lento e ineficiente.
O jeito OmniVoice: Eles cobrem partes aleatórias de todo o quadro de uma vez só. O robô precisa "adivinhar" várias partes ao mesmo tempo. Isso força o cérebro do robô a aprender muito mais rápido e a entender melhor a estrutura completa da voz, resultando em uma fala mais natural e rápida de treinar.

B. O "Mentor" (Inicialização com LLM)

Aqui está o segredo da inteligência.

O problema: Modelos que não leem o texto antes de falar (não-autoregressivos) muitas vezes "gaguejam" ou não entendem bem a gramática.
A solução: Eles pegaram um cérebro de um LLM gigante (como o Qwen, que já sabe ler e escrever em milhares de línguas) e usaram esse cérebro como base para o OmniVoice.
Analogia: É como se você não começasse a treinar um ator do zero. Em vez disso, você pega um ator premiado que já sabe todas as regras de atuação e gramática, e apenas o treina para "falar com a boca aberta". O resultado? A fala é perfeitamente inteligível, sem gagueiras.

4. O Banco de Dados: A Biblioteca Universal

Para falar 600 línguas, você precisa de um material de estudo enorme.

Eles reuniram 581.000 horas de áudio de fontes abertas na internet. É como se eles tivessem lido todas as bibliotecas do mundo.
O Desafio: Algumas línguas têm milhões de horas de áudio (como Inglês), outras têm apenas algumas horas (línguas raras).
A Estratégia: Eles usaram um truque matemático para "dar mais peso" às línguas raras durante o treino, garantindo que o robô não ignorasse as línguas pequenas. É como um professor que dedica mais tempo de aula aos alunos que têm mais dificuldade, para que ninguém fique para trás.

5. O Que Ele Consegue Fazer?

Além de falar 600 línguas, o OmniVoice é um "camaleão":

Limpeza de Áudio: Se você der a ele um áudio de referência cheio de barulho de trânsito, ele consegue "limpar" a voz e gerar uma voz limpa e perfeita.
Design de Voz: Você pode pedir: "Fale como um homem idoso, sotaque do sul, falando devagar", sem precisar de um áudio de exemplo.
Controle de Pronúncia: Se houver uma palavra difícil, você pode dizer exatamente como ela deve ser pronunciada (como um ditado fonético) e ele obedecerá.

Resumo Final

O OmniVoice é como um poliglota universal que nasceu com um cérebro de gênio (o LLM), aprendeu com uma biblioteca de 581 mil horas de áudio e usa uma técnica de "adivinhação inteligente" para pular etapas desnecessárias.

O resultado? Um sistema que fala mais línguas do que qualquer outro na história, com qualidade de estúdio, e que consegue clonar vozes de qualquer pessoa em segundos. É um passo gigante para que a tecnologia de voz não seja apenas para quem fala inglês ou mandarim, mas para todo o mundo.

Resumo Técnico: OmniVoice

1. O Problema

Os modelos atuais de Texto para Fala (TTS) zero-shot (capazes de clonar vozes com poucos segundos de áudio de referência) enfrentam duas limitações principais:

Cobertura Linguística Restrita: A maioria dos modelos suporta apenas um conjunto limitado de idiomas (geralmente dezenas), deixando de fora centenas de idiomas de recursos baixos (low-resource languages).
Arquiteturas Ineficientes ou Complexas:
- Os modelos baseados em Autoregressão (AR) são lentos na inferência.
- Os modelos Não Autoregressivos (NAR) existentes, especialmente os baseados em tokens discretos, geralmente utilizam pipelines de dois estágios (Texto $\to$ Semântico $\to$ Acústico). Essa abordagem causa propagação de erros (erros no estágio semântico degradam o áudio final) e gargalos de informação (representações semânticas de baixa taxa de bits perdem detalhes acústicos finos).
- Alternativas de estágio único (single-stage) historicamente apresentaram inteligibilidade inferior.

2. Metodologia

O OmniVoice propõe uma arquitetura unificada e simplificada para superar essas barreiras.

Arquitetura Central:
- É um modelo NAR (Não Autoregressivo) de estágio único baseado em Modelos de Difusão de Linguagem (Diffusion Language Models).
- Utiliza um Transformer Bidirecional para mapear diretamente tokens de texto para tokens acústicos de múltiplos codebooks (livros de códigos), eliminando a necessidade de um estágio intermediário semântico.
- Entrada: Uma sequência de tokens de texto (instruções + transcrição) e uma matriz de tokens acústicos (dividida em segmento de prompt e segmento alvo mascarado).
- Saída: Previsão dos tokens acústicos originais nas posições mascaradas.
Duas Inovações Técnicas Chave:
1. Mascaramento Aleatório de Codebook Completo (Full-Codebook Random Masking):
  - Métodos anteriores usavam mascaramento "por camada" (per-layer), o que é ineficiente.
  - O OmniVoice aplica um mascaramento estocástico em todos os codebooks simultaneamente. Em média, 50% dos tokens são usados para cálculo de perda a cada iteração (C vezes mais do que métodos anteriores), acelerando drasticamente a convergência e melhorando a qualidade generativa.
2. Inicialização com LLM (Large Language Model):
  - Para resolver o problema de inteligibilidade em modelos NAR de estágio único, o backbone do modelo é inicializado com pesos de um LLM autoregressivo pré-treinado (especificamente o Qwen3-0.6B).
  - Isso transfere o conhecimento linguístico do LLM para a tarefa de TTS, garantindo que a fala gerada seja altamente inteligível, algo que modelos NAR puramente treinados do zero frequentemente falham em alcançar.
Dados e Escala:
- O modelo foi treinado em um conjunto de dados massivo de 581.000 horas de áudio, curado exclusivamente de fontes de código aberto.
- Abrange 646 idiomas (incluindo muitos idiomas de recursos baixos).
- Utiliza uma estratégia de reamostragem de dados para mitigar o desequilíbrio entre idiomas ricos e pobres em dados, garantindo que o modelo aprenda idiomas com poucos dados sem sacrificar a performance nos idiomas majoritários.
Controle Multidimensional:
- Denoising de Prompt: O modelo é treinado para remover ruído e reverberação de prompts de áudio degradados.
- Design de Voz por Atributos: Suporta síntese baseada em atributos (gênero, idade, sotaque) sem necessidade de prompt de áudio.
- Controle Fonético: Permite sobreposição explícita de fonemas (ex: Pinyin para chinês, fonemas CMU para inglês) para controlar pronúncias complexas.

3. Resultados Principais

Os experimentos foram conduzidos em benchmarks em inglês, chinês e multilíngue massivo:

Desempenho em Inglês e Chinês:
- O OmniVoice superou todos os modelos NAR e AR de ponta (SOTA) em benchmarks como LibriSpeech-PC e Seed-TTS.
- Destaque em Semelhança de Falante (SIM-o) e Inteligibilidade (WER/CER), superando modelos como CosyVoice, IndexTTS2 e Qwen3-TTS.
Desempenho Multilíngue:
- No benchmark FLEURS-Multilingual-102 (102 idiomas), o OmniVoice alcançou uma Taxa de Erro de Caracteres (CER) média de 4,00%, comparável à transcrição de referência (ground-truth).
- Demonstrou forte capacidade de generalização em idiomas de recursos baixos, mantendo CER < 5% mesmo em idiomas com menos de 10 horas de dados de treinamento.
- No benchmark MiniMax-Multilingual-24, superou sistemas comerciais líderes (como ElevenLabs e MiniMax-Speech) em métricas médias de semelhança e inteligibilidade, apesar de ser treinado apenas com dados abertos.
Eficiência:
- O modelo possui alta eficiência de inferência, com um Fator de Tempo Real (RTF) de 0,0319 em 16 passos de inferência (mais rápido que modelos concorrentes como o ZipVoice).

4. Contribuições Chave

Arquitetura Simplificada de Alto Desempenho: Demonstra que um pipeline de estágio único, baseado em difusão discreta e inicializado com LLM, pode superar pipelines complexos de dois estágios em qualidade e inteligibilidade.
Escala Omnilinguística: A criação e treinamento em um dataset de 581k horas cobrindo mais de 600 idiomas, estabelecendo o recorde de cobertura linguística para TTS zero-shot.
Inovações de Treinamento: A estratégia de mascaramento aleatório completo e a inicialização via LLM são técnicas transferíveis que resolvem problemas de convergência e inteligibilidade em modelos NAR.
Acesso Aberto: O código e os modelos pré-treinados são públicos, promovendo a democratização da tecnologia de síntese de fala para idiomas negligenciados.

5. Significado e Impacto

O OmniVoice representa um avanço significativo na democratização da tecnologia de fala. Ao superar as barreiras de cobertura linguística e manter qualidade de nível comercial em mais de 600 idiomas, ele permite a aplicação de TTS em contextos globais onde soluções anteriores eram inexistentes ou de baixa qualidade. A abordagem de estágio único com inicialização de LLM redefine o estado da arte (SOTA) para modelos NAR, sugerindo um novo paradigma para síntese de fala escalável e eficiente.

Limitações Futuras: O trabalho aponta que a qualidade ainda pode ser melhorada com dados de treinamento mais curados e que a aceleração de inferência para modelos NAR de espaço discreto (redução de passos) permanece um desafio aberto, diferentemente dos modelos de espaço contínuo que usam flow distillation.