💬 NLP

Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

O Confucius4-TTS é um sistema de texto para fala multilíngue zero-shot que possibilita a clonagem de voz translinguística sem necessidade de transcrição ao empregar uma arquitetura de dois estágios com um codificador de locutor treinável para extrair características de timbre de representações de fala auto-supervisionadas, alcançando alta inteligibilidade e similaridade de locutor em 14 idiomas.

Autores originais: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a falar como o seu personagem de filme favorito. No mundo da ciência da computação, isso é chamado de "Text-to-Speech" (TTS - Texto para Fala). Geralmente, para fazer o robô soar exatamente como esse personagem, você precisa de duas coisas: um pequeno clipe de áudio dele falando e uma transcrição escrita (um roteiro) do que ele disse exatamente naquele clipe. Pense na transcrição como um mapa; sem ela, o robô se perde tentando combinar a voz com as palavras. Mas aqui está o problema: no mundo real, a maioria dos clipes de áudio que encontramos — como um vídeo aleatório do TikTok ou um trecho de podcast — não vem com um roteiro. Eles são "não transcritos". Isso torna incrivelmente difícil clonar vozes "da natureza", especialmente quando você quer que o robô fale um idioma diferente do clipe original. Este artigo aborda exatamente essa dor de cabeça: como fazer um robô soar como uma pessoa específica em um novo idioma, mesmo que não tenhamos o roteiro para o áudio original.

Apresentamos o Confucius4-TTS, um novo sistema da NetEase Youdao que atua como um mestre camaleão de vozes. Os pesquisadores construíram uma máquina de dois estágios que pode pegar um curto clipe de áudio de um estranho e um texto em um idioma diferente, e gerar uma fala que soe como esse estranho falando o novo idioma — tudo isso sem precisar do roteiro original.

Eis como funciona, usando uma analogia simples. Imagine que o sistema é uma equipe de duas pessoas: um Tradutor e um Ator.

Primeiro, o Tradutor (chamado de módulo Text-to-Semantic) olha para o texto alvo que você deseja que seja falado. Mas, em vez de apenas ler as palavras, ele também ouve o clipe de áudio de referência. Crucialmente, ele não precisa saber o que o áudio de referência diz; ele só precisa saber quem o está dizendo. Para fazer isso, ele usa um "Encoder de Locutor Aprendível" especial. Pense neste encoder como um scanner de impressão digital de voz. Ele pega o áudio bagunçado e não transcrito e extrai o "timbre" ou a "cor" única da voz — como a textura de uma corda de violão — ignorando as palavras específicas. Ele então entrega essa "impressão digital de voz" ao Tradutor, que a combina com seu novo texto para criar um conjunto de "tokens semânticos". Esses tokens são como um projeto para a fala: eles contêm o significado e o ritmo, mas ainda não o som final.

Em seguida, o Ator (chamado de módulo Semantic-to-Acoustic) pega esse projeto e a impressão digital da voz. Esta parte utiliza uma técnica sofisticada chamada "conditional flow matching" (ajuste de fluxo condicional), que é como um escultor transformando lentamente um bloco de argila em uma estátua. Ele começa com um ruído aleatório e gradualmente o molda em um mel-espectrograma (um mapa visual de ondas sonoras) que corresponde à impressão digital da voz e ao projeto. Finalmente, um "vocoder" (um sintetizador de som) transforma esse mapa em ondas de áudio reais que você pode ouvir.

A principal descoberta do artigo é que este sistema funciona incrivelmente bem sem o roteiro. Os autores o testaram em 14 idiomas, incluindo chinês, inglês, japonês, coreano e vários idiomas europeus e do sudeste asiático. Quando colocaram o Confucius4-TTS contra outros sistemas de ponta em um benchmark chamado CV3-Eval (que testa a clonagem de voz translinguística), ele alcançou uma Taxa de Erro de Palavra (WER) média de 3,73% em seis diferentes direções linguísticas. Essa é uma taxa de erro muito baixa, o que significa que a fala é altamente inteligível. De fato, no benchmark X-Voice, ele superou ou igualou outros sistemas líderes em sete diferentes pares de idiomas de origem para o chinês.

Os pesquisadores também descobriram que, se você por acaso tiver o roteiro do áudio de referência, o sistema pode mudar para um modo de "clonagem de continuação". Isso é como dar ao Ator o roteiro e a impressão digital da voz. Embora isso faça a voz soar ainda mais parecida com o locutor original (melhorando as pontuações de similaridade de locutor), isso traz uma pequena compensação: a fala pode ser ligeiramente menos inteligível do que a versão sem roteiro. No entanto, o modo padrão "sem transcrição" é a verdadeira estrela, provando que você não precisa de um mapa para encontrar a voz.

Em testes humanos, onde pessoas reais ouviram os resultados e os classificaram, o Confucius4-TTS frequentemente ocupou o primeiro lugar em similaridade de timbre (o quanto parecia com a pessoa original) e naturalidade (o quão humana a fala soava). Por exemplo, em testes convertendo chinês para inglês, ele ficou em primeiro ou segundo lugar em quase todas as categorias, superando gigantes comerciais e outros modelos de código aberto.

O artigo descarta explicitamente a ideia de que você deve ter uma transcrição para obter uma clonagem translinguística de alta qualidade. Métodos anteriores dependiam fortemente de alinhamento forçado (combinando palavras com sons perfeitamente) ou pares de treinamento sintéticos, mas o Confucius4-TTS sugere que, ao usar representações de fala auto-supervisionadas (IA que aprendeu a entender a fala apenas ouvindo, sem ser ensinada as palavras), você pode extrair a identidade da voz diretamente. Os autores estão confiantes nesses resultados porque os testaram em dados de larga escala (cerca de 500.000 horas de fala) e os validaram através de múltiplos benchmarks públicos e avaliações humanas internas.

Então, o que isso significa para o futuro? Os autores sugerem que isso abre as portas para dublagem de vídeos, audiolivros e ferramentas de acessibilidade, onde você pode clonar instantaneamente uma voz de um clipe aleatório e fazê-la falar qualquer idioma, sem necessidade de roteiro. Eles até disponibilizaram o código e os modelos para o público, convidando outros a construir sobre essa magia "sem transcrição". Embora o sistema não seja perfeito (ainda possui uma pequena taxa de erro e poderia ser mais rápido), ele representa um passo significativo para tornar a clonagem de voz tão fácil quanto apenas apertar o "play" em um vídeo.

Resumo Técnico: Confucius4-TTS

Declaração do Problema

Avanços recentes em texto-para-fala (TTS) zero-shot melhoraram significativamente a qualidade da fala e a fidelidade da clonagem de voz. No entanto, uma limitação crítica persiste: muitos sistemas de TTS zero-shot de última geração exigem uma transcrição do áudio de referência no momento da inferência. Essa dependência prejudica a clonagem de voz cross-lingual, pois o áudio de referência do mundo real ("in-the-wild") é frequentemente não transcrito, particularmente para idiomas e dialetos de baixos recursos. Embora algumas abordagens tentem mitigar isso usando alinhamento forçado ou pares de prompts sintéticos, uma solução robusta que elimine o requisito de transcrição, mantendo alta inteligibilidade e similaridade de locutor entre idiomas, continua sendo um desafio.

Metodologia

O Confucius4-TTS é um sistema de TTS zero-shot multilíngue projetado para clonar locutores não vistos em 14 idiomas sem exigir transcrições de referência. O sistema emprega uma arquitetura de dois estágios:

1. Módulo Text-to-Semantic (T2S)

Arquitetura: Um Transformer apenas decodificador (24 camadas, tamanho oculto 1280) que prevê tokens semânticos de fala.
Condicionamento de Entrada: O modelo recebe embeddings de texto alvo e um embedding de locutor.
- Processamento de Texto: Utiliza um tokenizador baseado em BPE de um Large Language Model (LLM) pré-treinado. Um MLP leve projeta esses embeddings para a dimensão oculta do T2S.
- Condicionamento de Locutor: Em vez de usar um codificador de verificação de locutor pré-treinado, o sistema utiliza um codificador de locutor treinado conjuntamente. Este codificador opera em representações de fala auto-supervisionadas (SSL) derivadas de um codificador w2v-BERT 2.0. Ele agrupa características de SSL de nível de frame em um embedding de locutor de tamanho fixo ( $e_r$ ). Esta abordagem permite a extração de características de timbre diretamente do áudio bruto sem transcrições.
Treinamento: O módulo T2S é treinado com um objetivo de entropia cruzada autorregressivo para prever tokens semânticos condicionados ao texto alvo e ao embedding do locutor. A tabela de embeddings do LLM pré-treinado permanece congelada.

2. Módulo Semantic-to-Acoustic (S2A)

Arquitetura: Um modelo de condicionamento de fluxo (conditional flow-matching - CFM) com um backbone de Diffusion Transformer (DiT).
Função: Converte tokens semânticos previstos em mel-espectrogramas.
Condicionamento:
- Semântico: Combina embeddings de tokens semânticos com estados ocultos do módulo T2S ( $H_{T2S}$ ). O uso de estados ocultos contínuos junto com tokens discretos ajuda a reduzir o gargalo de informação e preserva o contexto para prosódia e timbre.
- Locutor: Utiliza um embedding de locutor global ( $g$ ) extraído de um modelo de verificação de locutor congelado (CAM++).
- Contexto Acústico: Incorpora um mel-espectrograma de prompt derivado do áudio de referência.
Treinamento: Otimizado via condicionamento de fluxo (flow matching) ao longo de um caminho de transporte ótimo. O modelo é treinado com orientação livre de classificador (classifier-free guidance - CFG) ao descartar conjuntamente as condições (semântica, locutor, prompt) com uma probabilidade fixa.

Inferência de Duplo Modo

O sistema suporta duas receitas de inferência usando o mesmo modelo:

Clonagem de Referência (Padrão): Condiciona apenas no texto alvo e no embedding do locutor extraído do áudio de referência. Este modo não requer transcrição e oferece flexibilidade em prosódia e estilo.
Clonagem de Continuação: Se uma transcrição de referência estiver disponível, o modelo condiciona na transcrição de referência e nos tokens semânticos de referência, além do embedding do locutor. Este modo produz uma maior similaridade de locutor ao custo de taxas de erro ligeiramente mais altas.

Principais Contribuições

Clonagem Cross-Lingual Sem Transcrição: O Confucius4-TTS é um sistema de TTS zero-shot multilíngue capaz de clonar locutores não vistos em 14 idiomas sem exigir uma transcrição de referência.
Codificador de Locutor Treinado Conjuntamente: Introduz um codificador de locutor treinado conjuntamente com o módulo T2S que opera em representações de fala auto-supervisionadas, permitindo a extração eficaz de timbre sem alinhamento forçado ou pares de prompts sintéticos.
Modos de Inferência Flexíveis: Suporta tanto a clonagem de referência sem transcrição quanto a clonagem de continuação baseada em transcrição dentro de uma única arquitetura de modelo.
Avaliação Abrangente e Lançamento: Fornece avaliações objetivas e subjetivas contra baselines de código aberto e comerciais, acompanhadas de um lançamento de código aberto de código, checkpoints de modelos e demos.

Resultados Experimentais

O sistema foi treinado em aproximadamente 500.000 horas de dados de fala multilíngue cobrindo 14 idiomas (chinês, inglês, japonês, coreano, alemão, francês, espanhol, indonésio, italiano, tailandês, português, russo, malaio e vietnamita).

Desempenho Cross-Lingual

CV3-Eval: No subset cross-lingual deste benchmark, o Confucius4-TTS alcançou uma Taxa de Erro de Palavra (WER) média de 3,73% em seis direções linguísticas. Obteve a menor taxa de erro em quatro das seis direções, superando significativamente sistemas como o CosyVoice 2 (ex: 4,87% vs. 48,10% para japonês-para-chinês).
X-Voice: Avaliado em sete idiomas de origem visando o chinês, o sistema alcançou a menor Taxa de Erro de Caractere (CER) em quatro direções e permaneceu dentro de 0,3 pontos absolutos do melhor sistema nas demais.

Desempenho Intra-Lingual e Multilíngue

Seed-TTS-eval: Em tarefas zero-shot intra-linguais, o sistema alcançou 1,49 de WER e 0,700 de Similaridade de Locutor (SIM) para o inglês, e 0,94 de CER e 0,765 de SIM para o chinês. A clonagem de continuação melhorou o SIM para 0,715 (inglês) e 0,766 (chinês).
MiniMax-MLS-Test: Através de 11 idiomas avaliados, o Confucius4-TTS alcançou similaridade de locutor acima de 72% no modo de clonagem de referência. A clonagem de continuação melhorou consistentemente o SIM em todos os idiomas quando as transcrições estavam disponíveis.

Avaliação Humana

Em um conjunto de teste cross-lingual interno (zh↔en, zh↔ko, zh↔ja), o Confucius4-TTS classificou-se em primeiro ou segundo lugar em similaridade de timbre e naturalidade em todos os pares de idiomas. Alcançou o melhor ranking geral na avaliação humana para en→zh, zh→ko e zh→ja, superando fortes baselines, incluindo sistemas comerciais como ElevenLabs e MiniMax-Speech.

Significância

O Confucius4-TTS aborda o gargalo prático da dependência de transcrição no TTS zero-shot, permitindo a clonagem de voz de alta fidelidade para áudios reais não transcritos. Ao alavancar representações auto-supervisionadas e um codificador de locutor treinado conjuntamente, o sistema alcança inteligibilidade e similaridade de locutor competitivas através de diversos idiomas sem módulos de alinhamento auxiliares. Os autores afirmam que o sistema performa competitivamente contra sistemas tanto de código aberto quanto comerciais, ofereando uma solução robusta para aplicações como dublagem de vídeos, audiolivros e ferramentas de acessibilidade, onde as transcrições de referência não estão disponíveis. O lançamento de código aberto visa facilitar pesquisas adicionais em geração de fala multilíngue e cross-lingual.