GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

Resumo Técnico: GRAFT – Áudio de Referência Enxertado para Pronúncia de Grão Fino em Text-to-Speech Zero-shot

1. Declaração do Problema

Os sistemas atuais de Text-to-Speech (TTS) zero-shot, particularmente aqueles baseados em modelos de linguagem de codec neural, alcançam alta inteligibilidade e naturalidade para o vocabulário comum. No entanto, eles herdam a ambiguidade do texto ortográfico, que frequentemente falha em especificar a pronúncia correta para nomes próprios raros, estrangeirismos e termos técnicos. Embora os modelos condicionados por fonemas ofereçam mais controle, eles dependem de léxicos grafema-para-fonema (G2P) fixos ou reconhecedores de fonemas neurais que descartam nuances prosódicas e tonais (diacríticos). Além disso, essas abordagens simbólicas não conseguem lidar facilmente com palavras que possuem múltiplas realizações válidas ou palavras desconhecidas onde não existe uma transcrição fonética canônica. O desafio central é fornecer um controle acústico direto para a pronúncia por palavra sem alterar a voz do locutor alvo ou exigir notação fonética especializada.

2. Metodologia

Os autores propõem o GRAFT, um mecanismo que condiciona a pronúncia de palavras específicas em amostras de áudio curtas faladas (dicas/hints) em vez de texto ou fonemas.

• Arquitetura e Inferência: O GRAFT opera sobre um modelo de linguagem de codec neural pré-treinado (especificamente o Qwen3-TTS-12Hz-0.6B-Base). Ele introduz um slot de condicionamento por palavra no prompt. Em vez de tokens de texto para uma palavra alvo, o sistema insere uma sequência de tokens de codec derivados de uma gravação de áudio isolada dessa palavra. Esses tokens são colocados entre delimitadores especiais (<B> e </B>) na posição correspondente no prompt de texto. O modelo então gera de forma autorregressiva a frase completa na voz do locutor alvo (definida por uma referência de estilo separada) enquanto adere à pronúncia da palavra enxertada.
• Construção dos Dados de Treinamento (Desentrelaçamento): Um componente crítico do GRAFT é o processo de construção dos dados de treinamento, que garante que o modelo aprenda a separar a pronúncia da identidade do locutor.
  • Para cada enunciado de treinamento, uma etapa de conversão de voz (voice-conversion) é aplicada usando o Seed-VC para gerar uma versão da frase falada por um locutor diferente.
  • Esta frase convertida é alinhada forçadamente à transcrição para criar clipes de "dica" (hint) de palavras individuais.
  • Durante o treinamento, o modelo recebe o texto original e os clipes de dica convertidos por voz (enxertados no prompt), mas é treinado para prever os tokens de codec da locução do locutor original (alvo).
  • Isso força o modelo a copiar a pronúncia e a prosódia da dica, enquanto ignora a identidade do locutor da dica, ensinando-o efetivamente a renderizar a dica na voz do alvo.
• Aumentação: Para garantir a robustez a condições reais de gravação, os clipes de dica passam por aumentação offline (ruído, mudanças de pitch/velocidade, filtragem, reverberação) e preenchimento de silêncio variável antes da codificação.
• Sem Alterações Arquiteturais: O método não requer novos parâmetros ou modificações arquiteturais; ele simplesmente reaproveita o tokenizer de codec existente e adiciona alguns tokens ao prompt de inferência.

3. Principais Contribuições

1. Mecanismo GRAFT: Um método de controle de pronúncia por palavra, livre de parâmetros, para modelos de linguagem de codec neural que aceita um exemplo falado de qualquer locutor e o renderiza na voz de um locutor alvo.
2. Estratégia de Treinamento de Conversão de Voz: A demonstração de que o treinamento em pares de conversão de voz é essencial para desentrelaçar o locutor da dica do locutor alvo, evitando que o modelo apenas "ecoar" a voz da dica.
3. Benchmark Multilíngue: O lançamento de um novo benchmark composto por 2.500 palavras difíceis em cinco idiomas (Inglês, Alemão, Francês, Espanhol, Italiano), juntamente com checkpoints de código aberto, código e ferramentas de avaliação.

4. Resultados Experimentais

Os autores avaliaram o GRAFT contra um backbone de apenas texto e sete sistemas zero-shot de código aberto competitivos (incluindo modelos condicionados por fonemas como StyleTTS2, MaskGCT, e modelos de entrada de texto como XTTS-v2, F5-TTS).

• Precisão de Pronúncia: No benchmark de palavras difíceis, o GRAFT reduziu a taxa de erro de fonemas da palavra alvo (D-PER) em 22–39% em comparação com o mesmo backbone de apenas texto em todos os cinco idiomas. Ele superou consistentemente todos os baselines em fidelidade de pronúncia.
• Avaliação Humana: Em um estudo de escuta cega em inglês envolvendo 20 avaliadores e 600 comparações, o GRAFT foi classificado em primeiro lugar por uma margem clara (150 pontos Bradley-Terry à frente do próximo melhor sistema). Os avaliadores julgaram a renderização de palavras difíceis do GRAFT como a mais próxima da gravação de referência.
• Similaridade de Locutor e Naturalidade: Apesar do forte controle de pronúncia, o GRAFT preservou a similaridade de locutor (SSIM) e a naturalidade (UTMOS) comparáveis ao modelo base e outros sistemas de topo.
• Estudos de Ablação: Remover o treinamento de conversão de voz (GRAFT no VC) resultou no modelo copiando a voz do locutor da dica (colapsando a similaridade de locutor para 0.20), confirmando que o treinamento de conversão de voz é necessário para o desentrelaçamento. Remover as aumentações degradou levemente o desempenho, mas não colapsou o sistema.
• Capacidade de Múltiplas Dicas: O sistema pode lidar com até cinco palavras enxertadas em uma única frase portadora, com a precisão de pronúncia degradando apenas ligeiramente conforme o número de dicas aumenta.

5. Significância e Alegações

O artigo afirma que o GRAFT aborda uma limitação específica nos sistemas de TTS atuais: a incapacidade de renderizar fielmente palavras raras ou ambíguas sem entrada fonética especializada. Ao usar um exemplo falado como o sinal de condicionamento, o GRAFT permite que não especialistas prescrevam a pronúncia simplesmente falando a palavra. Os autores enfatizam que sua abordagem não depende de correção canônica (léxicos), mas sim da transferência fiel de uma pronúncia fornecida.

A significância reside no desentrelaçamento da pronúncia e da identidade do locutor alcançado através do treinamento de conversão de voz, que permite que uma dica de qualquer voz seja renderizada em uma voz alvo específica. O artigo posiciona o GRAFT como uma solução prática para domínios que envolvem nomes próprios, marcas e termos técnicos onde os front-ends baseados em texto falham. Os autores observam que, embora o benchmark atual foque em línguas não tonais e palavras únicas, a dependência do método em tokens acústicos em vez de fonemas simbólicos sugere potencial para trabalhos futuros em línguas tonais e spans de múltiplas palavras, áreas onde os front-ends simbólicos costumam ter dificuldades.