Resumo Técnico: AccentBox: Rumo à Geração de Sotaque Zero-Shot de Alta Fidelidade

1. Declaração do Problema

Avanços recentes em Zero-Shot Text-to-Speech (ZS-TTS) alcançaram alta naturalidade e similaridade de locutor, permitindo a síntese de vozes de locutores não vistos a partir de clipes de áudio curtos. No entanto, os sistemas existentes ignoram amplamente a variação de sotaque, sendo frequentemente treinados em conjuntos de dados enviesados (ex: inglês americano) sem condicionamento explícito de sotaque. Isso resulta em baixa fidelidade de sotaque e falta de controle sobre o sotaque gerado.

As abordagens atuais para geração de fala com sotaque dividem-se em três categorias, cada uma com limitações significativas:

• Conversão de Sotaque Estrangeiro (FAC): Converte sotaques L2 para sotaques L1, mas não consegue lidar com textos arbitrários ou pares de sotaques não vistos.
• TTS com Sotaque: Gera fala com sotaque, mas é limitado a locutores e sotaques já vistos.
• ZS-TTS Padrão: Gera fala para locutores não vistos, mas falha em controlar ou reproduzir sotaques com precisão, frequentemente levando a alucinações ou incompatibilidade de sotaque.

Além disso, existe uma lacuna de pesquisa crítica em relação ao entrelaçamento locutor-sotaque (speaker-accent entanglement). Tanto na Identificação de Sotaque (AID) quanto no ZS-TTS, os modelos frequentemente confundem a identidade do locutor com o sotaque, falhando em generalizar para locutores não vistos ou em desentrelaçar esses dois atributos. Adicionalmente, os benchmarks existentes frequentemente sofrem de vazamento de dados (sobreposição de locutores entre os conjuntos de treinamento e teste), obscurecendo as reais capacidades de generalização dos modelos de AID.

2. Metodologia

Os autores propõem o AccentBox, um novo pipeline de dois estágios que unifica FAC, TTS com sotaque e ZS-TTS em uma única tarefa de Geração de Sotaque Zero-Shot. Esta tarefa visa gerar qualquer conteúdo de fala em qualquer voz e sotaque dados a partir de um único clipe de áudio.

Estágio 1: Identificação de Sotaque Generalizável (GenAID)

O primeiro estágio foca na extração de embeddings de sotaque contínuos e independentes de locutor. Os autores propõem o GenAID, um modelo de AID melhorado baseado no codificador XLSR, projetado para superar o entrelaçamento locutor-sotaque. As principais modificações incluem:

1. Validação em Locutores Não Vistos: O modelo é validado exclusivamente em locutores não presentes no conjunto de treinamento para evitar a memorização de mapeamentos locutor-sotaque.
2. Amostragem Ponderada: Aborda a distribuição desequilibrada de rótulos de sotaque através de amostragem com probabilidades inversamente proporcionais à frequência do sotaque.
3. Aumento de Dados (Data Augmentation): Aplica perturbações de velocidade e ruído para aumentar a robustez contra condições de gravação.
4. Gargalo de Informação (Information Bottleneck): Um MLP de duas camadas mapeia as saídas de alta dimensão do codificador para um embedding de menor dimensão (64-dim), removendo informações redundantes.
5. Treinamento Adversário: O modelo é treinado para ser maximamente incerto sobre a identidade do locutor usando uma perda de Erro Quadrático Médio (MSE) contra uma distribuição uniforme, desentrelaçando efetivamente as informações do locutor das características do sotaque.

Estágio 2: Geração de Sotaque Zero-Shot (AccentBox)

O segundo estágio condiciona um sistema de ZS-TTS (baseado no YourTTS) nos embeddings de GenAID pré-treinados.

• Arquitetura: O sistema substitui os embeddings de linguagem one-hot padrão pelos embeddings contínuos de GenAID. Esses embeddings condicionam tanto o Codificador de Texto Transformer quanto o Preditor de Duração Estocástico.
• Cenários de Inferência: O sistema suporta três modos:
  • Geração Inerente: Gerando fala com o sotaque natural do locutor alvo.
  • Geração de Sotaque Cruzado (Cross-Accent): Gerando a voz de um locutor alvo com um sotaque diferente e especificado.
  • Geração de Sotaque Não Visto: Gerando fala com um sotaque não visto durante o treinamento.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Definição de Tarefa: Introdução da tarefa de Geração de Sotaque Zero-Shot, que unifica as capacidades de FAC, TTS com sotaque e ZS-TTS padrão.
• Benchmarking: Estabelecimento do primeiro benchmark para esta tarefa, incluindo a verificação e quantificação do entrelaçamento locutor-sotaque em dados/modelos de AID e a identificação de problemas de incompatibilidade/alucinação de sotaque em ZS-TTS.
• Novo Desentrelaçamento: Implementação do desentrelaçamento locutor-sotaque em AID usando gargalos de informação e treinamento adversário, alcançando embeddings de sotaque independentes de locutor.
• Desempenho do Sistema: Demonstração de um sistema capaz de geração de sotaque zero-shot de alta fidelidade sem depender de rótulos de sotaque pré-coletados nos dados de TTS.

4. Resultados Experimentais

Desempenho do GenAID

• Classificação: Em locutores não vistos (classificação de 13 sotaques), o melhor sistema GenAID alcançou um F1 score de 0,56 e acurácia de 0,56, superando significativamente a linha de base aleatória (0,08) e sistemas anteriores.
• Generalização: A lacuna de acurácia entre locutores vistos e não vistos foi reduzida de 0,53 (baseline) para 0,06 (proposto), indicando uma generalização superior.
• Desentrelaçamento: O Coeficiente de Silhueta para Agrupamentos de Locutores (SCSC) caiu de 0,236 para 0,079, confirmando a redução de informação residual do locutor nos embeddings de sotaque.

Desempenho do AccentBox

• Avaliação Objetiva (Inerente & Cross-Accent): O sistema proposto alcançou as pontuações mais altas de Similaridade de Cosseno de Sotaque (AccCos) (0,9336 para inerente, 0,9067 para cross-accent) em comparação com baselines como VALL-E X e um baseline padrão do YourTTS.
• Avaliação Subjetiva (Inerente):
  • Similaridade de Sotaque: O sistema proposto foi preferido em relação ao Baseline (69,1% para US, 61,3% para Irlandês) e ao sistema Accent_ID (57,4% para US, 65,7% para Irlandês).
  • Similaridade de Locutor: As preferências foram mistas; o sistema foi preferido em relação ao Baseline, mas mostrou menor similaridade de cosseno de locutor objetiva, possivelmente devido ao viés de ASR ou dificuldade dos ouvintes em distinguir sotaque de identidade.
  • Naturalidade: O sistema superou os baselines para sotaques americanos, mas recebeu menor preferência para sotaques irlandeses, atribuído aos dados limitados para o irlandês e à sensibilidade à prosódia.
• Avaliação Subjetiva (Cross-Accent): O sistema proposto demonstrou superioridade na fidelidade do sotaque (70,0% de preferência para US, 61,7% para Irlandês) em comparação com o sistema Accent_ID, que depende de rótulos discretos one-hot e tem dificuldade com consistência.

5. Significância e Alegações

O artigo posiciona o AccentBox como um passo significativo em direção a uma tecnologia de fala inclusiva. Ao abordar a questão do entrelaçamento locutor-sotaque, os autores afirmam ter criado um sistema que:

1. Preserva a identidade linguística para falantes nativos e alivia a pressão para conformidade com sotaques nativos para falantes não nativos.
2. Permite aplicações em assistentes virtuais personalizados, dublagem de filmes e Treinamento de Pronúncia Auxiliado por Computador (CAPT).
3. Fornece controle separado sobre locutor e sotaque, permitindo a geração de sotaques e vozes não vistos sem a necessidade de rótulos de sotaque pré-coletados nos dados de treinamento de TTS.

Os autores observam que, embora o sistema seja promissor, trabalhos futuros são necessários para experimentar com conversão/geração de sotaque L2 e para refinar métodos de avaliação para entender melhor as discrepâncias de naturalidade entre diferentes sotaques.