Resumo Técnico: TokAN: Normalização de Sotaque Usando Tokens de Fala Autossupervisionados

Declaração do Problema

A Normalização de Sotaque (AN), ou Conversão de Sotaque Estrangeiro (FAC), visa converter a fala com sotaque não nativo (L2) em fala nativa padrão (L1), preservando a identidade do falante original. As abordagens existentes enfrentam limitações significativas:

• Métodos baseados em referência exigem amostras de fala nativa durante a inferência, dificultando a implementação prática.
• Métodos sem referência dependem frequentemente de corpora paralelos L1–L2 registrados naturalmente, que são escassos.
• Métodos de supervisão sintética (usando pipelines cascateados de ASR-TTS) sofrem de degradação de qualidade. A supervisão direta de fala propaga artefatos de clonagem de voz e erros prosódicos de alvos sintéticos, enquanto a informação de duração sintética frequentemente falha em refletir ritmos nativos autênticos.
• Métodos baseados em tokens usando modelos de aprendizagem autossupervisionada (SSL) pré-treinados com agrupamento K-Means podem não gerar atribuições de código otimamente discriminativas para conteúdo fonético específico de sotaque. Além disso, o ajuste fino supervisionado (SFT) com perda de entropia cruzada é um sinal fraco para os objetivos finais de preservação de conteúdo e redução de sotaque.

Metodologia

Os autores propõem o TokAN, um framework abrangente que opera sobre tokens de fala discretos autossupervisionados. O sistema consiste em três componentes principais e um pipeline de treinamento de quatro estágios.

1. Tokenizador VQ Treinado Conjuntamente

Em vez de usar o agrupamento K-Means offline em características SSL congeladas, o TokAN emprega um codebook de Quantização Vetorial (VQ) treinável.

• Arquitetura: Um codificador SSL WavLM-Large congelado extrai características em nível de frame, que passam por um ResNet 1-D raso e um gargalo VQ para produzir tokens discretos.
• Treinamento Conjunto: O tokenizador é co-otimizado com um sintetizador de fala de correspondência de fluxo (flow-matching) e um módulo ASR baseado em CTC em fala inglesa nativa. O objetivo combina perda de reconstrução VQ, perda de síntese e perda de reconhecimento.
• Benefício: Isso garante que o codebook capture representações foneticamente ricas adequadas tanto para alta fidelidade de reconstrução quanto para preservação de conteúdo, fornecendo implicitamente uma normalização inicial da fala acentuada.

2. Modelo de Conversão de Tokens Autoregressivo

Este módulo transforma sequências de tokens com sotaque L2 em sequências com sotaque L1.

• Arquitetura: Um Transformer codificador-decodificador. O codificador utiliza Codificações Posicionais Rotativas (RoPE) e é supervisionado por uma perda de predição de fonema CTC para reforçar o conteúdo fonético. O decodificador é apenas de auto-atenção, tratando a saída do codificador como um prefixo em vez de usar camadas separadas de cross-attention. O modelo é universal para sotaques, removendo embeddings de sotaque de origem para depender apenas do conteúdo fonético.
• Treinamento:
  • Pré-treinamento: Corrupção estilo BART (mascaramento de intervalo, inserção) em fala nativa não rotulada para aprender distribuições de tokens.
  • Ajuste Fino Supervisionado (SFT): Treinado em pares de tokens paralelos semi-sintéticos (tokens de origem L2 pareados com tokens de alvo L1 sintetizados por TTS) usando entropia cruzada e orientação CTC.
  • Pós-treinamento por RL: Um estágio de aprendizado por reforço usando Otimização de Política Relativa de Grupo (GRPO). O decodificador é ajustado finamente em fala real multissotaque não pareada (dataset GLOBE) usando uma função de recompensa que combina Taxa de Erro de Palavra (WER) e confiança de classificador de sotaque. Isso otimiza diretamente os objetivos de nível de tarefa sem exigir dados pareados adicionais.

3. Sintetizador de Correspondência de Fluxo (Flow-Matching)

Um modelo não autoregressivo converte a sequência de tokens convertida de volta para um espectrograma Mel.

• Controle de Duração: Um preditor de duração de correspondência de fluxo atribui durações aos tokens. Ele suporta um modo de consciência de duração total, condicionando na duração média de token da origem. Isso permite a preservação da "comprimento da fonte", crucial para aplicações como dublagem, mantendo uma prosódia mais natural do que a simples escala.
• Saída: Um vocoder HiFT pré-treinado gera a forma de onda final condicionada ao embedding do falante de origem.

Principais Contribuições

1. Tokenizador VQ Conjuntamente Treinado: Substituiu o tokenizador HuBERT/K-Means da versão de conferência por um tokenizador VQ treinado conjuntamente acoplado a módulos de síntese e ASR, otimizando sistematicamente a representação fonética e a fidelidade de reconstrução.
2. Arquitetura Universal de Sotaque: Redesenhou o modelo de conversão com RoPE e um decodificador apenas de auto-atenção, removendo embeddings de sotaque de origem para criar um modelo mais generalizável.
3. Pós-treinamento por RL: Introduziu um estágio de RL baseado em GRPO que otimiza diretamente a preservação de conteúdo (via WER) e a redução de sotaque (via classificador de sotaque) usando dados reais não pareados, aproximando o comportamento do SFT dos critérios de implantação.
4. Síntese Consciente de Duração: Estendeu o controle de duração com um preditor de correspondência de fluxo condicionado na duração média da fonte, permitindo síntese de alta qualidade que respeita restrições de duração total.
5. Avaliação Abrangente: Expandiu o escopo além da versão de conferência com datasets maiores, baselines mais fortes e estudos de ablação detalhados.

Resultados Experimentais

Experimentos foram conduzidos em sete sotaques ingleses (dataset L2-ARCTIC) comparando o TokAN contra FramAN (frame-to-frame), CosyAccent (correspondência de fluxo direta) e VEVO (conversão de tokens baseada em prompt).

• Inteligibilidade (WER): O TokAN alcançou um WER de 9,23% (TokAN-1, livre de duração) e 9,40% (TokAN-2, comprimento da fonte) após o pós-treinamento por RL. Isso superou significativamente o CosyAccent (12,40%) e o FramAN (17,55%).
• Redução de Sotaque: O TokAN alcançou o menor $\Delta$PPG (0,2533) e a maior probabilidade L1 (99,09%), indicando conversão superior para pronúncia semelhante à nativa.
• Naturalidade: O TokAN-1 alcançou a pontuação de naturalidade subjetiva mais alta (70,73 MUSHRA).
• Similaridade de Falante: Embora o TokAN tenha mostrado um compromisso entre redução de sotaque e similaridade de falante (consistente com achados anteriores), ele manteve pontuações de similaridade competitivas. Os autores observam que o sintetizador condicionado por embedding atual pode ser um gargalo para a preservação da identidade do falante em comparação com abordagens baseadas em prompt.
• Estudos de Ablação: Confirmaram a necessidade de cada estágio: remover o RL aumentou o WER para 9,89%; remover o SFT causou a queda do desempenho para níveis próximos de ressíntese; remover o pré-treinamento ou a supervisão CTC também prejudicou significativamente o desempenho.

Significância e Alegações

O artigo afirma que o TokAN representa um avanço significativo na normalização de sotaque ao desacoplar efetivamente a necessidade de dados paralelos L1–L2 e mitigar a degradação de qualidade associada à supervisão sintética. Ao operar ao nível de tokens, o framework abstrai artefatos paralinguísticos, e o treinamento conjunto do tokenizador garante que as representações discretas sejam otimizadas para as tarefas específicas de conversão e síntese.

A integração do pós-treinamento por RL baseado em GRPO é destacada como uma contribuição inovadora para o campo, permitindo que o modelo refine sua saída com base em recompensas específicas de tarefa (inteligibilidade e redução de sotaque) usando dados reais não pareados. Adicionalmente, a síntese consciente da duração total aborda um requisito prático crítico para aplicações de dublagem, oferecendo uma solução que preserva o tempo da fonte sem sacrificar a prosódia natural.

Os autores concluem modestamente que, embora o TokAN estabeleça um novo estado da arte, trabalhos futuros poderiam explorar sintetizadores baseados em prompt para melhor equilibrar a redução de sotaque com a preservação da identidade do falante e estender a arquitetura modular para línguas não inglesas.