PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech

1. Declaração do Problema

A avaliação atual de Texto-para-Fala (TTS) para línguas indicas depende fortemente de métricas de inteligibilidade (Taxa de Erro de Palavra - WER, Taxa de Erro de Caractere - CER) e pontuações gerais de naturalidade (Pontuação Média de Opinião - MOS, UTMOS).

• A Lacuna: Um sintetizador pode alcançar uma WER quase perfeita e altas pontuações de MOS, ainda soando "não nativo" devido a erros fonológicos específicos.
• O Desafio Específico: Línguas indicas possuem características fonológicas sistemáticas que falantes não nativos (e muitos modelos de IA) frequentemente colapsam ou pronunciam incorretamente. Estas incluem:
  • Articulação retroflexa (ex.: distinguir ṭ de t).
  • Aspiração (ex.: kh vs. k).
  • Duração vocálica fonêmica (vogais longas vs. curtas).
  • Sons específicos da língua (ex.: o aproximante retroflexo tâmil /r̲/ ou ḻ).
• Limitação das Métricas Existentes: Métricas como WER medem a precisão da transcrição, não a fidelidade acústica à fonologia nativa. Métricas distribucionais como Distância de Áudio Fréchet (FAD) fornecem uma pontuação escalar única, mas carecem de interpretabilidade sobre quais características fonológicas estão falhando.

2. Metodologia: O Perfil de Substituição de Fonemas (PSP)

Os autores propõem o PSP, um benchmark que decompõe o "acento" em seis métricas interpretáveis, por dimensão. Ele se afasta do casamento de transcrição baseado em regras em direção à sonda acústica usando incorporações de aprendizado profundo.

Mecanismo Central

O PSP utiliza alinhamento forçado (via alinhadores CTC Wav2Vec2-XLS-R específicos da língua) para localizar os intervalos de fonemas no áudio gerado. Em seguida, compara as incorporações acústicas desses intervalos contra centróides de falantes nativos e centróides de falantes substitutos (representando o erro não nativo) usando similaridade de cosseno retificada.

As Seis Dimensões

O benchmark mede dois tipos de dimensões:

1. Dimensões por Fonema (medidas via sondas acústicas):
   • Taxa de Colapso Retroflexo (RR): Mede a falha em distinguir consoantes retroflexas (ṭ, ḍ, ṇ, ṣ, ḷ) de seus equivalentes dentais.
   • Fidelidade de Aspiração (AF): Mede a preservação de oclusivas aspiradas (kh, gh, etc.), principalmente para o hindi.
   • Fidelidade de Duração (LF): Avalia a razão entre durações de vogais longas e curtas contra priores nativos.
   • Fidelidade Tamil-zha (ZF): Mede especificamente a produção do aproximante retroflexo tâmil /r̲/ (ழ).
2. Dimensões ao Nível do Corpus (medidas via distâncias distribucionais):
   • Distância de Áudio Fréchet (FAD): Calcula a distância entre as distribuições de áudio gerado e nativo no espaço de incorporação da Camada-9 do Wav2Vec2-XLS-R. Isso captura timbre, co-articulação e qualidade acústica global.
   • Divergência de Assinatura Prosódica (PSD): Calcula a distância de Fréchet em um espaço de características prosódicas de 5 dimensões (faixa de pitch, média log-F0, taxa de fala, nPVI e duração log).

Detalhes de Implementação

• Dados de Referência: Centróides nativos são construídos a partir de 500 clipes gravados em estúdio por língua (Hindi, Telugu, Tâmil) usando falantes diversos.
• Pontuação: O sistema computa pontuações de fidelidade comparando as incorporações geradas ao centróide nativo ($\mu_{nat}$) versus o centróide substituto ($\mu_{sub}$).
• Código Aberto: O código, os centróides e as incorporações de referência são lançados sob licenças MIT e CC-BY.

3. Principais Contribuições

1. Formalização de Métricas de Acento: Definição de seis dimensões específicas e interpretáveis para avaliação de TTS indico, indo além de pontuações de escalar único.
2. Abordagem Baseada em Sonda Acústica: Diferentemente de sistemas baseados em regras (ex.: PSR para inglês), o PSP depende de incorporações acústicas, tornando-o robusto mesmo quando a transcrição ASR é propensa a erros para acentos específicos.
3. Lançamento de Recursos: Liberação de centróides de falantes nativos, incorporações de nível de enunciado de 1000 clipes para FAD, matrizes prosódicas de 500 clipes para PSD e "conjuntos dourados" de 300 enunciados para futuros benchmarks.
4. Avaliação Abrangente: Avaliação de quatro sistemas (ElevenLabs v3, Cartesia Sonic-3, Sarvam Bulbul, Indic Parler-TTS) e um sistema de código aberto em andamento (Praxy Voice) em Hindi, Telugu e Tâmil.

4. Principais Resultados e Descobertas

A. A Dissociação "Acento vs. Inteligibilidade"

• WER $\neq$ Acento: Sistemas com a menor WER (ex.: ElevenLabs, Cartesia) não lideram consistentemente na fidelidade de acento.
  • Exemplo: No Hindi, o ElevenLabs teve a menor WER, mas ficou em segundo lugar no FAD. No Telugu, o Cartesia teve baixa WER, mas a pior taxa de colapso retroflexo (50%).
• Ineficiência de Pareto: Nenhum sistema único é ótimo em todas as seis dimensões. Por exemplo, no Tâmil, o Indic Parler-TTS venceu quatro de cinco dimensões, enquanto o Sarvam Bulbul venceu apenas o FAD.

B. Gradiente de Dificuldade Fonológica

O estudo confirmou um aumento monótono na dificuldade para TTS indico, que o PSP rastreia com sucesso:

• Hindi: ~1% de colapso retroflexo (Maduro, quase nativo).
• Telugu: ~40% de colapso retroflexo.
• Tâmil: ~68% de colapso retroflexo (Mais difícil).
• Significado: Sistemas comerciais construídos no Ocidente degradam-se significativamente à medida que a língua-alvo se afasta da fonologia inglesa, enquanto sistemas focados na Índia (Sarvam, Parler) generalizam melhor.

C. Modos de Falha Específicos Detectados

• Planície Prosódica (PSD): A saída em Telugu do ElevenLabs teve uma pontuação massiva de PSD (154 vs. ~11 para nativos), indicando uma entrega "plana, não expressiva" apesar da pronúncia correta das palavras. O WER perdeu completamente isso.
• Colapso Tamil-zha: O som único tâmil /r̲/ colapsou em ~86% na maioria dos sistemas comerciais.
• Escala de Treinamento vs. Decodificador Acústico: No estudo de caso Praxy Voice (R5 $\to$ R6), aumentar os dados de treinamento (85h $\to$ 1220h) melhorou o FAD (similaridade acústica), mas piorou o PSD (prosódia) e deixou o Colapso Retroflexo inalterado. Isso provou que mais dados, por si só, não corrigem a articulação fonológica específica se os pesos do decodificador acústico não forem atualizados corretamente.

D. Recuperação por Prompt de Voz

Usando uma abordagem "Traga Sua Própria Referência" (BYOR), alimentar um clipe nativo de Telugu de 9 segundos no sistema Praxy R6 melhorou significativamente os resultados:

• O colapso retroflexo caiu de 40% para ~27-33%.
• O PSD melhorou drasticamente, igualando-se às bases comerciais.
• Isso demonstrou que condicionar em uma referência nativa pode contornar a necessidade de retreinamento massivo para corrigir problemas de acento.

5. Significado e Trabalho Futuro

• Mudança de Paradigma: O PSP muda a avaliação de TTS de "A máquina consegue ler o texto?" (WER) para "A máquina soa como um falante nativo?" (Acento).
• Utilidade Diagnóstica: A decomposição por dimensão permite que desenvolvedores identifiquem falhas específicas (ex.: "O modelo tem boa prosódia, mas falha em retroflexos") em vez de depender de uma pontuação agregada única.
• Complementaridade: O PSP é projetado para complementar, não substituir, métricas existentes como PSR (para inglês) ou testes de audição MUSHRA.
• Roteiro Futuro (v2): Os autores planejam:
  • Realizar estudos formais de correlação MOS com avaliadores nativos.
  • Escalar benchmarks para 300 enunciados por língua para significância estatística.
  • Normalizar pontuações por fonema para levar em conta os pisos de ruído de alinhamento em Telugu/Tâmil.
  • Adicionar avaliação de entrada mista de códigos.

Conclusão: O artigo estabelece que o acento no TTS indico é um vetor mensurável e decomponível de características fonológicas. O PSP fornece o primeiro framework interpretável para quantificar essas características, revelando que os sistemas de TTS mais avançados atuais frequentemente falham em capturar a fonologia nativa, apesar de altas pontuações de inteligibilidade.