PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech

Resumo Técnico: PashtoTTS-Bench e o Framework INSV

Declaração do Problema
A avaliação atual de Texto para Fala (TTS) para idiomas de recursos escassos e não baseados no alfabeto latino frequentemente depende de uma única métrica: a Taxa de Erro de Palavra (WER) derivada de um ciclo de ida e volta de Reconhecimento Automático de Fala (ASR). Os autores argumentam que essa abordagem é insuficiente para idiomas como o Pashto, que utilizam o script Perso-Árabe com grafemas e fonemas únicos. Uma pontuação única de WER pode mascarar modos de falha críticos, como um sistema produzir áudio em um idioma vizinho (por exemplo, Urdu ou Dari), colapsar letras específicas do Pashto em caracteres genéricos do Árabe/Urdu ou gerar prosódia não natural que falantes nativos rejeitam, apesar de pontuações altas de inteligibilidade. Além disso, modelos ASR padrão frequentemente carecem de dados de treinamento robustos para esses idiomas, levando a linhas de base pouco confiáveis.

Metodologia: O Framework INSV e INSV-A
Para abordar essas limitações, o artigo apresenta o INSV (Inteligibilidade, Naturalidade, Fidelidade ao Script e Verificação), um framework de relatórios em quatro partes projetado para separar modos de falha distintos. Este artigo instancia o subconjunto de triagem automatizada, INSV-A, que avalia sistemas sem depender de testes de audição humana (Naturalidade) ou anotação fonética nativa, embora especifique protocolos para eles.

O protocolo INSV-A mede quatro dimensões:

1. Conclusão da Síntese: Verificar que o sistema produz áudio não nulo para todas as entradas.
2. Inteligibilidade (I): WER e Taxa de Erro de Caractere (CER) de ciclo de ida e volta do ASR. O estudo utiliza dois modelos ASR: um modelo multilíngue independente e não condicionado (omniASR_CTC_300M_v2) como métrica principal, e um modelo de referência específico do idioma (pashto-asr-v3) para comparação diagnóstica.
3. Fidelidade ao Script (S): A Taxa de Fidelidade ao Script (SFR), que calcula a fração de caracteres na hipótese do ASR que permanecem dentro do bloco Unicode do script alvo (Perso-Árabe para Pashto). Isso detecta se um sistema colapsa letras únicas do Pashto ou produz texto em Latim/Inglês.
4. Verificação (V): Identificação de Idioma (LID) usando múltiplos modelos (MMS-LID-4017 e SpeechBrain VoxLingua107) para confirmar que a saída é reconhecida como Pashto. Os autores excluem explicitamente o Whisper Large V3 dos cálculos de LID porque ele atribui rótulos de Pashto de 0,0% a áudios validados em Pashto devido à representação quase nula de dados de treinamento.

Configuração Experimental
O framework é instanciado como PashtoTTS-Bench, uma avaliação datada realizada em abril-maio de 2026.

• Conjuntos de Teste: 200 prompts FLEURS (qualidade de transmissão) e 200 prompts Common Voice 24 filtrados (qualidade de crowdsourcing).
• Sistemas Avaliados:
  • Edge GulNawaz & Edge Latifa: Vozes neurais nativas em Pashto (linha de base comercial).
  • Clonagem OmniVoice: Clonagem de voz zero-shot usando Edge GulNawaz como referência.
  • OmniVoice auto: Modo de voz automático sem áudio de referência.
  • Urdu Asad: Um controle negativo (idioma vizinho).
  • Fish Speech S2-Pro: Testado preliminarmente, mas excluído dos resultados classificados devido à síntese incompleta.
• Taxonomia de Falhas: O artigo propõe uma taxonomia de falhas em cinco modos (F1–F5), variando de rejeição pré-síntese (F1) e substituição de idioma (F2) até colapso de fonemas (F3), disfluência prosódica (F4) e ambiguidade de grafema (F5).

Principais Resultados

• Inteligibilidade: O OmniVoice auto alcançou a menor WER sob o ASR independente (omniASR), com 24,1% no FLEURS e 27,4% no Common Voice 24. Isso foi seguido por Edge GulNawaz (32,8% / 39,5%) e Edge Latifa (35,6% / 47,7%).
• A Anomalia da "Fala Natural": A WER do OmniVoice auto foi significativamente menor que a linha de base de fala natural (47,9% de WER sob omniASR). Os autores esclarecem que isso não implica que a fala sintética seja "melhor" que a fala humana; ao contrário, o modelo ASR não condicionado performa mal na fala natural (devido a sotaques e ruído), mas se destaca em áudio sintético limpo e controlado. O modelo específico do idioma pashto-asr-v3 mostrou uma lacuna menor (34,6% natural vs. 20,4% sintético), confirmando que a classificação é consistente, mas destacando a limpeza acústica da saída sintética.
• Verificação de Script e Idioma: Todos os sistemas avaliados direcionados ao Pashto alcançaram uma SFR de 1,0, indicando nenhum colapso de script. No entanto, os resultados de LID variaram; o MMS-LID-4017 mostrou taxas de identificação de Pashto mais baixas nos dados do Common Voice em comparação com o SpeechBrain VoxLingua107, tornando necessária a verificação com múltiplos modelos. O controle em Urdu foi corretamente rejeitado por ambos os modelos ASR e LID.
• Modos de Falha: O controle em Urdu foi confirmado como uma falha F2 (Substituição de Idioma). O Edge GulNawaz mostrou um padrão candidato de F5 (Ambiguidade de Grafema) onde o ASR substituiu consistentemente pontos de código específicos do Pashto, embora seja necessária uma adjudicação nativa para confirmação. Nenhuma falha F3 (Colapso de Fonema) ou F4 (Disfluência Prosódica) foi confirmada sem anotação nativa.

Significado e Alegações
O artigo afirma fornecer o primeiro benchmark aberto, datado e multi-sistema de TTS em Pashto. Sua contribuição principal é o framework de relatórios INSV, que vai além da avaliação de métrica única para triar explicitamente a fidelidade ao script e a verificação de idioma antes de interpretar pontuações de inteligibilidade.

Os autores afirmam modestamente que o INSV-A é um protocolo de triagem, não um substituto para avaliação humana. Ele identifica sistemas prontos para testes completos de Pontuação Média de Opinião (MOS) e sinaliza saídas onde a WER deve ser interpretada com cautela devido a ambiguidades de idioma ou script. O lançamento inclui prompts congelados, metadados do provedor, pontuações por frase e scripts para garantir a reprodutibilidade à medida que APIs comerciais e modelos de código aberto evoluem. O estudo enfatiza que, para scripts não latinos de recursos escassos, uma "baixa WER" sozinha é um sinal de qualidade incompleto e que a LID com múltiplos modelos é essencial para evitar circularidade na avaliação e vieses específicos do modelo.