Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation

1. O Problema

O Pashto é falado por aproximadamente 60 a 80 milhões de pessoas, uma população comparável a idiomas como coreano, italiano e ucraniano, que possuem sistemas de Reconhecimento Automático de Fala (ASR) comerciais há mais de uma década. No entanto, o Pashto enfrenta lacunas críticas:

• Ausência de Benchmarks Públicos: Não existiam avaliações reprodutíveis de modelos de ASR multilíngue em conjuntos de teste públicos compartilhados para Pashto.
• Falhas de Script (Escrita): Modelos populares como o Whisper frequentemente falham ao gerar texto no alfabeto Pashto (uma extensão do árabe), produzindo em vez disso texto em árabe, dari ou urdu, ou sequências sem sentido.
• Falta de Dados de Fala Espontânea: Todas as avaliações existentes e disponíveis são limitadas a fala lida (read speech); não há dados de fala espontânea ou dialetal padronizados.
• Métricas Enganosas: A Taxa de Erro de Palavras (WER) sozinha não consegue distinguir entre um modelo que falha acusticamente e um que falha ao não reconhecer o sistema de escrita correto.

2. Metodologia

O estudo estabelece o primeiro pipeline de avaliação determinístico e reprodutível para Pashto, cobrindo três frentes principais:

• Conjuntos de Dados:
  • FLEURS (ps_af): 512 falas lidas gravadas em condições controladas.
  • Common Voice 24 (CV24_filtered): 13.643 falas lidas de crowdsourcing, filtradas para remover referências vazias.
• Modelos Avaliados:
  • Zero-Shot (Sem ajuste fino): Os 7 tamanhos do modelo Whisper (de tiny a large-v3-turbo), MMS-1B, SeamlessM4T-v2-large e OmniASR-CTC-300M.
  • Ajuste Fino (Fine-tuned): 5 modelos públicos de ASR em Pashto, abrangendo três arquiteturas (Whisper, W2V-BERT 2.0, XLS-R) e dois corpora de treinamento.
• Protocolo de Avaliação:
  • Normalização de Texto: Pipeline rigoroso incluindo normalização Unicode NFC, remoção de kashida e limpeza de pontuação, essencial para a consistência do alfabeto Pashto.
  • Auditoria de Identificação de Script: Uma métrica crítica que classifica a saída do modelo com base no bloco Unicode predominante. Um output é considerado "Pashto" apenas se a maioria dos caracteres estiver no intervalo U+0600–U+06FF e contiver pelo menos um caractere exclusivo do Pashto (ex: retroflexos e fricativas laterais).
  • Análise de Erros: Estratificação de erros por classe de fonemas para identificar dificuldades específicas (ex: fonemas únicos do Pashto).

3. Principais Contribuições

1. Benchmarks Zero-Shot Reprodutíveis: Avaliação de 10 modelos em dois conjuntos de dados públicos, estabelecendo linhas de base para comparação futura.
2. Identificação da "Falha de Script" (Script Failure): O estudo demonstra que a WER sozinha é insuficiente. Modelos como o Whisper falham massivamente ao não produzir o script correto (gerando árabe ou latin), o que invalida a métrica de WER tradicional. A fidelidade ao script Pashto é apresentada como uma métrica obrigatória.
3. Avaliação Cross-Domain: Análise de como modelos ajustados para um conjunto de dados (ex: FLEURS) degradam-se em outro (ex: Common Voice), revelando a fragilidade de métricas publicadas anteriormente.
4. Análise Fonêmica: Identificação de que fonemas exclusivos do Pashto (série retroflexa e fricativas laterais) são responsáveis por uma massa desproporcional de erros.

4. Resultados Chave

A. Desempenho Zero-Shot

• Falha do Whisper: Nenhum modelo Whisper produziu saída no script Pashto em mais de 0,8% das falas. A maioria dos outputs foi em árabe/dari/urdu ou sequências indistinguíveis (looping do decodificador).
  • Exemplo: O Whisper-medium colapsou, atingindo uma WER de 461% no conjunto CV24, com 59,6% de saídas indeterminadas (looping).
  • Exemplo: O Whisper-large-v3 teve a melhor performance entre os Whisper, mas ainda com WER de 89,8% (FLEURS) e 95,4% (CV24), com apenas 0,8% de fidelidade ao script Pashto.
• Sucesso de Outros Modelos:
  • SeamlessM4T-v2-large: Alcançou a melhor WER zero-shot até a data de submissão: 39,7% no CV24 e 44,0% no FLEURS, com 97,1% de fidelidade ao script Pashto.
  • MMS-1B: Alcançou 43,8% de WER no FLEURS e 62,3% no CV24, com 95,1% de fidelidade ao script.
  • OmniASR-CTC-300M: Oferece um trade-off interessante, com WER de 45,1% (CV24) e 93,8% de fidelidade ao script, sendo 15 vezes mais rápido que o SeamlessM4T.

B. Avaliação de Modelos Ajustados (Fine-tuned)

• Degradação Cross-Domain: Modelos que reportavam WER de ~14% em seus conjuntos de treinamento originais degradaram-se severamente em conjuntos independentes:
  • O modelo ps_base_l1 (reportado com 14% WER) caiu para 35,0% no CV24 e 59,0% no FLEURS.
  • O modelo pashto-asr-v3 (reportado com 13,96%) teve WER de 35,4% no FLEURS. O estudo sugere que o valor publicado era, na verdade, uma Taxa de Erro de Caracteres (CER) mal rotulada.
• Aumento de Dados (Data Augmentation): O modelo w2v-b2-aug (W2V-BERT 2.0 com perturbação de velocidade e ruído) foi o único a eliminar a degradação cross-domain, mantendo 35,1% de WER em ambos os conjuntos (FLEURS e CV24).

C. Análise de Erros por Classe de Caracteres

• Os erros concentram-se nos fonemas exclusivos do Pashto:
  • Fricativa lateral sonora (/ʐ/ - zhe).
  • Fricativa lateral surda (/ʃ/ - she).
  • Consoantes retroflexas.
• Caracteres compartilhados com o árabe apresentaram taxas de erro próximas à média geral.

5. Significado e Implicações

• Validade Científica: O artigo estabelece que, para idiomas com scripts estendidos (como o Pashto), a métrica de WER é enganosa se não for acompanhada de uma auditoria de fidelidade ao script. Um modelo que transcreve Pashto como Árabe não está realizando ASR, independentemente da WER.
• Direcionamento de Pesquisa: Identifica cinco impedimentos estruturais e prioridades de pesquisa:
  1. TTS Open-Source: A falta de um sistema de Síntese de Fala (TTS) de código aberto é a maior lacuna, impedindo o desenvolvimento de ferramentas de acessibilidade.
  2. Dados de Fala Espontânea: Necessidade urgente de dados que incluam dialetos e fala natural.
  3. Adoção de Benchmarks Compartilhados: A comunidade deve usar os conjuntos FLEURS e CV24 com o pipeline de normalização proposto para garantir comparabilidade.
  4. Lexicons e G2P: Criação de léxicos de pronúncia e modelos Grapheme-to-Phoneme baseados em regras.
  5. Avaliação de Novos Modelos: Avaliação zero-shot de modelos como XLS-R e HuBERT.
• Impacto Prático: O estudo fornece os pontos de referência necessários para medir o progresso real em ASR para Pashto, alertando contra a confiança cega em métricas de modelos grandes (como Whisper) que não possuem suporte nativo adequado para scripts complexos e fonologias únicas.

Em resumo, este trabalho não apenas avalia o estado da arte, mas redefine como o ASR para o Pashto deve ser medido e desenvolvido, destacando que a fidelidade ao script é tão crucial quanto a precisão acústica.