BlasBench: An Open Benchmark for Irish Speech Recognition

Resumo Técnico: BlasBench

1. O Problema

O reconhecimento de fala em irlandês (gaélico) enfrenta desafios significativos, com sistemas comerciais e de código aberto apresentando desempenho insuficiente. O problema central identificado pelos autores não é a falta de pesquisa, mas a ausência de um benchmark aberto e específico para o irlandês que permita a comparação justa e reprodutível de sistemas de Reconhecimento Automático de Fala (ASR) sob um protocolo de avaliação consciente da língua.

• Falta de Padronização: Trabalhos anteriores (como os do grupo ABAIR) utilizam dados privados ou avaliam apenas seus próprios sistemas. Modelos comunitários relatam resultados em versões diferentes do conjunto de dados Common Voice com normalizadores distintos.
• Normalização Inadequada: Benchmarks multilingues existentes (como FLEURS ou ML-SUPERB) tratam o irlandês como qualquer outra língua, ignorando características ortográficas cruciais (como fadas, lenição e eclipse), o que distorce as taxas de erro.
• Desempenho Pobre: Sistemas testados, como o Microsoft Azure e variantes do Whisper, mostram taxas de erro (WER) inaceitáveis, com o Whisper gerando mais tokens do que o texto de referência (WER > 100%).

2. Metodologia e Contribuições Principais

Os autores apresentam o BlasBench, um harness (ambiente de teste) de avaliação aberto e reprodutível. As principais contribuições são:

• Protocolo de Avaliação Consciente do Irlandês:

  • Desenvolvimento de um normalizador específico para o irlandês que preserva:
    • Fadas: Acentos agudos em vogais (á, é, í, ó, ú), que são contrastivos fonemicamente (ex: fear "homem" vs. féar "grama").
    • Mutações Iniciais: Preservação da lenição (bean → bhean) e da eclipse (bean → mbean), essenciais para a gramática irlandesa.
  • Uso de agregação global de erros (WER/CER) em vez de média por sentença, evitando viés estatístico.
  • Cálculo de Intervalos de Confiança (IC) de 95% via bootstrap para garantir robustez estatística.

• Conjuntos de Dados (Datasets):

  • O benchmark utiliza dois conjuntos de dados públicos para medir desempenho in-distribution e out-of-distribution:
    1. Common Voice ga-IE (v25.0): 874 falas gravadas pela comunidade (fala lida).
    2. FLEURS ga-IE: 842 falas gravadas profissionalmente por nativos.
  • A comparação entre os dois revela falhas de generalização que seriam invisíveis em uma avaliação de conjunto único.

• Escopo da Avaliação:

  • Foram avaliados 12 sistemas pertencentes a quatro famílias de arquiteturas:
    • Variantes do Whisper (medium, large-v2, large-v3, large-v3-turbo).
    • Modelos wav2vec2 CTC (fine-tuned pela comunidade no Common Voice).
    • Modelos Multilingues Meta (MMS-1B-All, omniASR LLM 300M e 7B).
    • Sistema Comercial (Microsoft Azure).

3. Resultados Chave

• Falha Catastrófica do Whisper:

  • Todas as variantes do Whisper avaliadas apresentaram WER superior a 100% em ambos os conjuntos de dados.
  • O modelo emite fluentemente texto em inglês não relacionado ao áudio de entrada (alta taxa de inserção). A versão turbo foi a pior, com WER de 587,6% no FLEURS.

• Desempenho dos Modelos Abertos:

  • O melhor modelo aberto foi o omniASR LLM 7B, alcançando 30,65% de WER no Common Voice e 39,09% no FLEURS.
  • Modelos baseados em wav2vec2 (como os fine-tuned pela comunidade) mostraram-se a única família viável entre os testados, embora com desempenho inferior ao do modelo omniASR.

• O "Gap" de Generalização (Common Voice vs. FLEURS):

  • Modelos fine-tuned especificamente no Common Voice sofreram uma degradação severa ao serem testados no FLEURS (aumento de 33 a 43 pontos no WER).
  • Em contraste, modelos multilingues massivos (como o omniASR e MMS) generalizaram melhor, com degradação de apenas 7 a 10 pontos.
  • Isso demonstra que o desempenho no Common Voice não é um proxy confiável para o desempenho em cenários reais de implantação.

• Comparação Aberto vs. Fechado:

  • O sistema proprietário Fotheidil (do grupo ABAIR) relata 10,9% de WER em dados privados, mas 19,6% no Common Voice e 44,5% no FLEURS-R (dados regravados).
  • Embora os números não sejam diretamente comparáveis devido a diferenças de normalização e dados, os resultados sugerem que o gap entre modelos abertos e fechados é menor do que os números de "headline" indicam, mas a escassez de dados rotulados continua sendo o gargalo.

4. Significado e Conclusão

O BlasBench estabelece um novo padrão para a pesquisa de ASR em línguas de baixo recurso, especificamente para o irlandês.

• Reprodutibilidade: Ao fornecer o harness, normalizador, metadados e previsões por utterance, o projeto permite que futuros sistemas sejam comparados sem a necessidade de reexecutar modelos anteriores.
• Importância Linguística: O trabalho destaca que a normalização agnóstica à língua destrói informações gramaticais e fonêmicas críticas em línguas como o irlandês, invalidando métricas de erro padrão.
• Direção Futura: O principal gargalo para o progresso não é a arquitetura do modelo, mas a escassez de dados de áudio rotulados em irlandês. O benchmark é projetado para ser integrado em pipelines de pesquisa automatizados, fornecendo um sinal de avaliação estável e confiável.

Em suma, o BlasBench expõe falhas críticas em modelos de ponta (como o Whisper) para o irlandês, quantifica o risco de superestimação de desempenho ao usar apenas o Common Voice e oferece a infraestrutura necessária para avançar o estado da arte em reconhecimento de fala para a língua irlandesa.