OpenWER: Improving Cross-Lingual ASR Evaluation and Enabling Token-Based Accuracy Metrics

Resumo Técnico do OpenWER: Melhorando a Avaliação de ASR Cross-Lingual e Habilitando Métricas de Precisão Baseadas em Tokens

Declaração do Problema
Embora arquiteturas baseadas em deep learning e transformers tenham permitido modelos de Reconhecimento Automático de Fala (ASR) multilingues robustos, a avaliação da precisão de suas transcrições continua prejudicada por limitações em métricas padrão. A métrica predominante, o Word Error Rate (WER - Taxa de Erro de Palavra), baseia-se na distância de Levenshtein, mas sofre de vários problemas críticos:

1. Falta de Nuance Linguística: Como uma métrica puramente baseada em strings, o WER trata todos os erros igualmente, ignorando o impacto semântico e a qualidade percebida pelo humano.
2. Viés Cross-Lingual: Melhorias no WER, como a normalização de texto, estão predominantemente disponíveis para o inglês. Isso cria uma disparidade na avaliação de línguas de baixos recursos e dificulta comparações cross-linguais justas.
3. Pré-processamento Destrutivo: A normalização padrão frequentemente envolve a remoção de pontuação e a conversão para letras minúsculas. Embora isso reduza as pontuações de WER, destrói informações sobre erros de capitalização e pontuação, que são cruciais para avaliar a legibilidade e a utilidade da saída do ASR.
4. Erros de Palavras Compostas: A tokenização padrão frequentemente falha ao não considerar palavras compostas (ex: "game-changer" vs. "game changer"), levando a taxas de erro infladas que não refletem mal-entendidos semânticos reais.

Metodologia
Os autores apresentam o OpenWER, uma biblioteca Python de código aberto projetada para melhorar a robustez do WER e permitir métricas de precisão granulares baseadas em tokens. O sistema emprega uma arquitetura modular com os seguintes componentes principais:

• Alinhamento Baseado em Tokens: Diferente das comparações tradicionais de listas de strings, o OpenWER utiliza tokens como unidades de alinhamento. Isso preserva o texto original, metadados (como timestamps e scores de confiança) e permite a diferenciação entre palavras e pontuação durante o processo de alinhamento.
• Normalização Não Destrutiva: O sistema aplica normalização específica para cada língua (ex: lidando com contrações e variações ortográficas) sem destruir os valores originais dos tokens. Os metadados são preservados durante todo o processo, permitindo o rastreamento das modificações.
• Algoritmo de Levenshtein Estendido:
  • Custos Variáveis: O algoritmo atribui custos menores para edições de pontuação e penalidades maiores para substituições entre diferentes tipos de tokens para melhorar a relevância semântica.
  • Detecção de Palavras Compostas: O algoritmo é estendido para detectar palavras compostas ao mesclar tokens adjacentes durante a computação da matriz de custo. Isso aborda erros causados por hifens ou espaços ausentes ou inseridos sem a necessidade de um dicionário.
  • Preservação de Pontuação: O alinhamento lida com tokens de pontuação explicitamente, permitindo que sejam preservados no caminho de edição em vez de serem removidos.
• Entrada e Tokenização Flexíveis: O OpenWER aceita tanto texto bruto quanto listas de palavras estruturadas de ASR. Ele suporta tokenização básica bem como tokenizadores baseados em NLP (ex: spaCy) para incorporar tags de Part-of-Speech (POS) ou rótulos de Named-Entity Recognition (NER) como metadados.

Principais Contribuições

1. Biblioteca OpenWER: Uma implementação de código aberto que melhora a robustez do WER através de linguagens de altos e baixos recursos por meio de normalização específica de linguagem e detecção de palavras compostas.
2. Métricas Baseadas em Tokens: A capacidade de calcular métricas complementares para precisão de pontuação e capitalização, bem como métricas customizadas derivadas de metadados de NLP (ex: precisão de substantivos ou precisão de nomes próprios).
3. Avaliação Granular: O framework suporta a integração de metadados de modelos de ASR (como scores de confiança) para permitir novas avaliações, como correlacionar a confiança com a correção da palavra.

Resultados
Os autores avaliaram o OpenWER utilizando o dataset Common Voice 17, transcrevendo 691.648 amostras em 52 línguas usando os modelos Whisper (large-v3) e SeamlessM4T (v2-large). Principais descobertas incluem:

• Redução de WER: O OpenWER alcançou reduções absolutas de WER de até 25% comparado a bibliotecas comumente usadas (especificamente o JiWER). A redução média foi de 7,7% (14,5% relativa) comparado ao JiWER e 3,8% (9,2% relativa) comparado ao Whisper.
• Impacto de Palavras Compostas: Habilitar a detecção de palavras compostas reduziu o WER em até 20% para certas línguas, embora o impacto varie significativamente por idioma.
• Equivalência Estatística: Em cenários sem normalização ou com normalização padrão, o OpenWER produziu resultados estatisticamente equivalentes ao JiWER, confirmando que o algoritmo modificado não altera os cálculos padrão de WER, a menos que implementações específicas sejam aplicadas.
• Métricas Complementares: A avaliação de 10 modelos de ASR em um dataset de inglês demonstrou que modelos com WERs semelhantes podem ter precisões de pontuação e capitalização vastamente diferentes (ex: o IBM mostrou uma taxa de erro de pontuação de 98,3% vs. 22,0% de WER).
• Desempenho: Embora o OpenWER seja implementado em Python e seja mais lento que o JiWER baseado em C (1,9 tokens/ms vs. 4618,9 tokens/ms), a compilação Just-in-Time (JIT) melhorou a velocidade do OpenWER para 34,8 tokens/ms.

Significância
O artigo afirma que o OpenWER contribui para a equidade na pesquisa de ASR ao aumentar a confiabilidade do WER através de diversas línguas. Ao se afastar do pré-processamento destrutivo e permitir a preservação de pontuação, capitalização e metadados, o OpenWER permite avaliações de precisão mais abrangentes e granulares. Os autores postulam que, embora o WER permaneça o padrão devido à falta de alternativas amplamente adotadas, o OpenWER aborda suas limitações ao reduzir o ruído de diferenças de strings não semânticas e fornecer uma base para futuras métricas que melhor reflitam a qualidade da transcrição. A natureza modular e de código aberto da biblioteca visa incentivar melhorias impulsionadas pela comunidade e o desenvolvimento de normalizadores específicos para línguas de baixos recursos.