Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages

1. O Problema

A avaliação de Sistemas de Reconhecimento Automático de Fala (ASR) para línguas indianas enfrenta desafios significativos devido à riqueza linguística e à falta de padrões ortográficos rígidos. As principais dificuldades incluem:

• Variações Ortográficas Permissíveis: Flexibilidade na grafia de sufixos, divisão ou fusão de morfemas e variações em palavras emprestadas (code-mixed).
• Inflação da Taxa de Erro de Palavras (WER): A métrica tradicional de WER penaliza variações ortográficas válidas que são aceitas por falantes nativos, mas não correspondem exatamente à transcrição de referência. Isso resulta em taxas de erro artificialmente altas, criando uma imagem pessimista do desempenho do sistema que não reflete a percepção humana.
• Limitações das Abordagens Atuais: Métodos anteriores, como o WER de múltiplas referências (MR-WER), são intensivos em recursos humanos e custosos. Outras abordagens baseadas em regras ou normalização de texto muitas vezes falham em capturar a diversidade completa das variações, especialmente em línguas de baixo recurso.

2. Metodologia

Os autores propõem um framework para criar benchmarks informados ortograficamente, utilizando Grandes Modelos de Linguagem (LLMs) para gerar variações válidas.

• Framework de Geração de Variações:

  • Identificação de Categorias: Baseado em consultoria com especialistas linguísticos, foram definidas categorias de variações: variações de matras (diacríticos), grafia de palavras emprestadas, divisão/fusão de palavras compostas, variações fonéticas (sotaques), ligaduras, regras de Sandhi (fusão de sons nas fronteiras de palavras) e Normalização de Texto Inversa (ITN) para números e datas.
  • Geração Assistida por LLM: Em vez de gerar variações palavra por palavra, o LLM processa a transcrição completa para gerar variações contextuais. O modelo é instruído a criar listas exaustivas de candidatos para cada palavra ou sequência de palavras.
  • Pós-edição Humana: Especialistas revisam as variações geradas pelo LLM para refinar e corrigir erros, garantindo a precisão dos dados de benchmark.

• Nova Métrica: OIWER (Orthographically-Informed Word Error Rate):

  • O OIWER modifica o algoritmo clássico de WER. Em vez de comparar a previsão do modelo apenas com uma única transcrição de referência, ele compara a previsão com todas as variações ortográficas válidas geradas para aquela referência.
  • A métrica calcula a distância de edição mínima entre a previsão e o conjunto de variações de referência, utilizando Programação Dinâmica (DP) para encontrar o caminho de alinhamento ótimo.

3. Contribuições Principais

1. Framework de Benchmarking Ortográfico: Um método sistemático para capturar variações de grafia e formação de palavras específicas de línguas indianas, superando a dependência de regras manuais ou corpora limitados.
2. Métrica OIWER: Uma nova métrica de avaliação que integra essas variações, oferecendo uma medida de desempenho mais robusta e alinhada com a percepção humana.
3. Validação de LLMs: Demonstração de que LLMs podem gerar variações ortográficas válidas que servem como um proxy confiável para correções humanas, reduzindo drasticamente o tempo e o custo de criação de benchmarks.
4. Benchmarks Expandidos: Criação de um benchmark ortograficamente informado para o conjunto de dados IndicVoices, cobrindo 22 línguas indianas.

4. Resultados Experimentais

Os experimentos foram realizados comparando vários sistemas ASR (incluindo Canary, IndicConformer, Saarika, MMS, Azure e Gemini) no benchmark IndicVoices.

• Redução de Pessimismo: O OIWER reduziu consistentemente as taxas de erro em comparação com o WER tradicional. Houve uma melhoria média de 6,3 pontos em todas as línguas para o modelo Canary.
• Ajuste de Lacunas de Desempenho: O OIWER corrigiu lacunas infladas entre modelos. Por exemplo, a diferença de desempenho entre os modelos Gemini e Canary caiu de 18,1 pontos (no WER tradicional) para 11,5 pontos (no OIWER), sugerindo que o WER tradicional exagerava a superioridade de um modelo sobre o outro.
• Alinhamento com Percepção Humana: O OIWER alinhou-se muito mais estreitamente com a "Taxa de Erro Percebida" (calculada através de pós-edição humana) do que métodos anteriores como o WER-SN (Spelling and Segmentation Normalization). O OIWER reduziu a discrepância com a percepção humana em 4,9 pontos em comparação com o WER-SN.
• Redução de Erros de Substituição: A análise mostrou que a introdução de variações eliminou 28.500 erros de substituição falsos (onde a palavra estava correta ortograficamente, mas diferente da referência), enquanto inserções e deleções permaneceram similares.
• Eficácia do LLM: Houve uma forte correlação (coeficiente de determinação de 0,89) entre os resultados do OIWER usando variações geradas apenas por LLM e aquelas verificadas por humanos, validando a viabilidade de automatizar o processo.

5. Significado e Impacto

Este trabalho é fundamental para o avanço do ASR em línguas de baixo recurso, particularmente no contexto indiano.

• Avaliação Realista: Permite que pesquisadores e desenvolvedores avaliem o progresso real dos modelos sem serem desmotivados por penalidades ortográficas injustas.
• Eficiência de Recursos: Ao substituir a necessidade de múltiplas transcrições humanas independentes por uma geração assistida por LLM com revisão pontual, o método torna a criação de benchmarks viável e escalável.
• Direcionamento de Pesquisa: Ao identificar que as variações ortográficas são a principal fonte de inflação do erro, o trabalho direciona o foco para a normalização e compreensão da diversidade linguística, em vez de apenas melhorar a acústica dos modelos.
• Padrão Futuro: Sugere que a avaliação de ASR para línguas morfologicamente ricas deve evoluir de métricas de correspondência exata para métricas que incorporam a permissividade ortográfica nativa.