HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

1. Declaração do Problema

Os sistemas de Reconhecimento Automático de Fala (ASR) são tradicionalmente avaliados usando a Taxa de Erro de Palavras (WER) e a Taxa de Erro de Caracteres (CER). Essas métricas contam o número de palavras ou caracteres incorretos em relação a uma transcrição de referência. No entanto, os autores argumentam que essas métricas são insuficientes porque:

• São orientadas ao sistema em vez de orientadas ao humano.
• Carecem de compreensão semântica (por exemplo, substituir "gato" por "cachorro" é penalizado da mesma forma que "gato" por "carro", embora o primeiro possa ser mais compreensível).
• Não levam em conta o fato de que os humanos frequentemente conseguem extrair significado de uma frase apesar de erros de transcrição, desde que os erros não sejam fundamentais.

Há uma necessidade de métricas de avaliação que correlacionem mais estreitamente com a percepção humana da qualidade da transcrição, particularmente para transcrições destinadas ao consumo humano (por exemplo, legendas, mensagens).

2. Metodologia

O Conjunto de Dados HATS

A contribuição central é a criação do HATS (Transcrição Avaliada por Humanos Lado a Lado), um novo conjunto de dados aberto para a língua francesa.

• Fonte: As transcrições foram geradas a partir do corpus de teste REPERE (aproximadamente 10 horas de áudio de rádio/TV) usando 10 sistemas ASR diferentes (8 sistemas de ponta a ponta baseados em Speechbrain/wav2vec2/XLS-R, e 2 sistemas DNN-HMM baseados em Kaldi).
• Protocolo de Anotação:
  • Tarefa: Um experimento "lado a lado" onde 143 participantes humanos foram apresentados a uma transcrição de referência escrita e duas hipóteses automáticas (de diferentes sistemas ASR).
  • Restrição: Os participantes tiveram que escolher a hipótese "melhor". Não foi permitido selecionar "igual".
  • Seleção de Estímulos: Para garantir que a tarefa fosse desafiadora e informativa, os tripletos não foram selecionados aleatoriamente. Eles foram filtrados com base em três critérios:
    1. As hipóteses devem diferir entre si e da referência.
    2. Hipóteses de todos os sistemas foram contrastadas entre si.
    3. Seleção baseada em métricas: Pares foram escolhidos para criar cenários específicos:
       • Pontuações Mesmas/Diferentes: As métricas concordam ou discordam sobre a qualidade.
       • Conflito de Métricas: Uma métrica favorece a Hipótese A enquanto outra favorece a Hipótese B.
       • Ambiguidade: Casos onde WER/CER são iguais, mas as métricas semânticas diferem.
• Volume de Dados: 1.000 tripletos referência-hipótese, resultando em 7.150 anotações totais (cada triplo avaliado por pelo menos 7 participantes).
• Confiabilidade Interavaliador: O Kappa de Fleiss foi de 0,46, com 82% dos tripletos mostrando pelo menos 71,4% de concordância entre humanos, indicando que a tarefa é difícil, mas os humanos conseguem identificar consistentemente a melhor opção.

Métricas de Avaliação Testadas

O estudo avaliou o quão bem várias métricas automáticas se alinham com as escolhas humanas. As métricas incluíram:

• Lexicais: WER, CER, Taxa de Erro Fonético (PhonER).
• Semânticas/Baseadas em Embedding:
  • Taxa de Erro de Embedding (EmbER): WER ponderada pela distância cosseno de embeddings de palavras (fastText).
  • SemDist: Similaridade cosseno entre embeddings ao nível de frase (testado com CamemBERT, FlauBERT, SentenceBERT).
  • BERTScore: Similaridade ao nível de token usando embeddings contextuais (testado com multilingual BERT, CamemBERT-base, CamemBERT-large).

Abordagem de Análise

Os autores calcularam a taxa de concordância entre a previsão da métrica (qual hipótese é melhor) e o consenso humano.

• Definição de Consenso: A concordância foi calculada como $\frac{\max(A, B)}{A + B}$, onde $A$ e $B$ são as contagens de humanos escolhendo a Hipótese A ou B.
• Filtragem: Os resultados foram analisados sob três condições:
  1. 100% de Concordância: Apenas tripletos onde todos os humanos concordaram.
  2. 70% de Concordância: Tripletos com consenso forte.
  3. 0% de Concordância (Completo): Nenhuma filtragem aplicada.

3. Resultados Principais

O desempenho das métricas foi medido pela porcentagem de vezes que elas corresponderam à preferência humana.

Tipo de Métrica	Melhor Métrica Desempenho	Desempenho (70% de Concordância)	Principais Descobertas
Lexical	CER	64%	O CER superou o WER. Isso contradiz alguns estudos anteriores e pode ser devido à ortografia francesa (letras mudas) ou ao uso de referências de texto escrito. O WER performou próximo ao acaso aleatório (53%) neste conjunto de dados.
Fonêmica	PhonER	69%	Performou melhor que WER e CER, sugerindo que os humanos consideram subconscientemente a similaridade fonética mesmo ao ler texto.
Semântica	SemDist (Sentence CamemBERT-large)	78%	A métrica de melhor desempenho. Superou consistentemente as outras, provavelmente porque os embeddings Sentence-BERT são especificamente treinados para maximizar a similaridade semântica.
Semântica	BERTScore (CamemBERT-large)	68%	Performou bem, mas ligeiramente abaixo do SemDist ao usar os mesmos modelos de embedding.

Observações Notáveis:

• Sensibilidade ao Embedding: A escolha do modelo de embedding impacta significativamente o desempenho da métrica. Por exemplo, o SemDist com FlauBERT-base (59%) performou pior que o CER (60%), enquanto o SemDist com Sentence CamemBERT-large (78%) foi o melhor.
• Discordância de Métricas: Em casos onde WER e CER deram pontuações iguais, as métricas semânticas frequentemente forneceram o diferenciador que se alinhou com a escolha humana.
• Percepção Humana: Os humanos parecem priorizar a coerência semântica e o fluxo fonético sobre a precisão lexical estrita, o que as métricas lexicais falham em capturar.

4. Contribuições Principais

1. Conjunto de Dados HATS: O lançamento de um conjunto de dados de grande escala, anotado manualmente, de erros de ASR em francês com rótulos de preferência humana. É o primeiro a usar um protocolo lado a lado com 10 sistemas ASR diversos e critérios rigorosos de seleção de estímulos.
2. Avaliação Empírica: Um benchmark abrangente de métricas lexicais versus semânticas contra a percepção humana em francês.
3. Insight sobre ASR Francês: A descoberta de que o CER é um melhor proxy para a percepção humana do que o WER em contextos franceses, desafiando a dominância universal do WER.
4. Validação de Métrica Semântica: Demonstração de que o SemDist (usando embeddings Sentence-BERT) é atualmente a métrica automática mais confiável para prever a preferência humana na avaliação de ASR.

5. Significado e Trabalho Futuro

• Significado: O estudo fornece um roteiro para mover a avaliação de ASR além da simples contagem de erros em direção a uma avaliação de qualidade centrada no humano. Valida que métricas baseadas em embeddings são necessárias para avaliar transcrições destinadas ao consumo humano.
• Limitações:
  • O conjunto de dados é específico para francês; os resultados podem não generalizar para outras línguas.
  • Os estímulos foram selecionados com base em critérios estritos, potencialmente tornando o conjunto de dados menos representativo de erros "médios".
  • A referência foi texto, não áudio.
• Direções Futuras:
  • Replicar o experimento com uma referência de áudio para testar se o CER permanece superior ao WER quando as pistas visuais de texto são removidas.
  • Desenvolver novas métricas que equilibrem a correlação humana com a eficiência computacional e a interpretabilidade (uma força atual do WER/CER).
  • Expandir o conjunto de dados para outras línguas para testar a generalização cross-linguística.

Em conclusão, o artigo argumenta que, embora o WER e o CER permaneçam úteis por seu baixo custo e interpretabilidade, o SemDist com Sentence-BERT é a métrica superior para alinhar a avaliação de ASR com a percepção humana, e o conjunto de dados HATS é um recurso crítico para desenvolver e validar métodos de avaliação futuros.