Evaluation of Automatic Speech Recognition Using Generative Large Language Models

Título: Avaliação de Reconhecimento Automático de Fala (ASR) Usando Grandes Modelos de Linguagem Generativos

1. Problema e Motivação

O Reconhecimento Automático de Fala (ASR) é tradicionalmente avaliado utilizando a Taxa de Erro de Palavras (WER - Word Error Rate). No entanto, o WER apresenta limitações críticas:

• É uma métrica rígida e sensível a maiúsculas/minúsculas, operando apenas no nível lexical.
• Não considera o contexto semântico, tratando erros que prejudicam severamente a compreensão da mesma forma que erros menores sem impacto no significado.
• Apresenta baixa correlação com a percepção humana e com tarefas downstream (como legendagem para leitura humana).

Embora métricas semânticas baseadas em embeddings (como SemDist e BERTScore) tenham melhorado a correlação com julgamentos humanos ao capturar nuances de significado, elas ainda carecem de interpretabilidade (gerando pontuações contínuas difíceis de interpretar, como 0.62) e exploram principalmente modelos encoder (como BERT), deixando os modelos decoder (LLMs generativos como GPT, Llama, Gemma) subexplorados para esta tarefa específica.

2. Metodologia

O estudo utiliza o conjunto de dados HATS (que contém anotações humanas sobre a qualidade de erros de ASR) para avaliar a relevância dos LLMs baseados em decodificadores através de três abordagens complementares:

• Abordagem 1: Seleção da Melhor Hipótese ("LLM como Juiz")

  • Tarefa: O modelo recebe uma transcrição de referência e duas hipóteses incorretas (A e B). O objetivo é selecionar qual hipótese é mais próxima da referência, considerando fidelidade lexical e coerência semântica.
  • Prompt: Utiliza-se um one-shot prompt com instrução de "chain-of-thought" (justificar a resposta antes de decidir), solicitando a escolha final (A ou B).
  • Modelos Testados: Diversos LLMs generativos (GPT-4o, GPT-4.1, Gemma, Qwen3, Qwen3.5) de diferentes tamanhos e arquiteturas.

• Abordagem 2: Métrica Semântica Baseada em Embeddings de LLM

  • Tarefa: Avaliar a capacidade de representações vetoriais extraídas de LLMs decoder de capturar similaridade semântica.
  • Métrica: Calcula-se a distância SemDist (derivada da similaridade de cosseno) entre os embeddings da referência e da hipótese.
  • Estratégias de Agregação (Pooling): Como os LLMs geram sequências de vetores, são testadas várias estratégias para obter um vetor fixo: último token, penúltimo token, média simples, média ponderada, média dos últimos 4 tokens, etc.
  • Comparação: Os resultados são comparados com métricas baseadas em encoders (ex: CamemBERT-large) e com anotações humanas.

• Abordagem 3: Classificação Qualitativa de Erros

  • Tarefa: O modelo classifica pares (referência, hipótese) em quatro categorias qualitativas independentes:
    1. Identical (idêntico ou diferenças triviais).
    2. Useful (significado preservado apesar de erros menores).
    3. Bad (significado parcialmente alterado).
    4. Incomprehensible (significado perdido).
  • Objetivo: Avaliar a capacidade intrínseca do modelo de julgar a qualidade absoluta e fornecer interpretabilidade sobre o tipo de erro.

3. Resultados Principais

• Seleção de Hipóteses:

  • Os melhores LLMs (GPT-4.1 e Qwen3.5-35B) alcançaram 92–94% de concordância com anotações humanas no subconjunto de alta concordância, superando significativamente o WER (63%) e métricas semânticas avançadas como o SemDist (73–80%).
  • Modelos de código aberto (Qwen3.5-35B) rivalizaram com modelos proprietários de ponta (GPT-4.1).
  • Observou-se que o tamanho do modelo não é o único fator determinante; a arquitetura e o treinamento são cruciais (ex: Qwen3-8B superou Gemma3-27b).

• Embeddings e Pooling:

  • Desempenho: Modelos decoder geraram representações comparáveis às de modelos encoder.
  • Estratégia de Pooling: Contrariando a intuição inicial, o uso do último token (comum em tarefas de previsão do próximo token) performou mal para captura semântica global (ex: Qwen3.5-27B caiu para 59% com último token vs. 74%+ com outras estratégias). Isso ocorre porque o último token é otimizado para prever o futuro, não para resumir o passado.
  • Média (Mean Pooling): Provou ser altamente eficaz, muitas vezes superando estratégias mais complexas, devido à convergência geométrica das trajetórias de embedding para pares semanticamente similares.
  • Modelos Especializados: Modelos fine-tuned especificamente para tarefas de embedding (ex: Qwen3-Embedding-8B) superaram consistentemente os LLMs genéricos, alcançando até 89% de concordância.

• Classificação Qualitativa:

  • Os LLMs conseguiram mapear suas classificações qualitativas para níveis esperados de similaridade semântica (ex: classe "idêntico" correlacionada com altas pontuações de similaridade).
  • Isso oferece uma vantagem de interpretabilidade sobre métricas numéricas opacas, permitindo entender por que uma transcrição foi considerada ruim.

4. Contribuições Chave

1. Validação de LLMs Generativos como Métricas: Demonstra que LLMs decoder superam tanto métricas tradicionais (WER) quanto métricas semânticas baseadas em encoders na tarefa de seleção de hipóteses, alinhando-se melhor à percepção humana.
2. Análise de Representações Vetoriais: Revela que, para LLMs decoder, o pooling de média é superior ao uso do último token para tarefas semânticas, e que o fine-tuning específico para embeddings é essencial para maximizar o desempenho.
3. Interpretabilidade: Propõe uma nova via para avaliação de ASR que não apenas pontua o erro, mas o classifica qualitativamente, facilitando a análise de falhas e a melhoria de sistemas.

5. Significado e Conclusão

O artigo conclui que os Grandes Modelos de Linguagem (LLMs) oferecem uma direção promissora e interpretável para a avaliação perceptual de sistemas de ASR. Eles não apenas superam as métricas atuais em precisão de alinhamento com humanos, mas também permitem:

• Anotação automática de dados perceptuais a um custo reduzido.
• Comparação relativa direta entre sistemas de ASR.
• Métricas de próxima geração que capturam nuances semânticas e de significado, essenciais para aplicações reais onde a compreensão humana é o objetivo final, e não apenas a precisão lexical.

Em suma, o estudo sugere uma transição de métricas baseadas em erro lexical para métricas baseadas em julgamento semântico e generativo, alinhando a avaliação técnica com a experiência do usuário final.