Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs

Resumo Técnico: Preference-ASR

Definição do Problema
Os benchmarks atuais de Reconhecimento Automático de Fala (ASR) falham em avaliar as capacidades dos modernos Modelos de Linguagem de Grande Escala Aumentados por Fala (SpeechLLMs). Embora os SpeechLLMs possam seguir instruções em linguagem natural para ditar o estilo e o formato da transcrição, a avaliação padrão baseia-se em referências fixas anotadas por humanos e em pipelines de normalização "genéricos" (ex: conversão para minúsculas, conversão de números em palavras, remoção de símbolos). Esses pipelines apagam justamente as distinções de formatação que os usuários valorizam. Além disso, os conjuntos de teste existentes (ex: Librispeech, SPGISpeech, Earnings-22) exibem convenções de anotação inconsistentes em relação à formatação de números, tratamento de disfluências e uso de maiúsculas/minúsculas. Consequentemente, os rankings dos modelos refletem quão bem um sistema corresponde às peculiaridades de um conjunto de dados específico, em vez de sua capacidade genuína de seguir as preferências do usuário.

Metodologia
Os autores introduzem o Preference-ASR, um conjunto de testes projetado para avaliar sistemas de ASR em sua capacidade de seguir instruções de preferência em linguagem natural. A metodologia consiste em três componentes principais:

1. Construção do Dataset:

   • Fonte: O dataset é construído a partir de sete corpora de código aberto (AMI, Common Voice, Earnings-22, GigaSpeech, LibriSpeech, SPGISpeech, VoxPopuli), reunindo inicialmente 3.545 amostras.
   • Pipeline: Foi empregado um pipeline de dois estágios assistido por LLM com verificação humana.
     • Estágio 1: Um LLM (Qwen3-30B) classifica cada amostra em uma de quatro categorias de preferência: Normalização, Entidades, Disfluências ou Caso (Case).
     • Estágio 2: O LLM gera instruções específicas e os correspondentes "textos de preferência" (referências) para cada amostra.
   • Deduplicação: Uma ordenação baseada em prioridade (Normalização > Entidades > Disfluências > Caso) garante que cada amostra pertença a uma única categoria.
   • Saída Final: O dataset liberado contém 3.210 triplas únicas (áudio, instrução, referência) e 335 amostras de linha de base sem instruções de preferência.

2. Categorias de Preferência:

   • Normalização: Testa o tratamento de números (dígitos vs. palavras), símbolos (notação de moeda/matemática vs. equivalentes verbais) e links de sites.
   • Entidades: Testa o reconhecimento de entidades nomeadas específicas (empresas, medicamentos, etc.) e mede a "confabulação" ao incluir nomes de entidades falsos-positivos nas instruções que estão ausentes no áudio.
   • Disfluências: Testa a capacidade de manter ou remover palavras de preenchimento (um, uh), repetições, começos falsos e erros gramaticais com base nas instruções.
   • Caso (Case): Testa a adesão a regras de apenas letras minúsculas ou pontuação/capitalização adequada.

3. Normalizador Consciente de Preferência (Preference-Aware Normalizer):
   Para avaliar a conformidade de forma justa, os autores propõem um normalizador personalizado que pula seletivamente etapas de normalização que correspondam à instrução ativa. Por exemplo, se uma instrução solicita números em forma escrita (ITN), o normalizador não converte a saída de dígitos do modelo para palavras, evitando a penalização de um comportamento correto.

Configuração Experimental
O estudo avalia quatro modelos:

• Parakeet-TDT-0.6B-v3: Um baseline tradicional não-LLM (sem entrada de instrução).
• Canary-Qwen-2.5B: Um modelo híbrido com um backend LLM Qwen 2.5, treinado em pares de ASR padrão sem ajuste de preferência.
• Phi-4-Multimodal: Um modelo de 5.6B que integra fala, visão e texto.
• Qwen3-Omni-30B: Um modelo multimodal nativo treinado com viés contextual.

Os modelos foram avaliados sob duas configurações: Default (prompt padrão) e Instructed (instrução de preferência anexada). O desempenho foi medido usando tanto o WER Padrão (normalização total) quanto o WER Consciente de Preferência (normalização seletiva).

Resultados Principais

• Mudanças de Ranking: Os rankings dos modelos mudam significamente dependendo do tipo de preferência, um fenômeno obscurecido pela avaliação padrão. Por exemplo, o Qwen3-Omni supera os outros em conformidade de normalização e disfluência quando instruído, mas seu desempenho degrada sob avaliação padrão, o que mascara essas diferenças.
• Sensibilidade à Instrução:
  • O Qwen3-Omni mostra forte conformidade para formatação (normalização, caso, disfluências), mas exibe alucinação de entidade, inserindo nomes de entidades do prompt mesmo quando ausentes no áudio (o WER sobe de 5,12% para 12,85% em entidades).
  • O Canary-Qwen mostra sensibilidade mínima às instruções em todas as categorias, sugerindo que um backbone LLM sozinho, sem treinamento de alinhamento específico de preferência, é insuficiente para o seguimento de instruções em ASR.
  • O Phi-4 demonstra forte conformidade para disfluências quando instruído, mas falha significativamente em instruções de caso, indicando um seguimento de instrução dependente da categoria.
• Sensibilidade ao Prompt: Mesmo pequenas reformulações de prompts genéricos (sem diretivas de preferência) causaram mudanças mensuráveis no WER em SpeechLLMs (ex: Phi-4), destacando sua sensibilidade à redação do prompt.

Significância e Alegações
O artigo afirma que o Preference-ASR é o primeiro conjunto de testes que condiciona a verdade fundamental (ground truth) a instruções de formatação explicitamente especificadas pelo humano, expondo assim diferenças de qualidade que os benchmarks tradicionais perdem. Os autores argumentam que, à medida que os SpeechLLMs evoluem, a avaliação deve ir além de referências fixas para testar diretamente as capacidades de seguimento de instrução. Os resultados destacam um compromisso crítico: embora os modelos possam seguir instruções de formatação, eles lutam para equilibrar o contexto do prompt textual com a evidência acústica, levando a alucinações no reconhecimento de entidades. Os autores concluem que os benchmarks atuais são insuficientes para a era dos SpeechLLMs e que o trabalho futuro deve abordar preferências de múltiplos falantes e configurações multilíngues.

Limitações
Os autores reconhecem que o dataset é exclusivamente em inglês, ainda não cobre preferências de múltiplos falantes e exigiu verificação manual dos textos gerados por LLM, particularmente para tarefas de normalização onde o contexto acústico não pode ser inferido apenas pelo texto.