HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems

Resumo Técnico: HALAS – Um Conjunto de Dados de Alucinações de Sistemas ASR Modernos Anotado por Humanos

Declaração do Problema
Sistemas de Reconhecimento Automático de Fala (ASR) de ponta a ponta são propensos a gerar "alucinações" — textos errôneos em transcrições que não correspondem ao áudio falado. Embora os métodos de mitigação e detecção existentes sejam frequentemente avaliados em áudio sem fala ou conjuntos de dados artificialmente corrompidos, há uma carência de benchmarks rigorosos baseados em alucinações que ocorrem naturalmente em fala real. As abordagens de detecção atuais, incluindo aquelas que dependem de validação baseada em referência ou métricas de proxy sem referência, não foram suficientemente testadas contra alucinações anotadas por humanos em fala não processada, limitando sua aplicabilidade prática.

Metodologia
Os autores introduzem o HALAS (Hallucination Annotations for Large-scale ASR Systems), o primeiro conjunto de dados anotado por humanos de alucinações que ocorrem naturalmente. O processo de criação do conjunto de dados envolveu as seguintes etapas:

1. Fonte de Dados: Os autores utilizaram o conjunto de dados Earnings 22 (E22), composto por 119 horas de gravações de chamadas de resultados (earnings calls) em inglês de 27 países.
2. Seleção de Modelos: Sete modelos de ASR de última geração foram selecionados com base em seu desempenho no Open ASR Leaderboard: quatro versões do OpenAI Whisper (large v3, large v3 Turbo, large v2 e um Crisper Whisper ajustado/fine-tuned) e três modelos da Nvidia Nemo (Canary-1B, Canary-1B-Flash e Parakeet-TDT v2).
3. Seleção de Candidatos: Para maximizar a prevalência de alucinações, os autores utilizaram a Taxa de Erro de Palavra (WER) inter-modelo como um proxy para a dificuldade do áudio. Segmentos de áudio onde os modelos produziam transcrições significativamente diferentes foram priorizados. O pré-processamento envolveu a remoção de arquivos marcados como "inaudíveis" ou "língua estrangeira", e a normalização das previsões para remover loops repetitivos para fins de cálculo de métrica.
4. Anotação Humana: Dez anotadores profissionais (Inglês B2+) rotularam os dados. Crucialmente, as anotações foram realizadas comparando as previsões do ASR diretamente com a gravação de áudio, não com as transcrições de referência fornecidas pelo conjunto de dados E22 (que foram frequentemente encontradas como incorretas). Os anotadores marcaram trechos específicos como "Alucinação", "Looping" ou "Alucinação de Looping". Um terceiro anotador atuou como árbitro para resolver divergências, resultando em um alto acordo inicial (kappa de Cohen = 0,87).
5. Estrutura do Conjunto de Dados: O conjunto de dados final contém 3.611 arquivos de áudio com rótulos de nível de trecho (span-level) para todos os sete modelos. Ele é dividido em conjuntos de treinamento (2.866 arquivos, taxa de alucinação de 33,6%) e teste (745 arquivos, taxa de alucinação de 22,6%), estratificados por reunião de origem, WER e duração.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. O Conjunto de Dados HALAS: Um novo conjunto de dados, disponível publicamente, de alucinações anotadas por humanos de sete modelos ASR de última geração em fala real, oferecendo granularidade de nível de trecho.
2. Análise Empírica: A primeira análise abrangente de padrões de alucinação em modelos ASR de última geração em dados reais, revelando uma forte sobreposição de vocabulário entre modelos e a ocorrência de alucinações mesmo em cenários de baixo WER.
3. Framework de Benchmarking: Um benchmark rigoroso para avaliar métodos de detecção de alucinação contra erros que ocorrem naturalmente e anotados por humanos, indo além de avaliações artificiais ou de não-fala.

Resultados e Análise

• Padrões de Alucinação: Todos os sete modelos exibiram alucinações, com taxas variando de 21,4% a 43,8%. A análise revelou que as alucinações são fortemente inclinadas para um pequeno conjunto de frases frequentes (ex: "you", "thank you", "okay"). Em média, 55% das alucinações marcadas corresponderam às 10 principais frases para um determinado modelo.
• Similaridade entre Modelos: Pontuações de similaridade de Jensen-Shannon indicaram uma forte sobreposição de distribuição nas frases alucinadas entre os modelos, particularmente entre as variantes do Whisper.
• Avaliação de Gravidade: Usando um LLM (GPT-4o mini) para classificar a gravidade, os autores descobriram que as alucinações são frequentemente binárias: ou preenchimentos benignos (menores) ou interrupções semânticas maiores (severas), sendo os erros "moderados" menos frequentes. Modelos como Parakeet e Crisper Whisper tenderam a inserções menores, enquanto Canary e Whisper v2 exibiram taxas mais altas de erros severos.
• Desempenho de Detecção:
  • Métricas de Proxy: Métricas padrão como WER e Perplexidade mostraram eficácia limitada (ROC-AUC ~0,60–0,72) porque as alucinações no HALAS são frequentemente fluentes e concisas. Métricas semânticas (BERTScore, SeMaScore) e a Taxa de Erro de Caractere (CER) tiveram melhor desempenho, atingindo um ROC-AUC de aproximadamente 0,81.
  • Métodos SOTA: Ao testar métodos de detecção, classificadores de embedding de decodificador (DE) sem referência superaram métodos de referência baseados em LLM. O melhor detector (um classificador DE de múltiplas camadas usando as camadas 2, 13 e 23) alcançou um F1 score de 56,1% no conjunto de teste do HALAS. Em contraste, LLMs (GPT-4o mini, Gemini 2.0 Flash) alcançaram F1 scores em torno de 41%, sofrendo frequentemente de baixa precisão ou baixa revocação (recall).
  • Generalização: Detectores treinados no HALAS demonstraram a capacidade de generalizar entre diferentes arquiteturas de ASR (regimes de treinamento OWN vs. OTHER) e performaram ainda melhor em dados fora de domínio (não-fala), sugerindo que o HALAS captura padrões fundamentais de erro.

Significância
O artigo estabelece o HALAS como o primeiro benchmark rigoroso e não artificial para detecção e mitigação de alucinações em ASR. Os autores argumentam que o problema de detectar alucinações em fala natural é significativamente mais desafiador do que demonstrado anteriormente em conjuntos de dados artificiais, como evidenciado pelo desempenho modesto dos atuais métodos de detecção de última geração (F1 ~53–56%). O conjunto de dados permite o desenvolvimento de detectores que podem identificar alucinações sem depender de texto de referência de verdade fundamental (ground-truth), uma capacidade crítica para implantação no mundo real onde transcrições de referência não estão disponíveis.