HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems

Résumé Technique : HALAS – Un ensemble de données d'hallucinations d'un système ASR moderne annoté par l'humain

Énoncé du problème
Les systèmes de reconnaissance automatique de la parole (ASR) de bout en bout sont sujets à la génération d'« hallucinations » — des textes erronés dans les transcriptions qui ne correspondent pas à l'audio parlé. Bien que les méthodes actuelles de mitigation et de détection soient souvent évaluées sur de l'audio non verbal ou des ensembles de données artificiellement corrompus, il existe un manque de benchmarks rigoureux basés sur des hallucinations naturellement présentes dans la parole réelle. Les approches de détection actuelles, y compris celles s'appuyant sur une validation basée sur une référence ou des métriques de substitution sans référence, n'ont pas été suffisamment testées face aux hallucinations annotées par l'humain dans la parole non prétraitée, ce qui limite leur applicabilité pratique.

Méthodologie
Les auteurs introduisent HALAS (Hallucination Annotations for Large-scale ASR Systems), le premier ensemble de données d'hallucinations naturellement présentes annoté par l'humain. Le processus de création de l'ensemble de données a impliqué les étapes suivantes :

1. Source de données : Les auteurs ont utilisé l'ensemble de données Earnings 22 (E22), comprenant 119 heures d'enregistrements d'appels de résultats financiers en anglais provenant de 27 pays.
2. Sélection des modèles : Sept modèles ASR de pointe ont été sélectionnés sur la base de leurs performances sur l'Open ASR Leaderboard : quatre versions d'OpenAI Whisper (large v3, large v3 Turbo, large v2 et un modèle Crisper Whisper affiné) et trois modèles Nvidia Nemo (Canary-1B, Canary-1B-Flash et Parakeet-TDT v2).
3. Sélection des candidats : Pour maximiser la prévalence des hallucinations, les auteurs ont utilisé le taux d'erreur de mots inter-modèles (inter-model WER) comme indicateur de la difficulté de l'audio. Les segments audio où les modèles produisaient des transcriptions significativement différentes ont été priorisés. Le prétraitement consistait à supprimer les fichiers marqués comme « inaudibles » ou « langue étrangère », et à normaliser les prédictions pour éliminer les boucles répétitives aux fins de calcul de métriques.
4. Annotation humaine : Dix annotateurs professionnels (anglais niveau B2+) ont étiqueté les données. Crucialement, les annotations ont été effectuées en comparant directement les prédictions ASR avec l'enregistrement audio, et non avec les transcriptions de référence fournies par l'ensemble E22 (lesquelles se sont révélées fréquemment incorrectes). Les annotateurs ont marqué des segments spécifiques comme « Hallucination », « Looping » (boucle) ou « Looping Hallucination ». Un troisième annotateur a agi en tant qu'arbitre pour résoudre les désaccords, aboutissant à un accord initial élevé (kappa de Cohen = 0,87).
5. Structure de l'ensemble de données : L'ensemble de données final contient 3 611 fichiers audio avec des étiquettes au niveau du segment pour les sept modèles. Il est divisé en ensembles d'entraînement (2 866 fichiers, taux d'hallucination de 33,6 %) et de test (745 fichiers, taux d'hallucination de 22,6 %), stratifiés par réunion source, WER et durée.

Principales contributions
Le papier présente trois contributions primaires :

1. L'ensemble de données HALAS : Un nouvel ensemble de données, disponible publiquement, d'hallucinations étiquetées par l'humain issues de sept modèles ASR de pointe sur de la parole réelle, offrant une granularité au niveau du segment.
2. Analyse empirique : La première analyse complète des schémas d'hallucination dans les modèles ASR de pointe sur des données réelles, révélant un fort chevauchement de vocabulaire entre les modèles et l'occurrence d'hallucinations même dans des scénarios à faible WER.
3. Cadre de benchmarking : Un benchmark rigoureux pour évaluer les méthodes de détection d'hallucinations par rapport aux erreurs naturellement survenantes et annotées par l'humain, allant au-delà des évaluations artificielles ou non verbales.

Résultats et analyse

• Schémas d'hallucination : Les sept modèles ont présenté des hallucinations, avec des taux allant de 21,4 % à 43,8 %. L'analyse a révélé que les hallucinations sont fortement biaisées vers un petit ensemble de phrases fréquentes (ex: « you », « thank you », « okay »). En moyenne, 55 % des hallucinations marquées correspondaient aux 10 phrases les plus fréquentes pour un modèle donné.
• Similitude inter-modèles : Les scores de similitude de Jensen-Shannon ont indiqué un fort chevauchement de distribution dans les phrases hallucinées entre les modèles, particulièrement parmi les variantes Whisper.
• Évaluation de la sévérité : En utilisant un LLM (GPT-4o mini) pour classifier la sévérité, les auteurs ont constaté que les hallucinations sont souvent binaires : soit des éléments de remplissage bénins (mineurs), soit des ruptures sémantiques majeures (sévères), les erreurs « modérées » étant moins fréquentes. Des modèles comme Parakeet et Crisper Whisper avaient tendance à produire des insertions mineures, tandis que Canary et Whisper v2 présentaient des taux plus élevés d'erreurs sévères.
• Performance de détection :
  • Métriques de substitution : Les métriques standards comme le WER et la perplexité ont montré une efficacité limitée (ROC-AUC ~0,60–0,72) car les hallucinations dans HALAS sont souvent fluides et concises. Les métriques sémantiques (BERTScore, SeMaScore) et le taux d'erreur de caractères (CER) ont été plus performants, atteignant un ROC-AUC d'environ 0,81.
  • Méthodes SOTA : Lors du benchmarking des méthodes de détection, les classifieurs de plongement de décodeur (DE) sans référence ont surpassé les méthodes de référence basées sur les LLM. Le meilleur détecteur (un classifieur DE multi-couches utilisant les couches 2, 13 et 23) a atteint un score F1 de 56,1 % sur l'ensemble de test HALAS. En revanche, les LLM (GPT-4o mini, Gemini 2.0 Flash) ont obtenu des scores F1 autour de 41 %, souffrant souvent d'une faible précision ou d'un faible rappel.
  • Généralisation : Les détecteurs entraînés sur HALAS ont démontré une capacité à se généraliser à travers différentes architectures ASR (régimes d'entraînement OWN vs OTHER) et ont même mieux performé sur des données hors domaine non verbales, suggérant que HALAS capture des schémas d'erreurs fondamentaux.

Signification
Ce papier établit HALAS comme le premier benchmark rigoureux et non artificiel pour la détection et la mitigation des hallucinations d'ASR. Les auteurs soutiennent que le problème de la détection des hallucinations dans la parole naturelle est nettement plus complexe que ce qui a été démontré précédemment sur des ensembles de données artificiels, comme en témoigne la performance modeste des méthodes de détection de pointe actuelles (F1 ~53–56 %). L'ensemble de données permet le développement de détecteurs capables d'identifier les hallucinations sans dépendre d'un texte de référence (ground-truth), une capacité critique pour le déploiement en conditions réelles où les transcriptions de référence sont indisponibles.