Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild

Ce papier présente Contextual Earnings-22, un nouveau benchmark open-source conçu pour évaluer les systèmes de reconnaissance vocale sur un vocabulaire personnalisé réaliste, comblant ainsi le fossé entre les performances académiques et les besoins industriels.

L'essentiel

🎙️ Le Problème : Le "Diplôme" vs la "Vie Réelle"

Imaginez que vous avez un élève très brillant qui a obtenu des notes parfaites à l'école (les benchmarks académiques). Il connaît par cœur les mots les plus courants : "chat", "maison", "manger". C'est impressionnant !

Mais imaginez maintenant que cet élève doit travailler dans une entreprise de finance. Le patron lui demande de noter une réunion où l'on parle de noms de sociétés obscures, de produits techniques et de personnes spécifiques. S'il confond "Apple" (la pomme) avec "Apple" (la société), ou s'il écrit "Samsung" au lieu de "Samsung", son travail est inutile, même s'il a bien écrit le reste de la phrase.

C'est exactement le problème que les chercheurs d'Argmax (l'équipe derrière ce papier) ont identifié :

• Les systèmes de reconnaissance vocale actuels sont excellents pour les mots du quotidien.
• Mais ils échouent lamentablement sur les mots spécifiques au contexte (noms de marques, de personnes, de produits) qui sont pourtant cruciaux pour que le texte soit utile.

🛠️ La Solution : "Contextual Earnings-22"

Pour régler ça, l'équipe a créé un nouveau terrain de jeu, un nouveau test appelé Contextual Earnings-22.

Au lieu d'utiliser des phrases génériques, ils ont pris des enregistrements réels de conférences téléphoniques d'entreprises (les "earnings calls"). C'est comme si on prenait un cours de français standard et qu'on le transformait en un cours de droit ou de médecine, où chaque mot compte.

Leur méthode en 3 étapes simples :

1. La Chasse aux Mots : Ils ont utilisé une intelligence artificielle (GPT-5) pour repérer tous les noms importants (personnes, entreprises, produits) dans ces réunions.
2. Le Nettoyage : Ils ont écouté chaque petit extrait audio et corrigé manuellement les erreurs. C'est comme un professeur qui corrige la copie d'un élève pour s'assurer que le texte correspond exactement à ce qui a été dit.
3. Le Test en Deux Temps : Ils ont créé deux scénarios pour tester les machines :
   • Le Scénario "Café tranquille" (Contexte Local) : On donne à la machine juste les mots dont elle a besoin pour ce moment précis.
   • Le Scénario "Marché bruyant" (Contexte Global) : On lui donne une liste énorme de mots possibles, y compris des leurres (des mots qui pourraient être là mais qui ne le sont pas). C'est la vraie vie : la machine doit être assez intelligente pour ne pas se tromper à cause du bruit.

🏆 Le Match : Qui gagne ?

L'équipe a fait s'affronter six systèmes de reconnaissance vocale (certains commerciaux comme Deepgram ou OpenAI, d'autres open-source). Ils ont mesuré deux choses :

1. Le taux d'erreur global (WER) : Combien de mots sont faux en tout ?
2. Le score des mots clés : A-t-on bien reconnu les noms importants ?

Les résultats surprenants :

• L'astuce du "Contexte" fonctionne : Quand on donne aux machines la liste des mots importants à surveiller, elles deviennent beaucoup plus précises sur ces mots précis. C'est comme donner une carte au trésor à un chercheur : il trouve l'objet beaucoup plus vite.
• Le piège des leurres : Quand on donne une liste trop longue avec des faux amis (le "Contexte Global"), certaines machines commencent à halluciner. Elles disent des mots qu'elles n'ont pas entendus juste parce qu'ils étaient sur la liste. C'est comme si un serveur, voyant que vous avez commandé du café, vous apportait aussi un gâteau que vous n'aviez pas demandé, juste parce qu'il était sur le menu.
• Deux approches, même résultat : Deux grandes familles de méthodes (l'une qui "pousse" les mots, l'autre qui les "annonce" dans une consigne) fonctionnent aussi bien l'une que l'autre, à condition d'être bien réglées.

💡 La Grande Leçon

Ce papier nous dit quelque chose d'important : La perfection globale ne signifie pas l'utilité pratique.

Un système peut avoir 99% de mots corrects, mais si les 1% restants sont les noms des actionnaires ou des produits, le transcript est inutilisable. Ce nouveau test, Contextual Earnings-22, est comme un nouveau permis de conduire : il ne suffit plus de savoir conduire sur une route vide ; il faut savoir gérer le trafic, les panneaux de signalisation complexes et les imprévus de la vraie vie.

En résumé, ils ont créé le référentiel ultime pour s'assurer que nos assistants vocaux ne sont pas seulement de bons élèves, mais de vrais professionnels capables de travailler dans le monde réel.

Résumé technique

1. Problématique et Contexte

Le papier identifie une divergence critique entre les performances des systèmes de reconnaissance vocale (STT) sur les benchmarks académiques et leur utilité réelle dans des domaines à haute valeur ajoutée (comme les appels financiers).

• Stagnation des benchmarks académiques : La précision globale (mesurée par le taux d'erreur de mots ou WER) a atteint un plateau sur des ensembles de données académiques standards (ex: LibriSpeech). Les améliorations sont marginales.
• Le problème du vocabulaire contextuel : Dans des scénarios réels, la qualité d'une transcription dépend disproportionnellement de la reconnaissance correcte d'un petit ensemble de termes spécifiques au contexte (noms de personnes, entreprises, produits). Ces termes sont souvent rares et difficiles à reconnaître sans aide contextuelle.
• Absence de standardisation : Bien que des méthodes de "biaisage contextuel" (context biasing) existent (comme le keyword prompting ou le keyword boosting), il n'existe pas de benchmark standardisé, public et réaliste permettant de comparer objectivement ces approches, en particulier face à des listes de vocabulaire contenant des "distracteurs" (termes plausibles mais non prononcés).

2. Méthodologie : Contextual Earnings-22

Les auteurs introduisent Contextual Earnings-22, un nouveau jeu de données public construit à partir du corpus Earnings-22 (appels de résultats d'entreprises), spécifiquement conçu pour évaluer la reconnaissance de vocabulaire personnalisé.

Pipeline de création des données (Figure 2) :

1. Extraction de mots-clés : Utilisation d'un LLM (GPT-5) sur les transcriptions originales pour identifier les entités nommées (personnes, entreprises, produits).
2. Post-traitement déterministe : Nettoyage des listes (déduplication, normalisation de la ponctuation, filtrage des termes génériques).
3. Segmentation : Création de clips audio de 15 secondes centrés sur chaque mention d'un mot-clé, accompagnés de la transcription locale.
4. Alignement forcé : Utilisation d'un aligneur basé sur wav2vec pour mapper précisément les segments de texte sur l'audio.
5. Révision manuelle : Une étape cruciale où les auteurs corrigent manuellement les artefacts (noms mal entendus, problèmes de casse, erreurs d'alignement). Cela a permis de nettoyer 98,7% des échantillons des balises inaudibles et d'apporter des corrections au niveau des mots pour 29,5% des clips.

Deux régimes d'évaluation :

• Contexte Local : La liste de vocabulaire ne contient que les mots réellement parlés dans le clip. Cela mesure la capacité du système à exploiter un contexte précis.
• Contexte Global : La liste contient l'inventaire complet de l'appel (environ 1 heure), incluant des mots qui ne sont pas parlés dans le clip spécifique. Cela simule un déploiement réel avec des "distracteurs" et teste le compromis précision/rappel.

Métriques :

• WER (Word Error Rate) : Taux d'erreur standard pour évaluer la qualité globale.
• Métriques centrées sur les mots-clés (Précision, Rappel, F-score) : Pour isoler la performance sur le vocabulaire personnalisé. Un mot-clé est considéré comme un "Vrai Positif" uniquement s'il correspond exactement au texte de référence et à l'alignement temporel.

3. Contributions Clés

1. Nouveau Benchmark Standardisé : Contextual Earnings-22 est le premier jeu de données public pairant des clips courts avec des contextes de vocabulaire personnalisés réalistes, couvrant à la fois des régimes idéaux (local) et réalistes (global avec distracteurs).
2. Évaluation Comparative Rigoureuse : Les auteurs établissent six bases de référence (baselines) fortes couvrant les deux approches dominantes :
   • Keyword Prompting : Via des API commerciales (Deepgram, OpenAI/Whisper, AssemblyAI) et des modèles open-source (Whisper OSS).
   • Keyword Boosting : Via une pipeline CTC-WS (CTC-based keyword boosting) utilisant des modèles comme Parakeet-v2.
3. Outils Open Source : Mise à disposition des clips audio, des transcriptions révisées, des listes de contexte et d'un "harness" d'évaluation pour garantir la reproductibilité.

4. Résultats Expérimentaux

Les expériences menées sur six systèmes STT révèlent plusieurs tendances importantes :

• Amélioration significative de la reconnaissance contextuelle : L'ajout de contexte entraîne une augmentation systématique du F-score pour les mots-clés sur tous les systèmes. Le conditionnement contextuel permet de corriger des erreurs de reconnaissance de noms propres qui seraient autrement phonétiquement similaires mais incorrectes.
• Divergence entre WER et F-score des mots-clés : L'amélioration du F-score des mots-clés ne se traduit pas toujours par une baisse du WER global. Certains systèmes voient leur WER se dégrader légèrement ou rester stable malgré une meilleure reconnaissance des termes clés, souvent à cause d'artefacts induits par le contexte.
• Impact des distracteurs (Contexte Global vs Local) :
  • Le contexte local est systématiquement plus facile à gérer (meilleure précision et rappel).
  • Le contexte global teste la robustesse : la présence de distracteurs (noms plausibles mais non prononcés) entraîne une baisse de la précision (faux positifs) pour de nombreux systèmes.
• Comparaison des approches : Les deux familles de méthodes (prompting et boosting) atteignent des performances comparables et significativement supérieures à l'absence de contexte lorsqu'elles sont passées du stade de preuve de concept à des systèmes à grande échelle. Cependant, la robustesse aux distracteurs varie considérablement d'un système à l'autre.

Exemples d'erreurs (Tableau 3) :

• Confusions phonétiques : Sans contexte, "Julien Quenouille" est transcrit comme "Julien Dunnoir". Avec contexte, la correction est possible.
• Hallucinations : Certains systèmes, sous l'influence d'une liste de mots-clés, insèrent des noms qui ne sont pas dans l'audio (ex: insérer "Sify" à répétition ou des noms de personnes non présents).
• Changement de langue : Dans certains cas, la présence de mots-clés perturbe la trajectoire de décodage et provoque un changement de langue inattendu.

5. Signification et Conclusion

Ce travail souligne que le WER global n'est plus une métrique suffisante pour évaluer l'utilité des transcriptions dans des domaines spécialisés. La capacité à reconnaître un vocabulaire personnalisé précis est le véritable gage de qualité.

Contextual Earnings-22 permet de :

• Révéler les progrès latents des systèmes STT qui ne sont pas visibles sur les benchmarks académiques classiques.
• Identifier les compromis (trade-offs) entre la capacité à reconnaître des termes spécifiques et la robustesse face aux listes de vocabulaire bruyantes (distracteurs).
• Accélérer la recherche en fournissant un terrain d'essai standardisé pour les méthodes de biaisage contextuel.

En conclusion, les auteurs démontrent que le conditionnement contextuel est essentiel pour les applications industrielles, mais que la gestion des distracteurs et la minimisation des artefacts (hallucinations) restent les défis majeurs à relever pour les systèmes de reconnaissance vocale de nouvelle génération.