Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study
Cet article présente une étude comparative démontrant que, si les métriques basées sur des encodeurs correctement configurées (telles que BERTScore et SemDist) atteignent une forte corrélation avec les jugements humains pour l'évaluation de l'ASR, les LLM génératifs offrent des forces complémentaires dans la sélection de paires d'hypothèses et l'amélioration de l'interprétabilité de l'analyse des erreurs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsqu'un ordinateur écoute une voix humaine et écrit ce qu'il entend, le processus est appelé reconnaissance automatique de la parole. Pendant des décennies, la manière standard d'évaluer l'efficacité de ces systèmes a été un simple décompte des erreurs. Si l'ordinateur écrit « chat » alors que l'interlocuteur a dit « rat », cela compte comme une erreur. S'il ajoute un mot supplémentaire ou en omet un, ce sont aussi des erreurs. Cette méthode, connue sous le nom de taux d'erreur de mots, traite chaque erreur comme étant également grave. Elle ne se soucie pas de savoir si l'erreur change le sens d'une phrase ou s'il s'agit d'une simple variation orthographique mineure qu'un lecteur humain ignorerait facilement. En conséquence, un système pourrait obtenir un score parfait avec ce vieux test tout en produisant un texte qui semble robotique ou déroutant pour une personne.
Pour corriger cela, les chercheurs se sont tournés vers de nouvelles méthodes qui examinent le sens derrière les mots plutôt que de se concentrer uniquement sur les lettres elles-mêmes. Ces méthodes utilisent des modèles de langage de grande taille (large language models), qui sont de programmes informatiques massifs entraînés sur d'immenses quantités de texte pour comprendre comment fonctionne le langage. Certains de ces modèles sont conçus pour lire et comprendre du texte, tandis que d'autres sont construits pour générer du nouveau texte, comme écrire une histoire ou répondre à une question. La grande question pour le domaine a été de savoir si ces nouveaux outils puissants peuvent faire un meilleur travail pour évaluer la reconnaissance vocale que les anciennes méthodes de comptage, et si oui, quel type de modèle est le meilleur juge.
Une équipe de chercheurs de l'Institut de recherche Idiap en Suisse, accompagnée de collègues d'universités françaises, s'est donné pour mission de répondre à cette question. Ils voulaient voir comment différentes sortes de modèles de langage de grande taille se comparent lorsqu'on leur demande d'évaluer la qualité d'une transcription vocale. Ils n'ont pas seulement examinés les modèles de manière générale ; ils les ont testés de deux manières très différentes. Premièrement, ils ont traité les modèles comme des outils pour mesurer la distance entre les mots prononcés et le texte écrit, en cherchant un score mathématique qui corresponde à l'opinion humaine. Deuxièmement, ils ont demandé aux modèles d'agir comme un juge semblable à un humain, en lisant deux versions différentes d'une transcription et en décidant laquelle était la meilleure, ou simplement en étiquetant une transcription unique comme bonne, mauvaise ou déroutante.
Les chercheurs ont testé leurs idées en utilisant un ensemble de données appelé HATS, qui contient des préférences humaines par paires sur des hypothèses d'ASR (reconnaissance automatique de la parole) en français produites par divers systèmes informatiques. Crucialement, cet ensemble de données inclut également les opinions d'auditeurs humains qui ont été sollicités pour évaluer la qualité des transcriptions. Cela a permis aux chercheurs de voir si les modèles informatiques prenaient les mêmes jugements que les humains. Ils ont commencé par tester les modèles en tant qu'outils de mesure. Ils ont calculé le BERTScore et le SemDist en utilisant des plongements (embeddings) extraits des modèles pour générer un score basé sur la similitude entre la version informatique et la version humaine. Ils ont découvert que les meilleurs résultats ne provenaient pas simplement de l'utilisation du modèle le plus grand ou le plus puissant. Au contraire, le succès dépendait de la manière dont les chercheurs choisissaient de traiter l'information à l'intérieur du modèle.
Pour les modèles qui lisent et comprennent le texte, les chercheurs ont découvert que les meilleurs résultats provenaient de l'examen de couches spécifiques de la structure interne du modèle, plutôt que de sa sortie finale. Ils ont également constaté que les modèles spécifiquement entraînés pour créer des résumés au niveau de la phrase performaient mieux que les modèles à usage général. Pour les modèles qui génèrent du texte, les résultats étaient similaires : la meilleure performance nécessitait une sélection minutieuse de la partie de la connaissance interne du modèle à utiliser. Dans ces tests, les modèles conçus pour générer du texte ont performé aussi bien que, et parfois légèrement mieux que, les modèles conçus pour lire le texte. Cependant, les modèles axés sur la lecture ont atteint ce résultat avec beaucoup moins de ressources informatiques, ce qui en fait un choix très efficace pour cette tâche spécifique.
Les chercheurs ont ensuite abordé la seconde partie de leur étude, où ils ont demandé aux modèles d'agir comme des juges. Dans le premier scénario, ils ont donné au modèle une phrase de référence et deux versions différentes de cette phrase générées par ordinateur. Le modèle devait choisir celle qu'un humain préférerait. Dans cette tâche, les modèles génératifs les plus avancés, y compris certains des plus grands disponibles, ont performé exceptionnellement bien. Ils étaient en accord avec les choix humains 94 % du temps dans les meilleurs cas, surpassant à la fois l'ancienne méthode de comptage et les nouvelles méthodes de notation. Cela suggère que lorsqu'un modèle est autorisé à lire toute la phrase et à réfléchir au contexte, il peut repérer des différences subtiles de qualité que les mathématiques simples ne voient pas.
Dans l'expérience finale, les chercheurs ont demandé aux modèles d'examiner une transcription unique et de lui attribuer une étiquette : identique, utile, mauvaise ou incompréhensible. Cette approche offrait un nouveau type d'aperçu. Au lieu d'un simple chiffre, les chercheurs obtenaient une description de l'erreur. Par exemple, le modèle pouvait identifier qu'une phrase était compréhensible malgré quelques fautes d'orthographe, ou qu'elle était complètement déroutante. Bien que les modèles ne soient pas parfaits pour cette tâche, ils ont montré une capacité claire à organiser les erreurs par gravité. Les résultats ont suggéré que ces modèles pourraient fournir un rapport plus détaillé et plus convivial sur les raisons pour lesquelles un système de parole a échoué, plutôt que de simplement dire qu'il a échoué.
L'étude conclut que les modèles de langage de grande taille offrent une nouvelle façon flexible et puissante d'évaluer la reconnaissance vocale. Les modèles axés sur la lecture fournissent des scores rapides et précis qui correspondent à la perception humaine, tandis que les modèles générateurs de texte excellent dans la comparaison de différentes versions d'une transcription et dans l'explication de la nature des erreurs. Les chercheurs ont constaté que la taille du modèle importait moins que la manière dont il était utilisé ; un modèle plus petit et bien configuré pouvait souvent accomplir le travail d'un modèle beaucoup plus grand. En fin de compte, ce travail montre qu'en combinant ces différentes approches, nous pouvons dépasser le simple décompte des erreurs pour parvenir à une compréhension plus profonde de la manière dont un ordinateur comprend réellement la voix humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.