Crowdsourced Multilingual Speech Intelligibility Testing
Cet article traite du manque de tests d'intelligibilité de la parole multilingues et évolutifs en proposant une approche d'évaluation participative, en détaillant sa conception expérimentale, et en présentant la collecte et la publication de données de parole multilingues ainsi que les premiers résultats.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à comprendre la parole humaine, mais que le robot s'embrouille sans cesse à cause du bruit de fond ou de mauvaises connexions. Pour corriger cela, les ingénieurs doivent tester la clarté de la voix du robot. Pendant des décées, la seule façon de le faire consistait à enfermer des gens dans une pièce insonorisée, à leur mettre un casque haut de gamme sur les oreilles et à les faire écouter des mots dans un laboratoire. C'était comme essayer de juger le goût d'une nouvelle soupe en ne laissant que quelques chefs professionnels la goûter dans une cuisine stérile. C'était précis, mais lent, coûteux et impossible à déployer rapidement à grande échelle.
Cependant, une nouvelle vague de technologie audio « générative » change la donne. Il s'agit d'algorithmes intelligents qui ne se contentent pas de nettoyer le bruit ; ils devinent et créent réellement les parties manquantes de la parole pour l'améliorer. Le problème est que ces nouveaux outils pourraient accidentellement échanger un son pour un autre qui semble similaire mais qui signifie totalement autre chose (comme transformer un « f » en un « p »). Pour détecter ces erreurs sournoises, nous avons besoin d'un moyen massif, rapide et peu coûteux de tester l'intelligibilité de la parole — la capacité de comprendre ce qui est dit — à travers de nombreuses langues. C'est là qu'intervient l'idée du « crowdsourcing » (la sollicitation de la foule) : au lieu de quelques experts dans un laboratoire, nous demandons à des milliers de personnes ordinaires sur Internet d'écouter et de dire ce qu'elles entendent, transformant ainsi le monde entier en un immense et diversifié terrain d'essai.
Dans cet article, les chercheurs Laura Lechler et Kamil Wojcicki de Cisco Systems proposent une nouvelle façon de tester l'intelligibilité de la parole en prenant un test classique de laboratoire pour le transférer sur Internet. Ils voulaient voir s'ils pouvaient obtenir des résultats fiables en demandant à des personnes ordinaires sur des plateformes de crowdsourcing de jouer à un simple jeu de devinettes de mots, plutôt que d'embaucher des experts coûteux dans un laboratoire.
Le test qu'ils ont choisi est appelé le Diagnostic Rhyme Test (DRT). Voyez cela comme un jeu de « trouver les différences » pour vos oreilles. L'ordinateur joue un mot unique, comme « bat », puis vous donne deux choix à l'écran : « bat » ou « pat ». Vous devez simplement cliquer sur celui que vous avez entendu. Les mots sont soigneusement choisis pour ne différer que par un son minuscule (comme le « b » par rapport au « p »), ce qui aide à identifier précisément l'endroit où un algorithme pourrait faire des erreurs. Les chercheurs ont rassemblé ces listes de mots en cinq langues : l'anglais, l'espagnol, le français, l'allemand et le mandarin chinois.
Pour faire fonctionner cela en ligne, ils ont dû être ingénieux. Ils ont enregistré des locuteurs natifs prononçant ces mots, ont nettoyé l'audio et les ont intégrés dans un sondage sur un site web appelé Prolific. Ils ont bien rémunéré les participants (plus de 8 $ de l'heure) et ont ajouté des questions « pièges » spéciales pour s'assurer que les gens prêtaient réellement attention et ne se contentaient pas de cliquer au hasard. Ils ont également veillé à ce que les participants utilisent des casques et aient une audition normale.
L'équipe a mené quatre expériences différentes pour voir si ce « laboratoire en ligne » fonctionnait réellement. Premièrement, ils ont comparé leurs résultats en ligne avec un test de laboratoire traditionnel utilisant des locuteurs espagnols. Ils ont constaté que, bien que le groupe en ligne ait obtenu un score légèrement inférieur dans l'ensemble (ce qui est logique, car ils n'étaient pas dans une pièce parfaitement calme), le test en ligne était très efficace pour détecter la différence entre un bon audio et un mauvais audio. Par exemple, lorsqu'ils ont testé un format audio compressé (NB PCMU), les experts du laboratoire et la foule en ligne étaient tous deux d'accord pour dire qu'il était moins bon que la version de haute qualité, même si le groupe en ligne a donné un score globalement plus bas.
Ensuite, ils ont vérifié si le test était cohérent. Ils ont effectué le même test deux fois avec les mêmes personnes, et une fois avec un groupe totalement nouveau. Les résultats étaient presque identiques, montrant que le test est fiable et reproductible, tout comme une bonne expérience scientifique doit l'être. Ils ont également testé deux formats de compression audio différents (AMR-WB et AMR-NB) en anglais. Les résultats en ligne correspondaient parfaitement aux modèles trouvés dans les anciennes études de laboratoire, montant que la « foule » pouvait faire la différence entre les deux codecs aussi bien que les experts.
Enfin, ils ont testé le système à travers les cinq langues. Ils ont constaté que le test en ligne détectait avec succès lorsque la qualité audio chutait en raison de la compression en anglais, allemand, espagnol et français. Curieusement, pour le test en chinois, qui repose fortement sur les tons musicaux plutôt que sur de simples sons de consonnes, la compression ne semblait pas beaucoup nuire à l'intelligibilité. Cela s'explique par le fait que la « hauteur » de la voix (qui porte le ton) était préservée même lorsque la qualité audio était abaissée.
Les auteurs concluent que cette approche par crowdsourcing est une méthode valide, rentable et rapide pour tester l'intelligibilité de la parole. Bien que les scores absolus puissent être un peu inférieurs à ceux d'un laboratoire parfait (peut-être parce que les gens écoutent dans leurs cuisines bruyantes plutôt que dans des pièces insonorisées), les résultats relatifs sont parfaitement exacts. Ils ont démontré que l'on peut utiliser Internet pour obtenir un vivier diversifié et mondial d'auditeurs pour tester rapidement de nouveaux algorithmes audio. Ils ont même rendu leurs listes de mots et leurs enregistrements audio publics afin que d'autres chercheurs puissent les utiliser pour évaluer leurs propres travaux. C'est une étape vers la garantie que, à mesure que nos voix d'IA deviennent plus intelligentes, elles restent également claires et compréhensibles pour tous, partout.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.