BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

Dans le monde de la technologie de la parole, les ordinateurs apprennent constamment à écouter. Ils sont entraînés sur de vastes bibliothèques de voix enregistrées pour reconnaître des mots, identifier des locuteurs ou comprendre des commandes. La plupart de ces bibliothèques, cependant, sont constituées de sons captés dans l'air. Lorsque nous parlons, les ondes sonores voyagent à travers l'air, frappent un microphone et sont converties en données numériques. Cette méthode, appelée conduction aérienne, est la norme pour presque tous les assistants vocaux et services de transcription. Mais il existe un autre moyen pour le son d'atteindre nos oreilles et nos dispositifs d'enregistrement : par les os de notre crâne. Lorsque nous parlons, nos cordes vocales font vibrer les os de notre crâne, et ces vibrations voyagent directement vers l'oreille interne et peuvent être captées par des capteurs placés sur la peau. Ceci est la conduction osseuse. Bien que le son transmis par l'air soit facilement étouffé par le bourdonnement du trafic ou le bavardage d'une foule, le son transmis par l'os reste remarquablement clair car il contourne l'air bruyant. Pendant des décennies, les chercheurs ont lutté pour construire des ordinateurs capables de comprendre ce langage basé sur l'os, principalement parce que les données nécessaires n'existaient tout simplement pas pour de nombreuses langues.

Une équipe de chercheurs issus d'universités du Bangladesh et du Japon a désormais comblé une lacune importante dans ce domaine en créant la première collection dédiée aux sons de voyelles de la langue bangla, capturés à la fois par l'air et par l'os. L'alphabet bangla contient douze sons de voyelles distincts, une complexité qui rend la langue riche mais difficile à analyser pour les machines, surtout lorsque le bruit de fond interfère. Jusqu'à ce travail, aucun ensemble de données n'existait offrant à la fois les versions traditionnelles de ces sons enregistrées par l'air et leurs contreparties par conduction osseuse pour comparaison. Les chercheurs ont entrepris d'enregistrer ces sons auprès de dix locuteurs natifs — cinq hommes et cinq femmes — dans une pièce calme et insonorisée. Ils ont utilisé des microphones de haute qualité pour capturer les voyelles par conduction aérienne, en veillant à ce que chaque enregistrement soit assez long pour être analysé, allant de 60ق0 à 780 millisecondes. Pour garantir la pureté des données, ils ont soigneusement découpé les débuts et les fins silencieux de chaque enregistrement, ne laissant que la partie pure et sonore du son.

Le défi consistait ensuite à obtenir les données par conduction osseuse sans exiger que chaque participant porte des microphones spécialisés et rares de conduction osseuse, qui sont difficiles à trouver et à utiliser dans des contextes de recherche standards. Au lieu d'enregistrer directement les vibrations osseuses, l'équipe a utilisé un modèle informatique sophistiqué pour les simuler. Ils ont pris les voyelles propres enregistrées par l'air et les ont passées à travers un filtre numérique qui imite la façon dont le crâne humain altère le son. Ce processus a effectivement éliminé les détails de haute fréquence que l'air transporte mais que les os filtrent, créant une version synthétique de ce à quoi le son aurait ressemblé s'il avait été enregistré à travers le crâne. Le résultat fut un ensemble de données appariées : 120 voyelles réelles par conduction aérienne et 120 voyelles synthétiques par conduction osseuse, parfaitement assorties aux mêmes locuteurs et aux mêmes douze sons de voyelles.

Les chercheurs ont ensuite organisé cette vaste collection en une bibliothèque structurée, séparant les données en différentes étapes de traitement pour aider d'autres scientifiques à tester leurs propres théories. Ils ont fourni les enregistrements bruts, les versions découpées et les sons osseux simulés par ordinateur, tous étiquetés avec des détails précis sur le genre du locuteur et la voyelle spécifique prononcée. Pour prouver l'exactitude de leur simulation, ils ont comparé les propriétés mathématiques des sons aériens réels par rapport aux sons osseux synthétiques. Ils ont constaté que les sons osseux synthétiques se comportaient exactement comme prévu : ils présentaient une gamme de fréquences plus large et une signature mathématique spécifique qui les distingue des sons aériens. Cela a confirmé que leur modèle informatique avait réussi à recréer le profil acoustique unique de la parole par conduction osseuse.

Cet ensemble de données est désormais disponible pour la communauté de recherche mondiale. Il offre une opportunité unique de tester la capacité des systèmes de reconnaissance vocale à gérer le bruit. Comme la parole par conduction aérienne est facilement corrompue par le bruit de fond tandis que la parole par conduction osseuse ne l'est pas, les chercheurs peuvent utiliser ces données appariées pour construire des systèmes capables de basculer entre les deux ou de les combiner pour comprendre la parole dans des environnements chaotiques comme des rues animées ou des pièces bondées. L'équipe a également rendu public le code informatique utilisé pour générer ces sons, permettant ainsi à d'autres de vérifier leurs méthodes ou d'appliquer les mêmes techniques à d'autres langues. En fournissant le premier aperçu complet des voyelles bangla à travers l'air et l'os, ce travail ouvre la voie à une technologie de reconnaissance vocale plus robuste et résistante au bruit, capable de fonctionner de manière fiable partout, et pas seulement dans un studio calme.