BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

音声技術の世界において、コンピュータは絶えず「聴く」ことを学習しています。コンピュータは、言葉を認識したり、話者を特定したり、コマンドを理解したりするために、膨大な録音音声のライブラリを用いて訓練されます。しかし、これらのライブラリのほとんどは、空気中で捉えられた音から構築されています。私たちが話すとき、音波は空気中を伝わり、マイクに当たり、デジタルデータへと変換されます。この手法は「空気伝導（エア・コンダクション）」として知られ、ほぼすべての音声アシスタントや文字起こしサービスにおける標準となっています。しかし、音が私たちの耳や録音装置に到達する方法には、もう一つあります。それは、私たちの頭蓋骨を通じてです。私たちが話すとき、声帯が頭蓋骨を振動させ、この振動が直接内耳へと伝わり、皮膚に配置されたセンサーによって捉えられることがあります。これが「骨伝導（ボーン・コンダクション）」です。空気伝導による音は、交通の騒音や人々の話し声にかき消されやすいものですが、骨伝導による音は、騒がしい空気をバイパスするため、驚くほど明瞭に保たれます。数十年にわたり、研究者たちはこの骨に基づいた音声を理解できるコンピュータを構築しようと苦心してきました。その主な理由は、多くの言語において必要なデータが単に存在していなかったことにあります。

バングラデシュと日本の大学の研究チームは、ベンガル語における母音の最初の専用コレクションを、空気伝導と骨伝導の両方を通じて作成することにより、この分野における重要な空白を埋めました。ベンガル語のアルファベットには12種類の異なる母音が含まれており、その複雑さは言語を豊かなものにしていますが、特に背景ノイズが干渉する場合、機械にとって解析を困難にします。この研究が行われるまで、伝統的な空気録音によるこれらの音と、比較のための骨伝導による対応音の両方を提供するデータセットは存在しませんでした。研究者たちは、静かな防音室の中で、10人のネイティブスピーカー（男性5名、女性5名）からこれらの音を録音することにしました。彼らは高品質のマイクを使用して空気伝導による母音を捉え、各録音が分析に十分な長さ（600ミリ秒から780ミリ秒の範囲）になるように確保しました。データをクリーンにするため、彼らは各録音の無音の始まりと終わりを注意深くトリミングし、純粋な有声音の部分のみを残しました。

次に課題となったのは、すべての参加者に、特殊で希少な骨伝導マイク（標準的な研究環境では見つけることも使用することも困難なもの）を装着させることなく、いかにして骨伝導のデータを取得するかということでした。チームは、骨伝導の振動を直接録音する代わりに、高度なコンピュータモデルを使用してそれらをシミュレートしました。彼らは、クリーンな空気伝導の母音を取り出し、人間の頭蓋骨が音をどのように変化させるかを模倣するデジタルフィルターに通しました。このプロセスにより、空気が運ぶものの、骨がフィルタリングしてしまう高周波の詳細を効果的に取り除き、もし音が頭蓋骨を通じて録音されたとしたらどのようなものになったかという合成バージョンを作成しました。その結果、120個の実在する空気伝導の母音と、120個の合成された骨伝導の母音からなる、同じ話者と同じ12種類の母音に完璧に一致したペアのデータセットが得られました。

研究者たちはその後、この膨大なコレクションを構造化されたライブラリへと整理し、他の科学者が自身の理論をテストできるよう、データの処理段階ごとに分類しました。彼らは、生の録音、トリミング済みのバージョン、およびコンピュータでシミュレートされた骨の音を提供し、それぞれに話者の性別や特定の母音に関する詳細なラベルを付与しました。シミュレーションが正確であることを証明するために、彼らは実在する空気の音の数学的特性を合成された骨の音と比較しました。その結果、合成された骨の音は予想通りに機能していることが分かりました。つまり、空気の音とは異なる、より広い周波数範囲と、空気の音と区別するための特定の数学的署名を示したのです。これにより、彼らのコンピュータモデルが、骨伝導による音声の独特な音響プロファイルを正常に再現したことが確認されました。

このデータセットは現在、世界の研究コミュニティが利用できるようになっています。これは、音声認識システムがノイズにどの程度対処できるかをテストするためのユニークな機会を提供します。空気伝導による音声は背景ノイズによって容易に損なわれますが、骨伝導による音声はそうではないため、研究者はこのペアのデータを使用して、混雑した通りや満員の部屋のような混沌とした環境において、二つの間を切り替えたり、両方を組み合わせて音声を理解したりするシステムを構築することができます。チームはまた、これらの音を生成するために使用したコンピュータコードも公開しており、他の人々がその手法を検証したり、同様の手法を他の言語に適用したりすることを可能にしています。ベンガル語の母音を空気と骨の両方の側面から包括的に提示することで、この研究は、静かなスタジオ内だけでなく、あらゆる場所で信頼性を持って機能する、より堅牢でノイズに強い音声技術への扉を開いています。