A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

想像してみてください。十数種類の異なる楽器が同時に演奏されている、混み合った部屋に足を踏み入れたところを。人間の耳には、その結果は一つの、絡まり合った音の壁として聞こえます。もし、その騒音を単一のマイクで録音したとしたら、その録音にはあらゆる音符、あらゆるリズム、そしてあらゆる楽器が混ざり合い、区別がつかない一つの流れとなって含まれることになります。何十年もの間、科学者たちは特定の課題に取り組んできました。それは、その単一の、乱雑な録音から、どのようにして個々の楽器を取り出し、バイオリンをドラムから、あるいはピアノをフルートから分離するかという問題です。しかも、それらの楽器を単独で聴いたことが一度もない状態で。これが「音源分離」の問題です。コンピュータは、パフォーマンスのビデオを見ることができる場合にはこの作業が非常に上手くなっていますが、既存の多くの手法は、新しい楽器や珍しい楽器に適応させることが難しい、複雑な「オールインワン」のシステムに依存しています。

イランのヤズド大学の研究チームは、現実世界のビデオ、特に伝統的なペルシャ音楽の楽器が登場するビデオをより適切に扱うために、問題を二つの明確なステップに分解するという、異なるアプローチを提案しました。彼らの研究は、まずビデオを「見て」、どの楽器が存在し、どこに位置しているかを特定し、次にその視覚情報を使用して音の分離プロセスをガイドすることに焦点を当てています。視覚的なパズルと音声のパズルを一つの巨大な脳で同時に解決しようとする代わりに、彼らの手法は、専用の視覚検出器を用いて、別の音声プロセッサに対して「何を聴くべきか」を正確に伝える仕組みを採用しています。このモジュール式の設計により、システムはより柔軟かつ効果的になり、標準的な学習データには滅多に登場しない楽器に対しても威力を発揮します。

研究者たちはまず、画像内の物体を迅速かつ正確に認識するために設計されたYOLOv8として知られるモデルを使用して、視覚的な検出システムを構築することから始めました。彼らは、ギターやピアノといった国際的な定番楽器と、ダフ、カマンチェ、サントゥールといった伝統的なペルシャ楽器を組み合わせた、12種類の異なる楽器が登場する注釈付き画像358枚のコレクションを用いて、このモデルを訓練しました。目標は、コンピュータにビデオフレーム内のこれらの楽器を見つけ出し、その周囲にボックスを描いて名前を付けることを教えることでした。データセットが比較的小さかったため、チームは「転移学習」と呼ばれる手法を用いました。これは、膨大な一般的な物体のライブラリで訓練されたモデルを、これらの特定の音楽ツールに合わせて微調整することを可能にする技術です。新しいビデオフレームでテストした際、システムは75.1パーセントの精度で楽器を特定することに成功しました。これは、システムが特定の楽器を見ていると言ったとき、その多くが正しかったことを意味します。また、シーン内に実際に存在するすべての楽器の約59パーセントを見つけることもできました。

視覚システムがどの楽器が演奏されているかを特定すると、プロセスの第二段階が始まります。研究者たちは、12種類の楽器それぞれに対して、個別の音声処理ネットワークを開発しました。つまり、もし視覚検出器がギターとドラムを検知した場合、システムはそれらをゼロから推測して分離しようとはしません。代わりに、「ギター」用のネットワークと「ドラム」用のネットワークをそれぞれ起動させるのです。これらの各ネットワークは、時間の経過に伴う音の周波数の視覚的なマップである「スペクトログラム」へと変換された、混合音声の録音を解析するように設計されています。ネットワークの役割は、特定の楽器に属する部分を強調し、それ以外の部分を消音する、デジタルフィルター、すなわち「マスク」を作成することです。

研究者たちは、420個の実世界のビデオクリップを用いて、この二段階のシステムをテストしました。視覚的な検出を利用して音声の分離をガイドすることで、システムが異なる楽器の音を効果的に分離できることを発見しました。平均して分離の質は高く、システムはターゲットとなる音と背景ノイズとの間に明確な区別ができることを示すスコアを達成しました。クラリネットやギターのような一部の楽器については、分離は非常にクリアでしたが、より複雑な周波数や重なり合う周波数を持つ他の楽器については、より大きな課題を提示しました。研究では、彼らの手法を他の高度な技術と比較し、彼らのアプローチが他の楽器からの干渉を減らす上で優れた結果を生み出し、平均8.75デシベルの分離品質スコアを達成したことを明らかにしました。

この研究の重要な発見は、視覚情報が強力なガイドとして機能し、音声システムの可能性を絞り込むということです。シーン内にどの楽器がいるのかを正確に知ることで、システムはあらゆる音の組み合わせを推測したり探索したりする必要がなくなります。これは、グローバルなデータセットにおいて過小評価されがちであり、標準的なモデルでは認識が困難なペルシャの楽器にとって、特に価値があります。この研究は、視覚的検出と音声分離が、連携しながらも独立して機能するモジュール式システムが、複雑な音楽パフォーマンスを解きほぐすための実用的かつ効果的な方法であることを示しています。現在のシステムは、各楽器タイプごとに個別のモデルを必要とし、まだ見たことのない全く新しい楽器を分離するように学習することはできませんが、その結果は、機械が現実世界で音を理解し、孤立させる方法を向上させるための明確な道筋を示しています。