Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

あなたは、3人が同時に話し、背後で強力なエアコンが唸りを上げている、騒々しく反響の大きい部屋にいると想像してみてください。あなたには、特定のひとつの声だけを録音しようと試みるマイクのチームがあります。これは「ロボットのオーディション」や補聴器における日常的な苦闘です。つまり、ノイズや他の声が混ざり合った混沌とした状況から、どうやって単一の声を分離するのかという問題です。これを行うために、コンピュータは部屋の「音響指紋」――音がどのように壁に跳ね返り、話し手からマイクへと伝わるか――を理解する必要があります。科学者たちはこれを「伝達関数」と呼んでいます。しかし、複数の人が同時に話している場合、その数学的計算は非常に複雑になります。この混沌に対処するために、「相対伝達行列（Relative Transfer Matrix: ReTM）」と呼ばれる、より強力で新しいツールが発明されました。ReTMを、誰が話しているかにかかわらず、2つの異なるマイクロフォン・グループ間で音がどのように移動するかをコンピュータに正確に伝える「マスターマップ」だと考えてください。もし、このマップを正確に推定できれば、ノイズの多い録音をきれいにし、ロボットの聴覚を向上させ、テレビ会議の音質を極めてクリアにすることができます。

本論文は、「ディープラーニング」と呼ばれる特殊な知能を用いて、コンピュータにそのマップを描く方法を教えることについて述べています。複雑なノイズに苦戦する従来の数学公式を用いる代わりに、著者らは3種類の異なる人工ニューラルネットワークを訓練し、マイクの録音データを見てReTMマップを推測させました。彼らは、特定の寸法（6 × 7 × 3 メートル）と500ミリ秒の残響時間を備えたシミュレーション上の部屋を用い、2つまたは3つの音源（ホワイトノイズ、音楽、音声など）と最大12本のマイクを用いたシナリオで、これらのデジタル脳をテストしました。

研究者たちは、彼らの新しい手法が、従来の共分散ベースの手法よりも、このマップの推定において概して優れていることを見出しました。彼らは、信号対歪み比（SDR）や平均二乗誤差（MSE）を含む5つの異なる指標を用いて成功を測定しました。「FuSNet」と呼ばれる、特定のタイプのフィルタを使用するモデルは、ノイズが均一な場合（ホワイトノイズなど）に最も優れた性能を発揮し、あるテストでは29.13 dBのSDRを達成しました。また、周波数ベースのアプローチを用いる「SCoNet」も非常に優れた成績を収め、しばしば従来の手法を上回りました。しかし、論文では一つのひねりが指摘されています。すなわち、FuSNetはマップを「推定」することにおいてはチャンピオンでしたが、それが最終目標である音声のクリーニング（除去）に完璧に結びつくわけではなかったということです。チームが実際にこれらのマップを使用して音声からノイズを除去しようとした際、FuSNetの結果は低下し、かなりのエコーが残ってしまいました。対照的に、LSTMベースのネットワークである「LAeNet」は、最も高い音声明瞭度を達成し、テストにおいてSDRを平均10.55 dB向上させました。

著者らは、これらの結果が実地テストではなく、シミュレーションによるものであることを慎重に指摘しています。彼らは、ディープラーニングが、特に時間領域において優れた精度を提供できることを示し、従来の手法こそが唯一の道であるという考えに対して明確に異を唱えています。しかし同時に、最高のマップ推定器が自動的に最高の音声クリーナーになるわけではないという考えについても、否定しています。つまり、「最高」のモデルは特定のタスクによって異なります。論文は、これらのディープラーニングのフレームワークはオーディオ処理の未来に向けた有望なツールであるが、話者の分離やエコーの完全な除去といった実生活のアプリケーションに向けて完璧にするには、まだやるべきことが残されていると結論付けています。