Device Invariance using Domain Adaptation on Acoustic Scene Classification

あなたはロボットに、世界の音を認識する方法を教えていると想像してください。あなたは、ロボットに賑やかな街路、静かな公園、そして騒がしい地下鉄の駅の違いを理解させたいと考えています。この分野は「音響シーン分類（Acoustic Scene Classification）」と呼ばれます。長い間、科学者たちは、ロボットにこれらの音を教えるために、ディープラーニング（例示を通じて学習するコンピュータシステム）を使用してきました。彼らはこの仕事のために、主に2種類の「脳」を使用しています。一つは、音を画像のように捉えるもの（CNN、または畳み込みニューラルネットワーク）、もう一つは、一度に物語全体に注意を払うもの（トランスフォーマー）です。

しかし、厄介な問題があります。もしあなたが、研究室の高精度なマイクロフォンを使ってロボットを教育した場合、そのロボットを外に連れ出し、安価なスマートフォンのマイクを使用すると、混乱してしまうかもしれません。音自体は同じ「シーン」ですが、録音デバイスによって音の「風味」が変わってしまうのです。これは「ドメインシフト（domain shift）」と呼ばれます。それは、晴れた日にセダンで運転することを教わった人に、吹雪の中でトラックを完璧に運転することを期待するようなものです。これを解決するために、科学者たちは「ドメイン適応（Domain Adaptation）」という、ロボットがマイクロフォンの違いを無視して、実際のシーンだけに集中できるように設計された一連の技術を使用しています。しかし、ここで大きな疑問が生じます。同じ修正方法は、あらゆるタイプのロボットの脳に対して機能するのでしょうか？

IIT Mandiの研究者たちによって書かれたこの論文は、まさにその疑問を掘り下げています。彼らは、どの組み合わせが最適であるかを見るために、2つの人気のある「修正」手法を異なるロボットの脳に対してテストしました。彼らは、一方の手法は信頼できる万能選手である一方で、もう一方は特定の種類の脳にしか作用しない「偏食家」であることを発見しました。

セットアップ：多くのマイクロフォンを備えた防音室

彼らのアイデアをテストするために、著者らはDCASE 2020データセットと呼ばれる膨大な音響録音コレクションを使用しました。バス、メトロステーション、公園など、10種類の異なるタイプのシーンを含む巨大なオーディオクリップのライブラリを想像してください。研究者らは、録音に使用されたデバイスに基づいて、これらの録音を分割しました。彼らには「実在する」デバイス（実際のマイクロフォンなど）と、「シミュレートされた」デバイス（コンピュータ生成されたマイクロフォンのバージョン）がありました。

彼らはある課題を設定しました。デバイスA（ソース）からの録音のみを使用してロボットを訓練します。次に、そのロボットをデバイスB、C、S1、S2、およびS3（ターゲット）の録音でテストします。ロボットはこれらの他のデバイスについて一度も訓練されていないため、これは訓練条件とテスト条件が一致しない現実世界のシナリオを表しています。

彼らは3つの異なる「脳」（特徴抽出器）をテストしました。

1. PaSST: 最新のトランスフォーマーベースのモデル（洗練された、グローバルな思考者と考えてください）。
2. DcaseNet: 多様な音のタスクで訓練されたCNNベースのモデル（経験豊富なエキスパート）。
3. Custom CNN: ゼロから構築されたシンプルな2層のCNN（初心者レベルの学生）。

2つの「修正」手法

研究者らは、ロボットが汎化するのを助けるために、2つの特定のドメイン適応技術を試しました。

1. DANN (Domain Adversarial Neural Network): 「かくれんぼ」のゲームを想像してください。ロボットは、ソースデバイスとターゲットデバイスの間で非常に似通った音の特徴を作り出し、「探偵」（ドメイン識別器）がそれらを区別できないようにしようとします。目標は、特徴を「デバイスに依存しない（device-agnostic）」ものにすることです。
2. CDAN (Conditional Domain Adversarial Network): これは、より高度なバージョンのゲームです。単にデバイスの種類を隠すだけでなく、ロボットは自身の「推測」についても隠さなければなりません。ロボットは、音の特徴とロボットの予測されたラベルの両方に基づいて、探偵が違いを判別できないようにしようとします。

結果：万能薬は存在しない

実験は、驚くべき、かつ具体的な結果を明らかにしました。

万能選手：DANN
DANN手法は、信頼できるヒーローでした。それは全体的にうまく機能しました。

• Custom CNN（初心者）の場合、DANNは精度を大幅に向上させました。例えば、デバイスAからデバイスBへ移動する場合、精度は低い0.243から0.386へと跳ね上がりました。
• DcaseNetの場合も同様に効果があり、同じシナリオにおいて精度を0.58から0.711へと向上させました。
• 高度なPaSSTトランスフォーマーに対しても、DANNは堅実なリフトを提供し、平均して約8.5%精度を向上させました。

偏食家：CDAN
しかし、CDANははるかに選択的でした。

• CNNベースのモデルに対しては素晴らしく機能しました。Custom CNNの場合、精度は0.243から0.33へと向上しました（また、デバイスCのような他のシナリオでは、0.246から0.48へと上昇しました）。
• しかし、このCDANをPaSSTトランスフォーマーに使用しようとしたところ、完全に失敗しました。モデルは収束（学習を完了すること）さえできませんでした。著者らは、トランスフォーマーの特徴があまりにも動的でグローバルであったため、CDANのゲームにおける「探偵」が混乱し、トレーニングが崩壊したと述べています。

「なぜ」：2つの脳の物語

なぜCDANはトランスフォーマーで失敗したのでしょうか？著者らは、それが情報の処理方法の違いに起因すると示唆しています。

• CNNs（Custom CNNやDcaseNetのような）は、局所的な詳細に焦点を当て、「ガウス的な性質（Gaussian nature）」（データの滑らかで予測可能な広がり）を持っています。これにより、CDANがロボットの予測に基づいてトレーニングを条件付ける際にも安定します。
• Transformers（PaSSTのような）は、「グローバルな帰納バイアス（global inductive bias）」を持って、一度に全体像を見渡します。彼らの特徴はより動的で多様です。CDANがロボットの予測を使用してトレーニングを導こうとしたとき、トランスフォーマーの予測はあまりにも激しすぎたため、システムが崩壊してしまったのです。

まとめ

この研究からの主な教訓は、ドメイン適応ツールを手に取って、それをどんなディープラーニングモデルにも盲目的に適用してよいわけではない、ということです。論文は、DANNは堅牢で汎用的なツールであり、単純なCNNでも複雑なトランスフォーマーでもうまく機能することを示唆しています。しかし、CDANは専門的なツールであり、CNNには輝かしい成果をもたらしますが、トランスフォーマーにとっては災難となる可能性があります。

音響シーン分類の世界において、もしあなたがトランスフォーマーベースのモデルを使用しているなら、DANNに固執するのが安全な選択です。もしCNNを使用しているなら、CDANによってさらに良い結果が得られるかもしれません。研究者たちは、適切なツールが常に適切な仕事に対して選ばれるようにするために、今後の研究では、これらの特徴の統計的特性をより深く掘り下げ、なぜこれらの手法がこれほどまでに異なる挙動を示すのかを解明する必要があると結論付けています。