ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

技術要約：3D SELDのための専門家チーム（ToS）アンサンブル・フレームワーク

問題定義
本論文は、ビデオにおける音響イベントの定位および検出（3D SELD）を取り扱う。このマルチモーダルなタスクは、定義された集合の中から活動中の音響イベントを特定し、その時間的な活動を追跡し、かつそれらの空間座標（到着方向 - DOA、および距離）を推定することを同時に要求する。対象となるのは、DCASE2025 Task 3 Stereo SELDであり、これは正面視点のビデオとステレオオーディオを利用する。このセットアップは、従来の形式（FOA/MICおよび360°ビデオ）を主流のメディア形式に置き換えたものであるが、方位角のみのDOA推定（[-90°, 90°]内）や、オンスクリーン（画面内）かオフスクリーン（画面外）かの活動を予測する必要性といった制約を導入している。核心となる困難さは、空間的な手がかり（定位）、時間的なパターン（活動追跡）、および意味論的な理解（音響分類）という3つの異なる次元を同時に統合的な推論を行うことにある。単一のモデルでは、これら3つの次元を同時に効果的に統合することに苦慮する場合が多い。

手法：専門家チーム（ToS）
著者らは、タスクを3つの補完的なサブネットワークへと分解することで、多次元的な複雑性を克服するように設計されたアンサンブル・フレームワークである「Team of Specialists (ToS)」を提案する。各サブネットワークは、同じ3D SELDタスクに対して訓練されているが、異なる次元のペアに焦点を当てるよう最適化された、専用のオーディオ・ビジュアル・モデルである。

1. アーキテクチャの基礎:

   • 視覚ブランチ: 空間解像度を低下させるResNet50（グローバル平均プーリングを使用）を用いた従来の研究とは異なり、ToSは言語に整合した視覚エンコーダであるOWL-ViTを採用している。OWL-ViTは、きめ細かなグリッド状の視覚埋め込みを生成する。
   • オーディオブランチ: モデルはログメルスペクトログラムと空間的特徴を利用する。ステレオオーディオの場合、主要な空間的特徴は、左右チャンネルの短時間フーリエ変換（STFT）から算出される相互チャンネルレベル差（ILD）である。
   • 融合メカニズム: モデルは、異なるモダリティからの埋め込みを融合するために**Cross-Modal Conformer (CMC)**を使用し、標準的なConformerアーキテクチャを汎用的なモダリティ間のクロスアテンション用に適応させている。

2. 3つの専門家:

   • 空間・言語的専門家 (Spatio-Linguistic Specialist): 空間および意味の次元に焦点を当てる。ResNet-Conformer SELDエンコーダを、CMCを介してCLAP（言語に整合したオーディオエンコーダ）と統合する。視覚ブランチは、空間的および意味的な豊かさを保持するために、時間平均プーリングを用いたOWL-ViTを使用する。このモデルは、意味論的な理解と定位を優先する。
   • 空間・時間的専門家 (Spatio-Temporal Specialist): 空間および時間の次元に焦点を当てる。意味論的な推論を抑制するため、CLAPエンコーダと初期のCMCを省略する。視覚ブランチは、時間経過に伴う空間構造を保持するために、OWL-ViTの埋め込みをフレームごとに抽出し、チャンネル次元にわたってプーリングを行う。オーディオブランチは、SELD特有の特徴（スペクトログラムとILD）を使用して、音響イベントをDOAに関連付ける。
   • 時間・言語的専門家 (Tempo-Linguistic Specialist): 時間および意味の次元に焦点を当てる。Spatio-Linguisticのアーキテクチャを反映しているが、SELDエンコーダの入力から明示的な空間的特徴（ILD）を省略しており、スペクトログラム内の暗黙的な方向の手がかりに依存する。視覚ブランチは、OWL-ViTを用いてフレームを独立して処理し、意味的な表現の時系列シーケンスを得るために空間次元にわたって埋め込みを平均化する。

3. アンサンブル戦略:
   最終的な予測は、多数決メカニズムを介して生成される。特定のタイムフレームにおいて、少なくとも2つの専門家によって検出され、かつそれらのDOA予測が20°の角度閾値内に収まっている場合にのみ、音響イベントが活動中であるとみなされる。最終的なDOAと距離は、寄与した専門家の推定値の平均として計算される。オン/オフスクリーンの活動については、いずれか一つの専門家による正の予測があれば、そのイベントをオンスクリーンと分類するのに十分である。

主な貢献

1. フレームワークの提案: 空間、時間、および言語的な知識を統一された理解システムへと統合するために、特化したオーディオ・ビジュアル・サブネットワークを組み合わせる、Team-of-Specialists (ToS) フレームワークの導入。
2. ベンチマーキング: ステレオオーディオと正面ビデオを用いたDCASE2025 Task 3 Stereo SELD開発セットにおける、個々の専門家およびフルToSアンサンブルの両方の評価。
3. 性能の実証: 既存のSOTA（最先端）手法およびリファレンス・ベースラインに対する大幅な性能向上を示す実証的エビデンス。

実験結果
フレームワークは、F1スコア（$F_{\le20^\circ/1}$）、オン/オフスクリーンF1（$F_{\le20^\circ/1/on}$）、到着方向誤差（DOAE）、相対距離誤差（RDE）、およびオン/オフ精度を含む指標を用いて、DCASE2025 Task 3 開発セット（30,000クリップ）で評価された。

• 個別の性能: Spatio-Linguistic Specialistが最も優れた性能を示す個別モデル（F1: 36.9%）となり、このタスクにおいては意味論的な理解と空間的な定位が最も重要な次元であることが示唆された。Spatio-TemporalおよびTempo-Linguisticの専門家は、特定の指標においてやや低い性能を示し、これは第三の次元への注力が減少していることを反映している。
• アンサンブル性能: フルToSアンサンブルは、F1スコア40.2%、およびオン/オフスクリーンF130.7%を達成した。これは、最も優れた個別専門家と比較して3.3ポイントの向上（12%の相対的増加）である。
• SOTAとの比較: ToSは、AV-Conf、MVANet、および著者らの以前の研究（Berghi [10]）を含む既存のオーディオ・ビジュアル・モデルを上回った。具体的には、ToSは前回の最高値（Berghi [10]）よりも5ポイント近く高いF1スコアを達成し、最も低いDOAE（16.7°）を記録した。
• トレードオフ: 著者らは、この性能向上には、3つの独立したモデルの集計による計算オーバーヘッドの増加が伴うことを指摘している。

意義と主張
本論文は、単一のアーキテクチャに過度な負荷をかけるのではなく、モジュール化されたアンサンブルベースのアプローチを活用することで、ToSフレームワークが意味、空間、および時間の次元にわたる共同推論の課題を効果的に解決できると主張している。結果は、専門化されたネットワークを組み合わせることで、モノリシック（単一構造）なモデルよりも堅牢で正確なSELD予測が可能になることを示している。

著者らは、現在の結果は概念実証（プルーフ・オブ・コンセプト）としての役割を果たすものであるとし、将来の研究について控えめな姿勢を維持している。彼らは、適切なタスク、訓練、および事前学習のカリキュラムによって専門家を強化することや、専門家同士の補完性を最大限に活用するために専門家の事前学習を調査することによって、さらなる改善が可能であると示唆している。本研究は、EPSRC-BBC Prosperity Partnership 'AI4ME' の資金提供を受けている。