技術要約: PhaseCoder

問題提起

現在のマルチモーダル大規模言語モデル（LLM）は、通常オーディオをモノラルストリームとして処理するため、現実世界の音に内在する豊かな空間情報に対して「音響盲（audio-blind）」の状態にあります。空間認識は、エンボディドAI（例：ロボティクス、次世代アシスタント）にとって極めて重要ですが、既存の空間オーディオモデルは固定されたマイクロホン幾何学に制約されています。これにより、新しいデバイス構成ごとに個別のエンコーダを訓練する必要が生じ、LLMの汎用化の利点を空間オーディオに適用することを妨げています。逆に、アンビソニックスのようなマイクロホンに依存しない表現は、消費者向けデバイスには見られない特殊で嵩張るハードウェアを必要とします。任意のマイクロホンアレイからの生マルチチャネルオーディオを操作でき、複雑な推論タスクのためにLLMとシームレスに統合できる、ユニバーサルな空間オーディオエンコーダが不足しています。

手法

著者らは、マイクロホンの幾何学に対して本質的に非依存な、トランスフォーマーのみを用いた空間オーディオエンコーダであるPhaseCoderを提案しています。このシステムは、主に2つの段階で動作します。

1. PhaseCoder エンコーダ・アーキテクチャ

• 入力処理: モデルは、生のマルチチャネルオーディオと、アレイ内の各マイクロホンのデカルト座標を受け取ります。振幅および位相情報を抽出するために、250 msのウィンドウ（33フレーム）に対して短時間フーリエ変換（STFT）を計算します。
• 埋め込み生成: 各マイクロホンおよび各タイムフレームに対して、パッチ埋め込みが作成されます。これらはシーケンスへとフラット化されます。
• 位置埋め込み: 変動するマイクロホン数と幾何学を扱うため、3種類の位置埋め込みが加算されます：
  1. 逐次的（Sequential）: フラット化されたシーケンスの位置に対する標準的な1次元正弦波埋め込み。
  2. フレーム（Frame）: タイムフレームのインデックスに基づく正弦波埋め込み。
  3. マイクロホン位置（Microphone Positional）: GI-DOAEnetから適応した、位相変調を用いたマイクロホン座標（アレイの重心に対する球面座標に変換したもの）に基づく埋め込み。
• バックボーン: トランスフォーマーエンコーダ（5ブロック、6Mパラメータ）がシーケンスを処理します。学習可能な [CLS] トークンが空間情報を集約します。
• 出力ヘッド: [CLS] トークンはMLPを通過し、LLM統合のための「空間オーディオトークン（ソフト埋め込み）」を生成します。さらに、3つの独立した分類ヘッドが、方位（azimuth）、仰角（elevation）、および**距離（distance）**の離散ビンを予測します。

2. 学習戦略

• 教師あり学習: エンコーダは、LibriSpeechデータセットをシミュレーションされた部屋インパルス応答（RIR）と畳み込みさせた、純粋に合成されたデータを用いて訓練されます。このデータセットは、ランダムなマイクロホン幾何学（3〜8個のマイクロホン）、変化する部屋の寸法、およびノイズ拡張を特徴としています。
• カリキュラム学習: 2段階の戦略が採用されています：
  1. クリーンでノイズのない音声での訓練。
  2. 妨害音および変化する信号対雑音比（SNR）を用いたファインチューニング。
• LLM統合: 著者らは Gemma 3n（4Bパラメータ）のLLMをファインチューニングしています。学習可能なプロジェクション層が、PhaseCoderの256次元の空間トークンを、LLMの2048次元の埋め込み空間へとマッピングします。これらの空間トークンは、標準的なモノラルオーディオトークンシーケンスに付加され、特殊トークン（[BSA]、[ESA]）によってフレーム化されます。
• LLMファインチューニング・タスク: LLMは、カリキュラムアプローチを用いて以下の4つのタスクで訓練されます：
  1. 音源定位（Source Localization）: 検出された話者の座標を出力する。
  2. 空間推論（Spatial Reasoning）: 空間的関係に関する二値（Yes/No）の質問に答える。
  3. 空間転写（Spatial Transcription）: 位置データを提供しながら音声を書き起こす。
  4. ターゲット転写（Targeted Transcription）: 特定の空間方向（例：「左側の話者」）からの音声のみを書き起こす。

主な貢献

1. PhaseCoder エンコーダ: マイクロホン不変のローカリゼーションにおいて最先端（SOTA）の性能を達成する、新しいトランスフォーマーのみのエンコーダ。これは、デバイス固有のビームフォーマーやハードウェアを必要とせず、生のオーディオと座標を処理します。
2. 空間オーディオトークン: エンコーダが、ダウンストリームのLLMタスクに適した、幾何学に依存しない堅牢な表現（「空間オーディオトークン」）を生成することを実証しました。
3. LLM統合: 空間トークンを用いてLLM（Gemma 3n）をファインチューニングし、ターゲット転写や空間推論といった複雑なタスクを可能にする、最初のデモンストレーションです。

結果

• ローカリゼーション・ベンチマーク: 実世界のデータセット（RSL2019およびLOCATA）において、PhaseCoder-6Mは、困難なLOCATAデータセットにおいてSOTAのマイクロホン不変モデルであるGI-DOAEnet（86.96% Acc@10 vs. 82.48%）を上回りました。GI-DOAEnetはRSL2019においてわずかに優れた性能を示しましたが（これはPhaseCoderの10度分類解像度に対し、GI-DOAEnetが1度の回帰であることに起因します）、PhaseCoderはより豊かなマルチタスク表現（距離と仰角）を提供します。
• マイクロホン・スケーリング: マイクロホンの数が3個から8個に増加するにつれて性能が大幅に向上し、方位の平均絶対誤差（MAE）は80.24°から3.03°へと低下しました。
• LLMの性能: 空間トークンを用いてGemmaをファインチューニングすることで、空間推論（Yes/No質問における精度が約48%から約76%へ向上）およびターゲット転写において、ベースライン（ゼロショットのGemmaおよびGemini 3 Flashを含む）と比較して大幅な改善が得られました。空間トークンは効果的な「ダイアリゼーション・プロンプト」として機能し、マルチスピーカーシナリオにおける単語誤り率（WER）を減少させます。
• 効率性: PhaseCoderは、純粋なトランスフォーマー・アーキテクチャに起因して、GI-DOAEnetやSpatial-ASTのようなハイブリッドモデルと比較して、優れたメモリ効率と推論速度を示しています。

重要性と主張

本論文は、ユニバーサルな空間オーディオ符号化とLLMの理解との間の溝を埋めることを主張しています。任意のマイクロホンアレイから「空間オーディオトークン」を処理できるようにすることで、PhaseCoderは、ハードウェア固有の制約なしに、エンボディドAIエージェントが音響環境を知覚し、推論することを可能にします。著者らは、このアプローチが以下の新たな道を切り開くと主張しています：

• アクセシビリティ: ノイズの多い環境で特定の話し手を分離することにより、聴覚障害者のための支援デバイスを強化すること（「カクテルパーティー効果」）。
• ハードウェア非依存性: デバイス固有のエンコーダを再訓練することなく、多様なデバイス（レガシーな電話からカスタムロボティクスまで）にわたるユニバーサルな空間理解を可能にすること。
• エンボディド・インテリジェンス: AIアシスタントに、音を通じて物理的な周囲環境をローカライズし、推論する能力を提供すること。これは、自然な人間とロボットの相互作用への重要なステップです。

著者らは、制限事項についても述べています。これには、全指向性マイクロホンの仮定（デバイスのバッフル効果を無視していること）や、現在の焦点がフルな音響イベントローカリゼーションおよび検出（SELD）ではなく、単一の支配的な音声ソースに置かれていることが含まれます。彼らは、距離の曖昧さを解決するために、視覚的な深度推定を統合することを将来の課題として挙げています。