技術要約: CAE-AV

問題提起

音響・視覚学習（AVL）は、可視コンテンツと音響ソースを共同でモデル化することを目指している。しかし、オープンワールドのビデオシナリオにおける重大な課題は、**音響・視覚的な不整合（audio-visual misalignment）**である。この不整合は、画面外の音源、背景のノイズ、カメラのカット（例：オーディオが継続している間に遠方のビューに切り替わる）、およびポストプロダクションによるサウンドトラック（例：バイオリンの映像に対してピアノの音声）から発生する。

凍結された事前学習済みバックボーン上で動作する既存のパラメータ効率の高い手法は、厳密なフレーム単位の整合性を前提としていることが多い。不整合が発生した場合、これらの手法は以下の傾向を示す：

1. 不一致なフレーム間でクロスモーダルな融合を強制することで、無関係な領域や瞬間を増幅させてしまう。
2. 推論プロセスにノイズを導入し、学習の不安定化や表現品質の低下を招く。
3. 強力な空間的フォーカス（整合している場合）と、時間的な集約（不整合の場合）を必要とするシナリオを区別できない。

手法

著者らは、凍結された事前学習済みバックボーン（視覚にはSwin Transformer、音声にはHTS-AT）に基づいたフレームワークであるCAE-AV（Caption-aligned and Agreement-guided Enhancement）を提案する。CAE-AVは、重いバックボーンのパラメータをアンフリーズすることなく、不整合を緩和するために2つの補完的なモジュールを導入している。

1. クロスモーダル合意に基づく時空間エンリッチメント（CASTE）

CASTEは、バックボーンの各層内で動作し、フレームレベルの合意に基づいて空間的関係と時間的関係のバランスを動的に調整する。

• 合意ゲート（Agreement Gate）: 視覚トークンとオーディオトークンのフレームレベルのプロトタイプを計算し、それらを共有セマンティック空間に投影する。コサイン類似度スコア（$g$）を計算して、合議性を測定する。
• バイアスメカニズム: 融合ベクトルは、単一モーダルの証拠、クロスモーダルな不一致、および共起する特徴を集約する。多層パーセプトロン（MLP）は、空間的エンリッチメント対時間的エンリッチメントの優先度を生成する。極めて重要な点として、合意スコア $g$ がこの決定をバイアスする。合意が高いフレームは空間的モデリングを優先し、合意が低いフレーム（不整合）は、時間軸にわたって証拠を集約するための時間的モデリングを優先する。
• エンリッチメント・モジュール:
  • 空間的エンリッチメント（Spatial Enrichment）: 分離可能なアテンション（MobileViTに着想を得たもの）を使用し、二次的なコストを回避しながら、線形計算量でフレーム内のトークンを再校正する。
  • 時間的エンリッチメント（Temporal Enrichment）: 時間軸に沿った深度方向の1次元畳み込みを適用し、ダイナミクスを平滑化し、ローカルな近傍情報を捉える。
• 選択的注入（Selective Injection）: Top-Kサリエンシーマスクが、エンリッチメントのための最も識別的なトークンを選択し、一様なノイズ注入を防ぐ。出力は、合意ゲートによって重み付けされた凸結合を介して結合される。

2. キャプション整合型サリエンシー誘導エンリッチメント（CASE）

CASEは、バックボーンの処理後に、高レベルのセマンティック・プライア（意味的事前知識）を利用して整合を導く。

• キャプション生成: 凍結されたマルチモーダル大規模言語モデル（MLLM）が、生の視覚フレームとオーディオ波形に対してテキストキャプションを生成する。これらのキャプションは、凍結されたCLIPテキストエンコーダによってエンコードされる。
• セマンティック・アンカリング: キャプションの特徴量は、バックボンのチャネル次元に一致するように投影される。
• 誘導された精緻化（Guided Refinement）: このモジュールは、クロスアテンションを使用して、キャプションのセマンティクスを視覚およびオーディオの特徴量に注入する。エンリッチされた特徴量とキャプション特徴量との間の合意を計算し、注入強度を決定する。
• 時間的統合（Temporal Consolidation）: 深度方向の分離可能な時間畳み込みが特徴量を平滑化し、遮蔽や視点の変化が発生した場合でも、音源領域への安定したフォーカスを確保する。

3. 学習目的

トークンの選択を導き、整合性を強化するために、CAE-AVは軽量な損失関数を採用している。

• Caption-to-Modality InfoNCE: 視覚/オーディオの特徴量を対応するキャプションに整合させるコントラスティブ損失。ビデオ内のネガティブサンプルを除外することで、イージーネガティブを防ぐ。
• 視覚・オーディオ一貫性（Visual-Audio Consistency）: 同一フレーム内のモーダル固有の表現間のコサイン距離を最小化する。
• エントロピー正則化: 拡散したトークン選択を避けるため、よりシャープなTop-K選択確率を促進する。

主な貢献

1. 新しいフレームワーク: 合意に基づく時空間バランス（CASTE）とキャプション整合型のセマンティック注入（CASE）という、2つの補完的な経路を通じて音響・視覚的な不整合に対処するCAE-AVの導入。
2. 動的な適応: 推定されたクロスモーダル合意に基づいて、空間的フォーカスと時間的フォーカスの切り替えを動的に行うCASTEモジュールの能力により、整合したシナリオと不整合なシナリオの両方を効果的に処理できる。
3. セマンティック・ガイダンス: 単なる潜在的な特徴量間の相互作用に頼るのではなく、明示的で解釈可能なセマンティック・アンカーとして、MLLM生成キャプションを利用し、クロスモーダル・アテンションのドリフトを修正する。
4. パラメータ効率: 重い事前学習済みバックボーンを凍結したまま、軽量なアダプタとエンリッチメント・モジュールのみを追加することで、最先端の性能を実現している。

実験結果

CAE-AVは、凍結されたSwin-V2-LおよびHTS-ATバックボーンを用いて、4つのダウンストリームタスクで評価された。

• 音響・視覚イベントローカリゼーション（AVE）: AVEテストセットにおいて**82.6%**の精度を達成し、同じバックボーン構成を持つ現在のSOTAであるAVMoEに匹敵した。
• 音響・視覚ビデオパース（AVVP）: LLPデータセットにおいて、オーディオタイプで1.7%、イベントレベルの指標で0.6%、AVMoEを上回った。
• 音響・視覚質問応答（AVQA）: MUSIC-AVQAにおいて平均精度**76.7%**を達成し、AVMoE（75.7%）および他のSOTA手法を上回った。
• 音響・視覚セグメンテーション（AVS）: AVSBenchにおいて、CAE-AVはAVMoEと比較して、Jaccard指数（MJ）をS4設定で**+0.8**、MS3設定で**+0.6**向上させた。

アブレーション研究により、CASTEは不整合シナリオにおける時間的推論とローカリゼーションを大幅に改善し、CASEはセマンティックなフォーカスと整合性を高めることが確認された。両方のモジュールを組み合わせることで、全タスクにおいて最高の成果が得られた。

定性的分析は、CAE-AVが以下のような複雑なシナリオを正常に処理できることを示した：

• カメラアングルが変化する場合のオブジェクトのセグメンテーション（例：芝刈り）。
• 複数の音源の区別（例：ピアノ vs バイオリン）。
• 音源が一時的に遮蔽されたり、画面外にいたりする場合のセグメンテーションの一貫性の維持。

重要性

本論文は、CAE-AVがオープンワールドのビデオにおける蔓延した問題である音響・視覚的不整合に対する堅牢なソリューションを提供すると主張している。重いバックボーンを適応プロセスから切り離し、不整合を検出し処理するための明示的なメカニズム（合意ゲートとセマンティックキャプションによる）を導入することで、本フレームワークは優れたパラメータ効率とともに最先端の性能を達成している。著者らは、大規模な事前学習済みモデルをアンフリーズする計算コストをかけることなく、アプローチが学習と推論を安定させることを強調しており、これはマルチタスクの音響・視覚アプリケーションにとって実用的なソリューションとなっている。