技術要約: SOUNDBREAK

問題の定義

音声、視覚、言語を統合したマルチモーダル基盤モデルは強力な推論能力を示しているが、敵対的な操作に対するその堅牢性は十分に理解されていない。先行研究では、視覚と言語の攻撃、単一モダリティの音声攻撃、およびマルチモーダルな協調攻撃について広く調査されてきたが、トリモーダル（音声・ビデオ・言語）モデルに対する非標的型の音声のみの敵対的攻撃に関する理解には大きな空白が存在する。

本研究で調査されている特定の脅威モデルは、マルチモーダル入力パイプライン内でオーディオチャネルのみを制御する攻撃者を想定している。攻撃者は、視覚的またはテキスト的な入力を変更することなく、モデルの推論性能を低下させることを目的とする。このシナリオは、音声操作が、侵害されたマイクロフォン、環境スピーカー、または伝送チャネルを介して展開される可能性があり、視覚的な摂動よりも検出が困難であるため、現実的であると考えられる。

メソドロジー

著者らは、マルチモーダルな失敗を誘発するために、（サンプルごとではなく学習データ全体にわたって学習される）共有オーディオ摂動を生成するための体系的なフレームワークであるSOUNDBREAKを提案する。攻撃は、クリーンな音声波形 $x_a$ に加法的な摂動 $\delta$ を注入して $\tilde{x}_a = x_a + \delta$ を生成するホワイトボックス最適化問題として定式化され、$\ell_\infty$ ノルム制約（$\|\delta\|_\infty \leq \epsilon$）に従う。

核心となる貢献は、マルチモーダル処理パイプラインの異なる段階を標的とする6つの補完的な敵対的目的関数の設計である：

1. 負の言語モデリング損失 ($L_{negLM}$): 正解の出力シーケンスの対数確率を最小化することで、正解に対するモデルの確信度を直接的に低下させる。
2. エンコーダーベースのコサイン類似度損失 ($L_{(cos)}$): 音声エンコーダーの表現空間を標的とし、クリーンな音声と摂動を加えた音声の埋め込み間のコサイン類似度を最小化することで、基礎的な音声特徴を破壊する。
3. 視覚アテンション抑制損失 ($L_{(visionatt)}$): 視覚トークンに割り当てられたアテンション質量を集計し、それを最小化することで、モデルを視覚的な証拠に対して実質的に「盲目」にする。
4. 音声アテンション増幅損失 ($L_{(audioatt)}$): 音声トークンに割り当てられたアテンション質量を集計し、それを最大化する（負の値を最小化する）ことで、モデルに摂動を加えた音声ストリームへの過度な依存を強いる。
5. アテンション無作為化損失 ($L_{(randatt)}$): 実際の注意分布と無作為化されたターゲットとの間のKLダイバージェンスを最小化することで、アテンションメカニズムの構造的完全性を破壊する。
6. 隠れ状態類似度損失 ($L_{(hidden-cos)}$): レイヤーを横断するトランスフォーマー内部の隠れ状態を標的とし、敵対的な表現をクリーンな表現から遠ざける。

結合損失（$L_{combined}$）の定式化も評価されており、これはこれら6つの目的関数すべてを共同で最適化するものである。最適化には、共有の摂動を学習するために学習データセット上で反復を行うProjected Gradient Descent (PGD) とAdamが用いられる。

主な貢献

1. 新しい脅威モデル: 本研究は、単一または二峰性の設定を超えて、トリモーダルな音声・ビデオ・言語モデルに対する非標的型、音声のみの攻撃を体系的に分析した初めての研究である。
2. マルチステージ攻撃目的: エンコーダー、アテンション、隠れ状態、および出力レベルの脆弱性を探る6つの異なる損失関数を提案し、どの計算コンポーネントが最も影響を受けやすいかを分離することを可能にした。
3. 体系的な評価: 3つの最先端モデル（VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni）と3つのベンチマーク（AVQA, AVSD, Music-AVQA）を用いた広範な実験、および音声認識システム（Whisper）への評価を実施した。

実験結果

本研究は、トリモーダルモデルの堅牢性に関するいくつかの重要な知見を明らかにしている：

• 高い攻撃成功率 (ASR): 音声のみの摂動は、深刻なマルチモーダルな失敗を引き起こすことができる。結合攻撃は、VideoLLAMA2を用いたAVQAベンチマークにおいて**96.03%のASRを達成した。エンコーダーベースのコサイン類似度損失（$L_{(cos)}$）単体でも89.12%**のASRを達成し、多くのケースで出力レベルやアテンションベースの目的関数を上回った。
• 低い知覚的歪み: 高度に効果的な攻撃は、最小限の知覚的歪みで実現可能である。成功した攻撃は、低いLPIPSスコア（例：$L_{(cos)}$ で $0.08$）と、ゼロに近い、あるいは正のSI-SNR値を維持しており、摂動がノイズではなく、微細かつ構造化されていることを示している。
• 最適化 vs データ規模: 攻撃の有効性は、データセットのサイズよりも、拡張された最適化イテレーションによって駆動される。より小さなデータセット（例：1,000サンプル）で訓練されたモデルであっても、多くのイテレーション（例：372k）で最適化された場合、より大きなデータセットで少ないイテレーションを行ったモデルよりも大幅に高いASRを達成した。
• 限定的な転移性:
  • モデル間: あるアーキテクチャ（例：VideoLLAMA2）で訓練された攻撃は、他のアーキテクチャ（例：Qwen 2.5/3 Omni）への転移性が低く、ASRは10%から3-4%に低下した。これは、攻撃がモデル固有の表現特性を利用していることを示唆している。
  • ドメイン間: 一般的な音響視覚データ（AVQA）で訓練された攻撃は、音楽ドメイン（Music-AVQA）への転移性が低く、ソースドメインでの89.07%に対し、わずか13.80%のASRであった。
  • アーキテクチャ間: エンコーダー空間の摂動は、異なる音声エンコーダーアーキテクチャ（例：BEATs 対 Whisperスタイルのエンコーダー）間で転移しなかった。
• 音声認識の脆弱性: トリモーダルモデルとは異 বিপরীতে、音声認識システム（Whisper）は、特定の攻撃目的関数ではなく、主に音響的歪みの大きさに反応した。高い歪みを誘発する攻撃（$L_{negLM}$ など）はWhisperにおいて>97%のASDRを達成したが、低歪みの攻撃は失敗した。
• レイヤー固有の脆弱性: 低層のトランスフォーマーレイヤー（1–10）が、音声駆動の攻撃において最も重要であることが特定された一方、高層レイヤーは一貫して低い脆弱性を示した。
• 確信度の安定性: 高いASRにもかかわらず、モデルは（誤った）敵対的な出力に対しても高い確信度を維持しており、確信度はクリーンな入力と同等のレベルであった。これは、敵対的な失敗がモデルの不確実性ではなく、内部の不整合から生じていることを示唆しており、確信度モニタリングによる検出を困難にしている。

意義と主張

本論文は、マルチモーダルシステムにおけるこれまで見過ごされていた単一モダリティの攻撃表面を露呈したと主張している。結果は、攻撃者が音声ストリームのみを制御することで、視覚的またはテキスト的な入力を変更することなく、マルチモーダルな推論を体系的に劣化させられることを示している。

著者らは、これらの知見がクロスモーダルの一貫性を強制する防御の必要性を動機付けるものであると強調している。現在のモデルは、システム全体に伝播して破滅的な推論失敗を引き起こす、微細で構造化された音声摂動に対して脆弱である。本研究は、複数のモダリティを統合しているからといって、単に堅牢であると仮定することはできないことを浮き彫りにしている。音声のエンコーディングおよびクロスモーダル・アテンションメカニズムにおける特定の脆弱性にアドレスする必要がある。

本研究は、これらの脆弱性を理解するための基礎的なステップとして提示されており、著者らは、ホワイトボックス設定への焦点、デジタルのみの摂動、および評価された防御の欠如といった限界を指摘しており、これらを今後の研究の方向性として示唆している。