Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

技術要約：クリーン参照型特徴量ボコーダー・アドバーサリアル攻撃（Clean-Referenced Feature-Vocoder Adversarial Attacks）

問題提起
Whisperのような大規模な基盤モデルを含む自動音声認識（ASR）システムは、実世界のアプリケーションへの導入が進んでいる一方で、アドバーサリアル攻撃に対して脆弱なままです。既存のアドバーサリアル攻撃は、通常、生の入力波形に対して直接、知覚不可能な微小な摂動を加えることで機能します。著者らは、この波形中心のアプローチにおける2つの決定的な限界を指摘しています：

1. ブラックボックス転移性の限定性： 波形への摂動は、代理モデルの特定の勾配に過学習しやすく、未知のターゲットASRシステムへの汎化に失敗することが多い。
2. 防御策への脆弱性： アドバーサルの信号が加算的な波形ノイズとして明示的に表現されているため、敵対的学習や入力前処理（例：ローパスフィルタリング、WaveGuard）といった、入力空間の摂動に対処する防御策によって容易に軽減されてしまう。

手法：クリーン参照型特徴量ボコーダー攻撃
本論文は、アドバーサルの探索空間を生の波形から自己教師あり学習（SSL）の特徴量表現へとシフトさせる、代理モデルベースのブラックボックス攻撃を提案しています。コアとなるパイプラインは、以下の3つのステージで構成されます：

1. 特徴量抽出： 固定されたSSLエンコーダ（例：WavLM-Large）が、クリーンな音声入力からフレームレベルの音響・音素表現（$q$）を抽出する。
2. 特徴量空間における摂動： 波形を修正する代わりに、この手法はSSL特徴空間内で直接、学習可能な摂動（$\delta$）を最適化する。摂動された特徴量の軌跡は $z(\delta) = q + \delta$ と定義される。この摂動は、攻撃予算を制御するために、正規化された特徴量空間内の半径によって制約される。
3. ボコーダーによる再構成： 摂動された特徴量は、固定されたニューラルボコーダ（例：HiFi-GAN）を用いてアドバーサリアルな波形へと再構成される。最終的なアドバーサリアル音声は $x_{adv} = V(E(x) + \delta)$ として生成される。

最適化目的
この攻撃は、代理モデルにおける転記エラーを最大化しつつ、知覚的品質を維持するために、複合的な損失関数を最適化します：

• 攻撃損失（Attack Loss）： 代理ASRモデルにおける正解のトランスクリプトの負の対数尤度を最大化し、モデルに音声を誤認識させる。
• クリーン参照型知覚損失（Clean-Referenced Perceptual Loss）： ボコーダによって導入される時間的な不安定性や高周波アーティファクトを防ぐため、クリーンな音声を参照する正則化項を採用する。これには以下が含まれる：
  • 時間的ジッター・ペナルティ（Temporal Jitter Penalty）： 連続する特徴量フレーム間の分散を最小化する。
  • 高周波エネルギー・ペナルティ（High-Frequency Energy Penalty）： 生成された音声の高周波エネルギーをクリーンな参照音声と比較して制約し、摂動が不自然なスペクトル成分を導入しないようにする。

主な貢献

1. 新しい攻撃空間： 生の波形にノイズを加えるのではなく、SSL音声特徴量を摂動させることでアドバーサリアルな例を生成する、クリーン参照型特徴量ボコーダー攻撃空間の導入。
2. フレームワーク設計： アドバーサルの変化をSSL表現の中に埋め込み、固定されたボコーダを介してそれらを自然な響きの音声として再構成するフレームワーク。これにより、現在の防御策が前提としている「明示的な加算ノイズ」という仮定を回避する。
3. 実証的検証： このアプローチが、現在のASRの堅牢性評価における「盲点」を明らかにすることを実証する広範な実験。具体的には、波形境界の摂動に対して設計された防御策に対する有効性を示す。

実験結果
本手法は、英語（LibriSpeech）および中国語（AISHELL-1）のデータセットを用い、WhisperファミリーのモデルおよびCTCベースのアーキテクチャ（HuBERT、Wav2Vec2）に対して評価されました。

• 転移性： 代理モデルとしてWhisper-smallのみを用いて最適化を行った場合、ターゲットとなるブラックボックスモデルへの転移において、最先端（SOTA）のベースラインに対し**+26.6%のWER改善**を達成した。この効果は、異なるモデル容量（TinyからLargeまで）およびアーキテクチャ（Whisper対CTC）を横断して維持された。
• 防御策への耐性： 本手法は、敵対的学習による防御（例：CE-AT、DT-AT）および入力前処理による防御（例：LPF、WaveGuard）の両方に対し、ベースラインを大幅に上回る性能を示した。防御されたモデルにおいて、SOTAベースラインと比較して、英語で**+36.2%のWER改善**、中国語で**+31.3%のCER改善**を示した。
• 不可知性（Imperceptibility）： 人間による調査および客観的指標（DNS-MOS、NISQA、UTMOS）により、アドバーサリアル音声はクリーンな音声とほぼ区別がつかないことが確認された。人間による評価では、ペアとなったサンプルの86%が区別不能であると判断され、アドバーサリアル音声は人間にとって理解可能であった（人間の転記によるWERは5.47%）。
• 物理的実現可能性： 事前的なオーバー・ザ・エア（OTA）実験により、スマートフォンの再生および再録音を経た後でも、この攻撃が相当な有効性（WER 78.23%）を保持していることが示された。

意義と主張
本論文は、現在のASRの堅牢性評価における重大な盲点を明らかにしていると主張している。アドバーサリアル・プレフィックスや加算的な波形ノイズに対する堅牢性は、ASRシステムの実際のセキュリティを過大評価している可能性があると論じている。攻撃ベクトルを特徴量空間へと移動させ、再構成のためにボコーダを利用することで、著者らは、摂動が入力波形内に限定されていると想定する防御策を、アドバーサリアルな例が回避できることを示した。本研究は、将来の堅牢性評価において特徴量空間の摂動を考慮する必要があること、および現在の防御策は、単なる波形ノイズではなく音声生成のマニフォールド（多様体）を悪用する攻撃に対しては不十分であることを示唆している。