🤖 AI

Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions

本論文は、学習済み音声コーデックを活用して有声音領域内に高エネルギーのウォーターマークを埋め込むことで、従来の忠実度と堅牢性のトレードオフを克服し、既知および未知の音声再構成モデルの両方に対して堅牢でありながら知覚不可能なオーディオを実現する、特徴量整合型の音声ウォーターマーキング手法を提案する。

原著者： Haiyun Li, Shuhai Peng, Zhisheng Zhang, Jingran Xie, Xiaofeng Xie, Hanyang Peng, Zhiyong Wu

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haiyun Li, Shuhai Peng, Zhisheng Zhang, Jingran Xie, Xiaofeng Xie, Hanyang Peng, Zhiyong Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、後で自分だけが見つけられるように、曲の中に秘密のメッセージを隠したいと考えていると想像してください。ただし、その曲を聴いている他の誰にも、メッセージがそこに存在することに気づかせたくはありません。これは「オーディオ・ウォーターマーキング（音声透かし）」と呼ばれます。

長い間、メッセージを隠すためのルールは、「メッセージを極めて小さく、静かにすること」でした。もしメッセージが大きすぎると、ノイズのように聞こえてしまい、曲の品質を損なってしまいます。しかし、ここに問題があります。現代のテクノロジー（音声をきれいにしたり、電話用に圧縮したりするAIツールなど）は、強力な「掃除機」のように機能します。彼らは、あなたの小さな秘密のメッセージを含むすべての「静かな部分」を吸い取ってしまい、何も残らない状態にしてしまうのです。

あなたが共有した論文は、この問題を解決する、巧妙で新しい隠し方を提示しています。その仕組みを、簡単に説明します。

旧来の方法：「嵐の中のささやき」

従来の方法は、メッセージを非常に静かにささやくことで、メッセージを隠そうとします。

問題点： 大きすぎるささやきは、人間に聞こえてしまいます（品質の低下）。逆に、小さすぎるささやきは、「掃除機」（AI再構成ツール）によって完全に消し去られてしまいます。
結果： 「安全だが目に見えないメッセージ」か、「声は大きいが削除されてしまうメッセージ」かの、どちらかを選ばなければなりません。

新しい方法：「機械の中の幽霊」

著者たちは、メッセージを音楽の「下に」隠そうとするのをやめ、代わりにメッセージを音楽の「自然な構造の一部」にすることに決めました。

1. 「疑似音声（Pseudo-Speech）」のトリック
単にランダムなノイズを加えるのではなく、このシステムはスマートなAI（音声コーデック）を使用して、元の歌手と全く同じように聞こえる偽の声を生成します。これは、元の音声の**「幽霊の双子」**のようなものです。

この双子が、秘密のメッセージを運びます。
この双体は元の声と同じ「素材」で作られているため、曲の自然なリズムやトーンの中に完璧に溶け込みます。それは侵入者のように聞こえるのではなく、バンドの一員であるかのように聞こえます。

2. 「音声」ゾーンへの隠蔽
このシステムは、メッセージをどこに隠すかについて非常に賢明です。人間の声には「有声音（歌っている部分や話している部分）」と「無声音（息継ぎや休止の部分）」があることを知っています。

比喩： 動いている車にステッカーを貼ろうとしている場面を想像してください。回転しているホイールの上に貼ると、ステッカーは飛んでいってしまいます。しかし、固いドアの部分に貼れば、留まることができます。
この手法は、この秘密のメッセージを、音声の「固いドア」の部分（人間の声が活動している有声音領域）にのみ貼り付けます。AIの掃除機が最も簡単に掃き出してしまうような、静かで空っぽのスペースを避けるのです。

3. 「特徴量に整合した」ブレンド
このシステムは、特別なレシピを用いて、この「幽霊の双子」を元の曲と混合します。幽霊の双子は元の声の特徴に一致するように構築されているため、その混合物は人間の耳には自然に聞こえます。それにもかかわらず、より強力で堅牢なメッセージを運ぶことができるのです。

なぜこれが重要なのか（結果）

論文では、この新手法を従来の手法と比較テストしました。

AIクリーナーに対して： ノイズを除去したりファイルを圧縮したりするAIツールでウォーターマーク付きの音声を処理したところ、従来の方法ではメッセージがほとんど失われました。しかし、新手法は、見たこともないようなツールに対しても、メッセージを安全に保持し続けました。
人間の耳に対して： より強力なメッセージを運んでいるにもかかわらず、人間のリスナーは、元の曲とウォーターマーク付きの曲の間に違いを感じることはありませんでした。実際、既存の最高の手法と同等の品質でした。

結論

著者たちは、「堅牢性と品質」のトレードオフを解決しました。

旧来の論理： 安全であるためには、静かでなければならない。大きくするためには、ノイズを混ぜなければならない。
新しい論理： メッセージを声そのもののように見せ、聞こえるようにすれば、誰にも気づかれることなく、より大きく（より安全に）することができる。

これは、手紙の隅に小さなメモを隠すのではなく、手紙の他の部分と同じインクと筆跡でメッセージを書くようなものです。「掃除機」は、それが手紙の一部であるように見えるため、吸い出すことができないのです。

技術要約：再構成による歪みに対する堅牢性を備えた、特徴量整合型音声ウォーターマーキング

1. 問題提起

音声ウォーターマーキングは、コンテンツの帰属特定や著作権保護に不可欠であるが、既存の手法は現代の音声アプリケーションにおける重大な限界に直面している。従来のアプローチは、高忠実度かつ低エネルギーのデザインを採用することで知覚不可能性を優先している。これらは従来の信号処理に対しては効果的であるが、音声再構成モデル（例：デノイザー、ニューラルコーデック、ボコーダー）に対しては非常に脆弱である。これらのモデルは、事前の特徴分布に基づいてクリーンな音声を再構成するため、意図せず低エネルギーのウォーターマークを抑制してしまい、結果としてデコードの失敗を招く。

核心となる課題は、既存のデザインにおける固有の堅牢性と忠実度のトレードオフにある。堅牢性を向上させるためにウォーターマークのエネルギーを増大させると、通常、知覚品質が低下する。一方で、埋め込み型の手法（例：WavMark、AudioSeal）は、忠実度を維持するためにエネルギーを制限しており、再構成に対して脆弱である。生成型の手法（例：VoiceMark）はより高い堅牢性を提供するが、生成タスクとウォーターマーキングタスクを共同で最適化する必要があるため、忠実度が低くなりやすく、学習の複雑さも高い。

2. 手法

著者らは、ウォーターマークのエネルギーを単に制限するのではなく、ウォーターマークの特徴分布を元の音声に整合させることで、従来のトレードオフを打破するように設計された特徴量整合型ウォーターマーキングフレームワークであるAlignMarkを提案する。

アーキテクチャの概要:
システムは、**ウォーターマーク埋め込み器（Embedder）とウォーターマークデコーダー（Decoder）**で構成され、学習済みの事前学習済み音声コーデック（SpeechTokenizer）と共に結合して学習される。

擬似音声ウォーターマーク生成 (Pseudo-Speech Watermark Generation):
波形に直接ノイズを加える代わりに、埋め込み器は事前学習済みコーデックの**潜在空間（latent space）**にウォーターマークビットを注入する。6層の2D CNNアダプターが、元の潜在特徴とウォーターマーク埋め込みを組み合わせたものを、修正された潜在特徴へと変換する。これらは、凍結されたコーデックによって「擬似音声」ウォーターマーク（ $x'$ ）としてデコードされる。これにより、ウォーターマークが本質的に自然な音声の統計的分布に従うことが保証される。
スペクトログラム融合 (Spectrogram Fusion):
生成された擬似音声ウォーターマークは、スペクトログラム領域において元の音声（ $x$ ）と融合される。両方の信号はSTFTを介して複素スペクトログラムに変換される。学習可能な2D CNNインテグレータが、フレーム周波数融合重み（ $\alpha$ ）を予測し、最終的なスペクトログラム $s_w = s_{x'} \cdot \alpha + s_x \cdot (1 - \alpha)$ を算出する。逆STFTにより、ウォーターマーク付き音声（ $\hat{x}$ ）が得られる。
知覚的ガイダンス (VADおよび損失関数):
知覚不可能性を確保しつつ高いエネルギーを許容するために、この手法はスペクトログラム内の**有声音領域（voiced regions）**にウォーターマークを集約させる。
- VAD損失: 音声区間検出（VAD）損失が、埋め込み器とデコーダーを有声音フレームに集中させ、アーティファクトが目立ちやすい無音領域を回避するように導く。
- 知覚損失: 学習目的関数には、話者識別性を維持するための聴覚マスキング損失、話者類似性損失、および潜在類似性損失が含まれる。
- 忠実度損失: 標準的な損失（L1、Melスペクトログラム、敵対的損失、SI-SNR）が使用されるが、特徴量による整合性に依存するため、従来の手法と比較して重みが緩和されている。
ウォーターマークデコーダー:
デコーダーは、微分可能な歪みパイプライン（デノイザー、コーデック、ボコーダーを含む）を通過したウォーターマーク付き音声を処理し、特徴量エンコーダを用いる。以下のプロセスを採用する：
- 時間的重み予測: 1D CNNがフレームごとの有声音セグメントの尤度を予測し、デコードプロセスに重み付けを行う。
  探査的な詳細を捉えるための特徴ピラミッド抽出: マルチスケール2D CNN抽出器が、音声の潜在変数から微細な詳細を捉え、複雑な音声特徴に融合されたデータを復元する。

3. 主な貢献

特徴量整合型デザイン: 本論文は、エネルギー制約型の埋め込みから、特徴量整合型の生成へのパラダイムシフトを導入する。元の音声の分布に一致する擬似音声ウォーターマークを生成することで、知覚不可能性を損なうことなく、より高いウォーターマークエネルギーを可能にする。
ハイブリッドフレームワーク: 事前学習済みコーデックの潜在変数にウォーターマークを埋め込み、VADおよび知覚損失を用いて有声音領域をターゲットにしながら、スペクトログラム領域で融合するフレームワークを開発した。
未知のモデルに対する堅牢性: 本手法は、学習対象に含まれていない音声再構成モデル（デノイザー、コーデック、ボコーダー）に対しても、顕著な堅能性を示す。

4. 実験結果

本手法は、6つの音声再構成モデルを含む21種類の歪みに対して、最先端のベースライン（WavMark, AudioSeal, TimbreWM, VoiceMark, WMCodec）と比較評価された。

堅牢性: 音声再構成モデル（例：ClearerVoice, EnCodec, HiFiGAN）の下で、提案手法は、埋め込み型の手法と比較して大幅に高いビット精度（ACC）と低い誤判定率（FAR）を達成した。例えば、ClearerVoiceに対して、本手法は0.92 ACCを達成したが、他手法は0.51〜0.78であった。また、従来の歪み（リサンプリング、ノイズ、ピッチシフト）に対しても強力な性能を維持した。
知覚不可能性:
- 主観評価 (ABX): 本手法は、埋め込み型の手法と同等のABXリスニングスコア（約50-51%、知覚不能であることを示す）を達成し、VoiceMarkのような生成型の手法よりも大幅に優れた結果を示した。
- 客観評価 (VISQOL MOS): 本手法は4.44を記録し、AudioSeal（4.71）に次いで第2位となり、生成型のアプローチを上回った。
- 忠実度指標: 最大限の忠実度を最適化しているわけではないが、NISQA、PESQ、SI-SNRにおいて生成型ベースラインを上回った。
アブレーション研究: スペクトログラム融合またはVAD損失を除去すると、堅牢性が大幅に低下し、特徴量整合と有声音領域へのターゲティングの必要性が確認された。特徴ピラミッドを除去した場合、デコード精度が最も大きく低下し、マルチスケール特徴抽出の重要性が浮き彫りになった。

5. 意義と主張

本論文は、ウォーターマークを元の音声の特徴分布に整合させることで、知覚不可能性を維持しながら、音声再構成モデルによる抑制効果を軽減できると主張している。

著者らは、本研究を、音声再構成モデルが遍在する現代の音声パイプライン（音声通話、オンライン会議、ソーシャルメディアなど）における現在の音声ウォーターマーキングの適用限界に対する解決策として位置付けている。従来の設計における厳格な低エネルギー制約から堅牢性を切り離すことで、本手法はより柔軟なトレードオフを提供し、音声再構成を伴う現実世界のシナリオにおいて、より信頼性の高い音声ウォーターマーキングを実現する。本研究は、すべての忠実度の問題を解決すると主張しているのではなく、現在の最先端技術と比較して、堅牢性と知覚品質の間のより優れたバランスを実現していると断言している。