🤖 AI

LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity

LambdaMarkは、セマンティックな潜在表現の中にマルチビットのメッセージを埋め込むことで、一般的な歪みや敵対的な除去攻撃に対して優れた堅牢性を実現し、かつウォーターマークが付与されたデータでファインチューニングされたモデルにおいてもウォーターマークが持続することを保証する、初の汎用的な放射性オーディオウォーターマーキング・スキームを導入します。

原著者： Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に価値のある音声録音を所有していると想像してください。かつて、もし誰かがそれを盗んだとしても、元のファイルを確認することで、それが自分のものであると証明できる可能性がありました。しかし今日、高度なAIの登場により、泥棒はあなたの声を取り込み、ロボットにあなたの話し方を学習させ、あなたが一度も口にしたことのない「新しい文章」を生成させることができるようになりました。その新しい声は、あなたと全く同じように聞こえますが、元のファイルはもう存在しません。どうすれば、そのロボットがあなたの盗まれた声を使用していることを証明できるのでしょうか？

これが、LambdaMarkが解決する問題です。これは音声に対する一種の「デジタル・タトゥー」であり、音声がコピーされたり、編集されたり、あるいは新しいAIの学習に使用されたりしても、極めて消去が困難なものです。

仕組みを、シンプルな比喩を用いて説明します。

1. 旧来の手法：表面への塗装

従来の音声ウォーターマーキングの手法は、絵画の特定の場所に、目に見えない小さな点を描くようなものでした。

それらは、人間の耳には聞こえない音波の中の「ノイズ」（特定のパチパチという音やハム音のようなもの）の中に信号を隠していました。
欠点： もし泥棒がその絵画を手に取り、表面をこすったり、コピーしたり（これは音声を圧縮したり、フィルターを通したりすることに相当します）、すると、その小さな点は消えてしまいます。
「放射性」の問題： さらに悪いことに、もし泥棒がその絵画を使ってロボットに絵を描く方法を教えた場合、ロボットはその絵画の「スタイル」は学びますが、その小さな目に見えない点は忘れてしまいます。その点は、ロボットが作る新しい作品には「感染」しないのです。

2. LambdaMarkの手法：DNAの変化

LambdaMarkは、全く異なるアプローチを取ります。表面に点を描くのではなく、絵画のDNAを書き換えるのです。

意味論的シフト（Semantic Shift）： 音声が単なる音波ではなく、「何という音であるか（例：『ハロー』と言う幸せそうな声）」を記述する一連の指示であると考えてみてください。LambdaMarkは、これらの指示を微細に調整します。ノイズを加えるのではなく、人間の耳には自然に聞こえる範囲で、音声の「意味」や「雰囲気」をわずかに変化させるのです。これによって秘密のコードを保持します。
比喩： これは、スープに特定の、微かなスパイスを加えるようなものだと考えてください。
- 旧来の手法： ボウルの縁に、目に見えないほど小さな塩の粒を振りかけるようなものです。もしそのスープを新しい鍋に移し替えたり（圧縮）、他の人に味見させたり（ダウンストリームAI）すると、その塩の粒は失われます。
- LambdaMark： レシピをわずかに変えて、スープそのものの味が少しだけ変わるようにするのです。もしこのスープを新しい鍋に移したとしても、その風味は残っています。もしシェフ（AI）がこのスープを味わい、それを再現しようとした場合、彼らは意図せずしてその特定の風味までも再現してしまうことになります。なぜなら、その風味は今やレシピの一部となっているからです。

3. なぜ「放射性」なのか

論文では、この特性を**「放射性（Radioactivity）」**と呼んでいます。

物理学において、放射性物質は接触したものに放射性を帯びさせる性質があります。
LambdaMarkにおいては、攻撃者がウォーターマーク付きの音声を盗み、それを新しいAIモデルの学習に使用した場合、その新しいモデルはウォーターマークを継承します。
たとえ新しいAIが、あなたが一度も話したことのない全く新しい文章を生成したとしても、それらの新しい文章には依然としてあなたの「デジタルDNA」が刻まれています。新しいAIの出力からあなたのウォーターマークを検出できるため、それがあなたの盗まれたデータに基づいて学習されたものであることを証明できるのです。

4. なぜこれほど除去が困難なのか

論文では、ハッカーによる「敵対的攻撃（アドバーサリアル・アタック）」、つまりウォーターマークを消し去ろうとする試みに対してLambdaMarkをテストしました。

旧来の手法： 旧来のウォーターマークは音波の中の単なる「点」であったため、ハッカーは数学を用いてそれを見つけ出し、消去したり、AIを用いてそれらの点がどこにあるかを正確に学習して削除したりすることができました。
LambdaMark： ウォーターマークは音声の意味（意味論的構造）の中に織り込まれているため、消去すべき単一の「点」が存在しません。これを取り除くには、ハッカーは言葉の意味や声の感情を根本的に変えなければならず、それは音声そのものを台無しにしてしまいます。それは、スープの味を変えることなく、スープから「辛さ」を取り除こうとするようなものであり、ほぼ不可能です。

結果

研究者たちは、実際の音声データセットを用いてLambdaMarkをテストし、以下の結果を得ました。

完璧に近い検出精度： 音声が歪められたり、圧縮されたり、ノイズが加えられたりした後でも、9%9.9%の確率で自身のウォーターマークを検出できます。
クロスモデルの成功： 音声が全く異なる種類のAIモデル（テキスト読み上げや音楽生成など）の学習に使用された場合でも機能します。
「ゴースト」アーティファクトの不在： ウォーターマークが付与された音声は、人間の耳には依然として自然に聞こえます。

要約すると： LambdaMarkは、単にドアに鍵をかける（音声ファイルにロックをかける）だけのセキュリティシステムではありません。それは、家の設計図自体を作り変えるものです。もし誰かがその設計図を盗んで新しい家を建てたとしても、その新しい家には、泥棒がどれほど塗りつぶそうとしても、元の所有者のユニークな署名が刻まれ続けるのです。

技術要約: LambdaMark

問題提起

生成オーディオモデルの最近の進歩により、音声クローニングや不正な音声合成が容易に可能となり、音声詐欺、なりすまし、および知的財産権の侵害のリスクが高まっている。オーディオ・ウォーターマーキング（電子透かし）は防御メカニズムを提供するが、既存の手法には2つの決定的な限界がある：

放射能（Radioactivity）の欠如： 現在のウォーターマークは、通常、波形やスペクトログラムにおける低レベルの摂動として埋め込まれる。その結果、ダウンストリームの生成モデルがファインチューニングを行う際に、ウォーターマークは「学習」されない。攻撃者がウォーターマーク付きデータを用いてモデルをファインチューニングした場合、生成された出力においてウォーターマークが消失し、プロベナンス（由来）の検証ができなくなる。
敵対的攻撃に対する脆弱性： 知覚的な忠実度を維持するために、既存の手法は心理音響マスキングを利用して、特定の時間・周波数ビンに信号を埋め込む。これは局所的で構造化された残差パターンを生み出し、適応型学習ベースの攻撃（例：HarmonicAttack）によって容易に特定・除去されてしまう。

核心となる課題は、堅牢（robust）（信号の歪みや敵対的除去に耐えうる）であり、かつ放射能（radioactive）（ダウンストリームのモデルのファインチューニングを生き残り、生成された出力においても検出可能な）であるウォーターマーキング・スキームを設計することである。

手法: LambdaMark

著者らは、波形ではなくセマンティック・オーディオ潜在表現（semantic audio latent representations）にマルチビット情報を埋め込む、初の汎用的な放射能を持つウォーターマーキング・スキームであるLambdaMark ( $\lambda$ Mark) を提案している。

アーキテクチャ

LambdaMarkは、学習済みセマンティック・エンコーダ（ $E_s$ ）とセマンティック・ボコーダー（ $V_o$ ）からなる、凍結されたセマンティック・オーディオ・バックボーンを中心に動作する。

ウォーターマーク・エンコーダ ( $E_\theta$ ): $N$ ビットのメッセージを受け取り、潜在空間内の単位方向ベクトルへとマッピングする軽量な3層MLPである。この方向はすべての時間フレームに対して一様にブロードキャストされ、加法的な残差 $\delta$ を形成する。極めて重要な点は、 $\delta$ の大きさが元の潜在表現（ $z_{orig}$ ）の $\ell_2$ ノルムに基づいて適応的にスケーリングされることであり、これにより摂動がオーディオのセマンティックなエネルギーに応じてスケールすることを保証している。
ウォーターマーク・デコーダ ( $D_\phi$ ): ウォーターマークが付与されたオーディオのセマンティック潜在表現（ $E_s$ によって再エンコードされた後）に直接作用するデコーダである。これは時間次元にわたる平均プーリングを採用して、エンコーダによって注入された「平均的な方向」を回収し、続いてゼロビット検出（存在の有無）とマルチビット・メッセージ回収のための並列ヘッドを用いる。

学習戦略

システムは、以下の4つの目的をバランスよく最適化するカスタムのマルチコンポーネント損失関数を用いて訓練される：

忠実度（Fidelity）: 元のオーディオとウォーターマーク付きオーディオの間のスペクトル（STFT）および波形（ $\ell_1$ ）の差異を最小化し、知覚的な自然さを確保する。
ビット回収（Bit Recovery）: 再エンコードされた潜在表現（ $z_{wm}$ ）から埋め込まれたビットの回収を最適化し、ウォーターマークが合成プロセス（ $V_o$ ）および再エンコードのプロセス（ $E_s$ ）のラウンドトリップを生き残ることを保証する。
ゼロビット検出（Zero-Bit Detection）: ウォーターマーク付きの潜在表現と非ウォーターマーク付きの潜在表現を区別するバイナリ分類器を訓練する。
堅牢性（Robustness）: 信号レベルの歪みや敵対的攻撃に対する耐性を向上させるため、歪んだバリアントを訓練ループに組み込む。

主要な設計上の洞察

LambdaMarkは、ウォーターマークを局所的な波形の残差としてではなく、潜在多様体における**セマンティックなシフト（意味的な変化）**として埋め込むことで、ウォーターマークをダウンストリームのモデルが学習する高レベルの音響特性（音素、韻律、音色）に適合させている。これにより、ウォーターマークはフィルタリングされるべきノイズではなく、ファインチューニングされたモデルの学習分布における「構造化された反復的な特徴」となる。

主な貢献

初の汎用的な放射能スキーム: LambdaMarkは、セマンティック潜在表現にマルチビット・ウォーターマークを埋め込むことで、多様なダウンストリームモデルの出力における検出を可能にする、初の汎用的な放射能を実現したフレームワークである。
新規のアーキテクチャと損失: 著者らは、忠実度、検出精度、ビット回収、および敵対的除去に対する堅牢性を共同で最適化する、マルチオブジェクティブ損失を備えたセマンティック・エンコーダ・デコーダ・アーキテクチャを設計した。
優れた堅牢性: LambdaMarkは、テストされたすべての攻撃カテゴリ（一般的な信号レベルの歪み、コーデックベースの攻撃、最適化ベースの攻撃（例：AudioSquareAttack）、学習ベースの適応型攻撃（例：HarmanincAttack））に対して堅牢である唯一の評価されたウォーターマークである。
汎用的な放射能: 本手法は、3つの異なるダウンストリーム・アーキテクチャ（YourTTS, SemanticVocoder, AudioLDM2）および2つのデータセット（LibriSpeech, VCTK）において、堅牢な放射能を示した。これには、ウォーターマーク・エンコーダがLibriSpeechのみで訓練されたクロスデータセット転送シナリオも含まれる。

実験結果

LibriSpeechおよびVCTKデータセットを用いて実験を行い、最新のベースライン（AudioSeal, WavMark, AudioMarkNet）と比較した。

歪みに対する堅牢性: LambdaMarkは、一般的な歪みの条件下で、ほぼ完璧な検出精度（LibriSpeechで99.92%、VCTKで99.88%）と高いビット回収率（それぞれ97.94%および95.08%）を達成した。対照的に、ベースラインは位相シフトやガウスノイズの下で、しばしばランダムな推測（約50%の精度）まで低下した。
敵対的除去: HarmonicAttack および AudioSquareAttack の下で、AudioSeal や AudioMarkNet といったベースラインはランダムに近い性能まで崩壊した。一方、LambdaMarkは高い検出精度を維持した（例：HarmonicAttack 下のLibriSpeechで98.5%）。
放射能: ダウンストリームモデルをウォーターマーク付きデータでファインチューニングした後も、LambdaMarkのウォーターマークは生成された出力において検出可能な状態を維持した。
- SemanticVocoder において、LambdaMarkは100%の検出精度とF1スコアを達成した。
- ディフュージョンモデルである AudioLDM2 において、フルファインチューニング下で98%の検出精度を達成した。
- ベースライン（例：Audio-MarkNet）は、未知のスピーカーや異なるモデル・アーキテクチャへの汎用性に失敗し、しばしば50%の精度（ランダムな推測）に低下した。
ファインチューニング後の堅牢性: ダウンストリームモデルがオーディオを生成した後でも、LambdaMarkのウォーターマークは、その後の敵対的除去の試みや信号の歪みを生き延びた。これは、どのベースラインも達成できなかった特性である。
忠実度: LambdaMarkは高い知覚品質（NISQAスコア）を維持したが、セマンティック・シフトに起因して、フルリファレンス指標（ViSQOL）はベースラインよりもわずかに低かった。

意義と主張

本論文は、LambdaMarkがオーディオ・ウォーターマーキング戦略における根本的な転換を象徴していると主張している。低レベルの残差埋め込みからセマンティック潜在埋め込みへと移行することで、著者らは既存の手法の核心的な脆弱性、すなわち、適応型攻撃によって容易に除去されたり、生成的なファインチューニングによって希釈されたりする、局所的で統計的に検出可能なパターンへの依存に対処している。

本研究の意義は以下の点にある：

ブラックボックス検証の実現: 所有者は、モデルの内部重みや訓練データにアクセスすることなく、自身の保護されたオーディオがダウンストリームモデルの訓練に使用されたかどうかを検証できる。
特性の追跡: マルチビット容量はきめ細かな属性特定をサポートし、どの特定の保護されたソースが漏洩したかを特定することを可能にする。
レジリエンス（回復力）: 敵対者がファインチューニングの前または後にウォーターマークを除去しようと試みるシナリオにおいても効果的であり続ける防御を提供する。これは、現在の防御策が失敗するシナリオである。

著者らは限界についても言及しており、トークンベースの音声生成モデル（例：Spark-TTS）では、量子化が連続的なセマンティック信号を中断する可能性があるため、放射能の効果が低下することに触れている。これは、離散的なトークン化空間におけるトレーサビリティと忠実度の間のトレードオフを示唆している。しかし、連続的なセマンティックモデルについては、LambdaMarkは堅牢で放射能を持つオーディオ保護の新しい標準を確立している。