🤖 AI

Learning to Watermark in the Latent Space of Generative Models

本論文は、生成モデルの潜在空間において事後的なウォーターマーキングモデルを学習させ、それを生成器またはデコーダーへと蒸留する統一的な手法であるDistSealを紹介しており、これにより、従来の画素空間における手法と比較して、堅牢かつ不可視であり、かつ最大20倍高速なウォーターマーキングを実現している。

原著者： Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

公開日 2026-01-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、ゼロから驚くほどリアルな絵を描くことができる魔法の芸術家（生成AI）を所有しています。問題は、一度これらの絵が世に出ると、それが人間によって描かれたものか、それとも機械によって描かれたものかを判別するのが非常に難しいということです。これにより、悪意のある者が偽ニュースやディープフェイクを作成することが容易になってしまいます。

この問題を解決するために、私たちはこれらのAI画像に、まるで秘密の透かし（ウォーターマーク）のような「隠れた署名」を入れる必要があります。この論文は、DISTSEALと呼ばれる、よりスマートな新しい方法を紹介しています。

仕組みを簡単な概念に分解して説明します：

1. 旧来の方法：キャンバスに署名を書き込む

以前は、AIが絵を描き終わった「後」にウォーターマークを追加しようとする手法がありました。例えば、AIが512x512ピクセルの画像（巨大なキャンバス）を描いたとします。すると、別のツールがその完成したキャンバスの全ピクセルに対して、注意深く、目に見えないほど小さなコードを書き込まなければなりません。

問題点: これは遅くて非効率です。描き終わった絵の上に、後から別の人が歩み寄って署名を書き加えるようなものです。また、微細な「アーティファクト（ノイズ）」が残り、それが目に見えたり、簡単に除去されたりすることがあります。

2. 新しい方法：「潜在空間（Latent Space）」というキッチン

著者たちは、AIが最終的な絵を描き出す前に、実際には**「潜在空間（Latent Space）」**と呼ばれる、圧縮された隠れた「キッチン」の中で作業していることに気づきました。これは、完成した絵よりもずっと小さく、単純な「ラフスケッチ」や「指示書」のようなものです。

革新性: 描き終わった後にウォーターマークを入れるのではなく、AIがまだ「調理中」であるこの隠れたキッチンの中に、ウォーターマークを組み込みます。
メリット: 「キッチン」は最終的な「キャンバス」よりもはるかに小さいため、プロセスが20倍高速になります。これは、完成したケーキの上に秘密のコードを書くのではなく、レシピカードにコードを書き込むようなものです。

3. 秘密のコードを使う2つの方法

A. 「付箋」方式（Post-Hoc / 事後適用）
AIが画像を生成した後にこのシステムを使用することも可能ですが、大きなキャンバスに触れるのではなく、画像になる前の小さな「レシピカード（潜在空間）」に触れます。

結果: 驚異的に高速であり、画像の品質もオリジナルと遜色ありませんが、隠されたコードの除去は非常に困難になります。

B. 「練り込み」方式（In-Model / モデル内適用）
ここが本当に素晴らしい部分です。著者たちは、AIアーティスト自身に、絵を描く際に常に秘密のコードを含めるよう「教える」方法を編み出しました。

方法: 「付箋」方式を取り入れ、それをAIの「脳（重み）」へと直接「蒸留（知識の転送）」します。
結果: これにより、AIが描くたびにウォーターマークが自動的に練り込まれるようになります。もう別途ツールを用意する必要はありません。もし誰かがAIのコードをコピー（オープンソース化）したとしても、ウォーターマークは消えません。なぜなら、それは単なる後付けのツールではなく、アーティストの「DNA」の一部となっているからです。

4. なぜこれが大きな転換点なのか

スピード: 「レシピ」に対して作業を行うため、従来のメソッドよりも最大20倍高速です。
隠密性: ウォーターマークは人間の目には見えず、アートの品質を損なうこともありません。
耐久性: 著者らは、クロッピング（切り抜き）、リサイズ、色の変更、圧縮といった攻撃に対して、このウォーターマークの耐性をテストしました。その結果、「ピクセル空間」の手法よりも「潜在空間」のウォーターマークの方がはるかに高い生存率を示しました。
ピクセル蒸留よりも優れている: 著者らは、従来の「ピクセル」方式を用いてAIに学習させようと試みましたが、失敗しました（AIが複雑なパターンを学習できなかったため）。しかし、新しい「潜在空間」方式を用いて学習させたところ、AIは完璧に学習することができました。

要約の比喩

旧来の方法: 工場の出口に警備員が立ち、完成した車一台一台に隠れたシリアル番号をスタンプするようなものです。これは時間がかかり、スタンプが擦れて消えてしまうこともあります。
DISTSEAL: 工場の作業員が、車を組み立てている最中に、設計図に対してシリアル番号を刻印するように訓練されるようなものです。スタンプは車の構造の一部となり、瞬時に完了し、車自体を破壊しない限り取り除くことはほぼ不可能です。

この論文は、この手法が主要な2種類のAI画像生成器（拡散モデルおよび自己回帰モデル）の両方に適用可能であり、画像がAIによるものであることを証明するための、堅牢で高速かつ効率的な方法を提供することを結論付けています。

技術要約：生成モデルの潜在空間におけるウォーターマーク学習

問題提起

拡散モデルや自己回帰モデルといった生成モデルの急速な進歩は、極めてリアルな合成コンテンツの作成を可能にしましたが、同時に悪用、ディープフェイク、および知的財産権の侵害に関する懸念を引き起こしています。不可視ウォーターマーキング（電子透かし）はプロベナンス（由来）の確保に向けた解決策となりますが、既存の手法には以下のような重大な限界があります：

ポストホック・画素空間手法（Post-hoc Pixel-Space Methods）: これらは生成済みの画像を画素空間で修正します。柔軟でありモデルに依存しないものの、高解像度処理（例： $512 \times 512 \times 3$ ）による大幅な計算オーバーヘッドが発生し、レイテンシが生じます。さらに、ユーザーがコードを一行削除するだけで容易に回避できてしまうため、オープンソースでの展開においてはセキュリティが脆弱です。
モデル内手法（In-Model Methods）: より安全ではありますが、従来のモデル重みへのウォーターマーク統合の試みは、堅牢性に欠けるか、サンプリングプロセスに複雑な変更を必要とする傾向がありました。

核心となる課題は、生成モデルの潜在空間内で直接動作する統一されたウォーターマーキング・フレームワークを開発することであり、これにより、レイテンシのペナルティを与えることなく、計算効率が高く、かつ除去に対して堅牢な「モデル内ウォーターマーキング（モデルの重みにウォーターマークを埋め込むこと）」を実現することです。

手法：DISTSEAL

著者らは、拡散モデルと自己回帰モデルの両方に適用可能な、潜在空間ウォーターマーキングのための統一フレームワークであるDISTSEALを導入しています。このアプローチは、主に2つの段階で構成されています。

1. ポストホック潜在空間ウォーターマーキング（Post-hoc Latent Watermarking）

第一段階では、画素空間ではなく生成モデルの潜在空間で動作する、ウォーターマーク埋め込み器と抽出器のペア（ $W_\theta, E_\theta$ ）を学習させます。

埋め込み（Embedding）: 埋め込み器は潜在表現 $z$ $z$ とバイナリメッセージ $m$ $m$ を受け取り、ウォーターマーク付きの潜在変数 $z_w = z + \epsilon W_\theta(z, m)$ $z_{w} = z + ϵ W_{θ} (z, m)$ を出力します。
- 拡散モデル（連続的な潜在変数）の場合、摂動は $z$ に直接適用されます。
- 自己回帰モデル（離散的なトークン）の場合、埋め込み器は量子化の前（連続的な潜在変数の修正）、または量子化の後（トークン埋め込みの修正）のいずれかで動作できます。著者らは、量子化ステップを通じてバックプロパゲーションを行うために、ストレートスルー推定（straight-through estimation）を利用しています。
学習目的関数: モデルは、ウォーターマーク抽出損失（ $L_w$ ）と、不可視性を保証するために画素空間で適用される識別器損失（ $L_{disc}$ ）を組み合わせて学習されます。一部の先行研究とは異なり、著者らは再構成損失や知覚損失を埋め込み器には使用せず、代わりにウォーターマークの強度 $\epsilon$ と識別器を用いて出力を制約しています。
拡張（Augmentation）: 学習には、ユーザーによる編集をシミュレートし、堅牢性を確保するために、様々な値のメトリック、幾何学的、および圧縮による拡張が含まれます。

2. モデル内ウォーターマーキングのための蒸留（Distillation for In-Model Watermarking）

第二段階では、学習されたポストホック潜在ウォーターマーカーを生成モデル自体、またはその潜在デコーダーへと蒸留し、別途のポストプロセッシング工程を不要にします。

生成モデルへの蒸留: 学習済みの生成モデル（拡散トランスフォーマーまたは自己回帰トランスフォーマー）を、元のクリーンな潜在変数 $z$ の代わりに、ウォーターマーク付きの潜在変数 $z_w$ を再構成または予測するようにファインチューニングします。これにより、モデルが本質的にウォーターマーク付きの出力を生成するように強制されます。
潜在デコーダーへの蒸留: 潜在デコーダー $D$ を、非ウォーターマーク付きの潜在変数からウォーターマーク付きの画像を再構成するようにファインチューニングします。損失関数は、再構成損失（ $L_{rec}$ ）とウォーターマーク抽出損失（ $L_w$ ）を組み合わせ、デコーダーがウォーターマーク信号を含む出力を生成するように導きます。

主な貢献

統一フレームワーク (DISTSEAL): 連続的な潜在空間（拡散モデル）と離散的なトークンシーケンス（自己回帰モデル）の両方を扱う単一のアプローチを提供します。
効率性と堅牢性: 圧縮された潜在表現（例： $512 \times 512 \times 3$ に対する $8 \times 8 \times 128$ ）上で動作することで、様々な攻撃に対して競争力のある堅牢性を維持しながら、画素空間のベースラインと比較して最大20倍の推論高速化を実現します。
効果的な蒸留: 潜在ウォーターマーカーがモデルの重みへと効果的に蒸留できることを示しました。決定的な点として、潜在ウォーターマーカーの蒸留は、画素空間ウォーターマーカーの蒸留よりも優れていることを示しています。画素空間のウォーターマーカーは、高周波の摂動を再構成することが困難であるため、潜在デコーダーへの蒸留に失敗することが多いのに対し、潜在的な摂動はより構造化されており、デコーダーにとって学習が容易です。
包括的な分析: 本論文は、ポストホック手法とモデル内手法のトレードオフ、マルチウォーターマーキングの互換性、およびウォーターマークの忘却（LoRAファインチューニングに対する感受性）に関する詳細な研究を提供しています。

実験結果

著者らは、DCAE（拡散モデル）およびRAR-XL（自己回帰モデル）を用いてDISTSEALを評価しました。

ポストホック性能: 潜在ウォーターマーキングは、複合的な攻撃下において、平均ビット精度で95.18%（DCAE）および93.96%（RAR-XL）を達成し、画素空間のベースライン（それぞれ97.78%および97.27%）に匹敵しました。視覚的品質（FID）は高い水準を維持し、劣化は最小限でした。
モデル内性能（蒸留）:
- 潜在デコーダー蒸留: 潜在ウォーターマーカーをデコーダーに蒸留することで、平均ビット精度は96.77%（DCAE）および90.57%（RAR-XL）に達し、多くの場合、教師となるポストホックモデルを上回りました。対照的に、画素ウォーターマーカーを蒸留した場合は、著しく低い堅牢性（例：DCAEで65.69%）と高いFIDを示しました。
- 生成モデル蒸留: 生成モデルを直接ファインチューニングすることで、視覚的品質がわずかに優れた、堅牢な結果（DCAEで94.78%、RAR-XLで89.13%）が得られました。
速度: 潜在的なアプローチは、画素空間の手法と比較して、DCAEで20倍、RAR-XLで2.4倍の高速化を実現しました。
観察された限界:
- ウォーターマークの忘却: 蒸留された生成モデルは、非ウォーターマーク付きデータでファインチューニング（例：LoRA経由）を行うと、ウォーターマークを忘れる傾向があります。一方で、蒸留されたデコーダーはこのような変化に対して堅牢です。
- 強力な攻撃: 本手法は、非常に強力な幾何学的変換に対してはまだ完全な堅牢性を備えておらず、これは著者らも認めている制限事項です。

意義と主張

本論文は、DISTSEALが生成モデル内に堅牢なウォーターマークを直接埋め込むための実用的かつ効率的なソリューションを提供すると主張しています。ウォーターマーキングを画素空間から潜在空間へと移行することで、以下の達成を実現しています：

オーバーヘッドの削減: 計算コストとレイテンシの大幅な削減を実現し、リアルタイムまたは大規模な展開をより容易にします。
オープンソース向けのセキュリティ強化: ウォーターマークを（蒸留を通じて）モデルの重みに統合することで、ポストプロセッシング用のスクリプトを削除するだけでは容易に無効化できないようになり、オープンソースモデルのリリースにおける重要なセキュリティ上の欠陥に対処します。
優れた蒸留: 潜在ウォーターマーカーは画素空間のものよりも効果的に蒸留できるという発見は、「設計段階からウォーターマークが組み込まれた（watermarked-by-design）」生成モデルを作成するための新しいパラダイムを示唆しています。これは、高い忠実度と堅牢性を両立させることが可能です。

著者らは、本研究を、コンテンツの品質と生成速度を維持しながら、説明責任の必要性とバランスを取る、AI生成コンテンツの信頼できるプロベナンス・メカニズムへの一歩として位置付けています。本手法は堅牢ではあるものの、除去に対して免疫があるわけではないことを注記しており、今後の研究では、より強力な幾何学的攻撃に対処するために、潜在ウォーターマーキングとポストホックの同期手法を組み合わせることを検討しています。