技術概要：Cert-LAS

問題定義

大規模なテキストから画像への（T2I）拡散モデルは重要な知的財産資産を表していますが、不正な複製、再配布、および誤用に対して脆弱です。モデル所有権検証（MOV）は、これらの資産を保護するために不可欠です。T2I 拡散モデルに対する既存の MOV 手法は、主に特定のウォーターマーク動作を活性化させるためにプライベートなトリガー（例：稀なトークン）を埋め込むバックドアベースのウォーターマッキングに依存しています。

著者は、現在の手法に 2 つの根本的な限界を特定しました：

1. 監査下での脆弱性：既存の手法は、検証者がモデルをクエリし、安定したウォーターマーク応答を取得できる「忠実な」検証プロセスを暗黙的に仮定することが多いです。しかし、敵対的な環境では、トリガーが検出され、除去される可能性があります。実験により、合成されたトリガーは、文脈上の不整合を通じてプロンプト空間で、または類似度指標を通じて画像空間で検出されることが多く、隠密性が損なわれることが示されました。
2. 証明された頑健性の欠如：現在の手法は、パラメータ摂動に対する理論的な保証を欠いています。実験は、意図しないランダムな摂動と、故意に作成された敵対的摂動の両方が、検証の信頼性を著しく低下させることを示しています。小規模な分類器に対してはランダム化平滑化による証明された頑健性が存在しますが、高次元の連続的なスコア推定と、この規模での証明されたトレーニングの計算上の非現実性のため、T2I 拡散モデルへは成功裏に適応されていません。

手法：Cert-LAS

本論文は、T2I 拡散モデルに対する最初の証明された MOV 手法であるCert-LAS（Certified Layer-Adaptive Smoothing）を提案します。この手法は 2 つの段階で動作します：

1. ウォーターマーク埋め込み（トリガーフリー）

明示的なトリガーを使用する代わりに、Cert-LAS は、プライベートな拡散分類器の下で誤分類を引き起こすように拡散ジェネレータをトレーニングすることで、ウォーターマークを埋め込みます。

• ウォーターマーク担体としての拡散分類器：この手法は、拡散モデルが生成分類器として機能しうるという知見を利用します。凍結されたプライベートな拡散分類器を用いて、ターゲット事後分布を定義します。ジェネレータは、このプライベート分類器によって誤分類される画像（例：分類器が「犬」と識別する「猫」の画像を生成する）を生成するようにトレーニングされつつ、視覚的整合性正則化（MS-SSIM）を通じて元の生成に対する知覚的忠実度を維持します。
• 層適応型平滑化：証明された頑健性を達成するために、この手法はトレーニング中にモデルパラメータにノイズを注入します。重要なのは、均一なノイズではなく、層適応型ノイズを採用している点です。
  • 層微調整感度（LFS）：著者は、微調整中のパラメータ更新の平均 L2 ノルムに基づいて LFS 指標を定義します。特定の UNet 層（例：正規化ブロックやアテンションブロック）は、多様なデータセットにわたって微調整に対して一貫してより敏感であることが観察されます。
  • ノイズ割り当て：ノイズレベルは、各層の LFS に比例して割り当てられます。より多くのノイズが「脆弱な」層に集中され、証明可能な領域を拡大しますが、総ノイズ予算は均一なベースラインと同等のままです。
• 指数関数的成長スケジュール：頑健な最適化を計算的に実行可能にするため、指数関数的成長スケジュールが採用されます。これは、トレーニング中の勾配平均のためのノイズサンプル数を段階的に増加させるもので、初期トレーニングの勾配はノイズサンプル間で類似しているという事実を利用します。

2. 所有権検証

検証は、疑わしいモデルが、ウォーターマークなしの参照モデルと比較して、著しく強いウォーターマーク応答を示すかどうかを調べることで行われます。

• 統計量：層適応型平滑化の下で 2 つの統計量が計算されます：
  • ウォーターマーク頑健性（WR）：疑わしいモデルからの画像が、プライベート拡散分類器によってターゲットクラスとして分類される経験的確率。
  • 参照確率（RP）：ウォーターマークなしの参照ジェネレータに対する同様の確率。
• 仮説検定：対応のあるサンプル t 検定が採用されます。疑わしいモデルの WR が参照の RP よりも著しく大きい場合、そのモデルは保護されたモデルから派生したものと検証されます。
• 証明された保証：著者は、WR に対する閉形式の閾値を導出し、WR と RP の間の差の下限を証明します。これにより、証明された半径（$R^*$）が確立され、パラメータ摂動がこの半径内に留まる限り、所有権検証が成功することが保証されます。

主な貢献

1. 限界の再検討：本論文は、既存のバックドアベースのウォーターマッキング手法が、プロンプト/画像空間における検出可能性と、パラメータ摂動に対する頑健性の欠如に苦しんでいることを明らかにしています。
2. Cert-LAS フレームワーク：T2I 拡散モデルに対する最初の証明されたウォーターマッキング手法を導入し、暗黙的でトリガーフリーの担体として拡散分類器を利用し、UNet アーキテクチャに特化した層適応型ランダム化平滑化を導入します。
3. 理論的解析：有界なパラメータ摂動下での閉形式の検証閾値と証明された半径を含む、頑健性の保証を確立する理論的解析を提供します。
4. 実証的検証：広範な実験により、この手法の有効性を検証し、高い忠実度、隠密性、および意図しない（微調整）および意図的（敵対的）除去攻撃に対する耐性を示しています。

実験結果

著者は、Stable Diffusion v1.4 において、WatermarkDM や SleeperMark などのベースラインに対して Cert-LAS を評価しました。

• 有効性と隠密性：Cert-LAS は、検証成功率（VSR）1.000、および偽陽性率 $10^{-6}$ における真陽性率（T@10⁻⁶F）1.000 を達成しました。その隠密性スコア（プロンプト空間および画像空間における疑わしさ）は、バックドアベースの手法（例：WatermarkDM の 93% 超に対して 0.125 未満）よりも著しく低いです。
• 微調整に対する頑健性：多様なデータセットでの LoRA、DreamBooth、Custom Diffusion、および完全微調整など、さまざまな微調整シナリオにおいて、Cert-LAS は T@10⁻⁶F を 0.987 以上に維持しますが、ベースラインは限られたステップ後に 0.000 に低下することが多いです。
• 敵対的攻撃に対する頑健性：$\ell_2$ 有界パラメータ摂動下において、平滑化を適用した Cert-LAS は、予算 0.8 においても T@10⁻⁶F を 0.965 以上に維持し、すべてのベースラインが完全に失敗する状況でも機能します。
• 一般化：この手法は、異なるアーキテクチャ（SDXL、Sana-1.6B）および分類タスク（異なるクラスペア、プロンプトテンプレート、多クラス設定）にわたって一般化を示します。
• 効率性：指数関数的成長スケジュールは、スケジュールなしの頑健なトレーニングベースラインと比較して、トレーニング時間を 76.6% 削減します。

意義と主張

本論文は、Cert-LAS が、拡散ウォーターマッキングにおいて以前は存在しなかった証明された頑健性保証を提供することで、適応的攻撃に対する T2I 拡散モデルの保護における重要なギャップを埋めると主張しています。トリガーベースからトリガーフリーの分類器ベースの埋め込みへ移行し、層適応型平滑化を利用することで、この手法は隠密性、生成忠実度、および証明された信頼性の間のバランスを達成します。

著者は、この作業を拡散モデルの信頼できる共有への一歩として位置づけています。この手法は純粋に防御的であり、許可された所有者および信頼できる当局による合法的な検証を意図していることを強調しています。圧縮実験で示されたように、モデルの有用性を低下させることなくウォーターマークを除去できないことを保証することで、この手法は生成 AI エコシステムにおける執行可能なライセンスおよび説明責任メカニズムを支援します。この作業はすべての IP 問題を解決するとは主張していませんが、有界な悪意のある改変が存在する状況において所有権を検証するための、特定の理論的根拠を持つツールを提供します。