RandMark: On Random Watermarking of Visual Foundation Models

本論文では、視覚基盤モデルの所有権検証を目的として、保持用データセットの内部表現にランダムなデジタル透かしを埋め込むエンコーダ・デコーダネットワークを提案し、理論的および実験的に、透かしが埋め込まれたモデルとそうでないモデルを高い精度で識別できることを示しています。

要約

🎨 1. 背景：なぜ「透かし」が必要なの？

まず、**「Visual Foundation Model（視覚の基礎モデル）」とは何でしょうか？
これは、AI が「絵」や「写真」を理解するために、何百万枚もの画像を勉強して作られた「超優秀な下書き用キャンバス」**のようなものです。

• 価値： これを作るには、莫大なお金と時間がかかります。
• 問題： 所有者は、このキャンバスをライセンス（使用権）として販売したり、サブスクリプションで提供したりします。
• リスク： しかし、悪意のある人が「このキャンバスをコピーして、自分のサービスで勝手に使おう」としたり、「中身を少し変えて（微調整して）自分のものだと主張しよう」としたりする可能性があります。

そこで必要なのが**「透かし（Watermarking）」**です。
これは、絵画に画家が「これは私の作品だ」という目に見えないサインを隠しておくようなものです。

🕵️‍♂️ 2. 従来の方法の限界

これまでの透かし技術は、主に「分類モデル（猫か犬かを判別する AI）」向けに作られていました。
しかし、今回の「基礎モデル」は、猫や犬だけでなく、画像の分割、特徴抽出など、あらゆるタスクに使える万能なモデルです。
従来の方法だと、この万能モデルを少し変える（微調整する）だけで、透かしが消えてしまったり、逆に無関係なモデルまで「自分の透かしが入っている」と誤判定したりする問題がありました。

💡 3. RandMark の仕組み：「ランダムな変形」を使った魔法

この論文が提案する**「RandMark」**という方法は、以下のような仕組みで動きます。

🧩 比喩：「変形したパズル」で認証する

Imagine（想像してみてください）：

1. 秘密のメッセージ： 所有者は「123456」という短いパスワード（透かし）を決めます。
2. トリガー画像： 特定の画像（例：リンゴの絵）を用意します。
3. ランダムな変形： このリンゴの絵に、AI が「ノイズ（ざらざらした砂）」を少し混ぜたり、色を少しずらしたりします。これを**「ランダムな変形」**と呼びます。
   • 重要なのは、**「同じリンゴでも、変形の仕方は毎回少し違う」**ということです。
4. 埋め込み： AI（基礎モデル）に、この「変形したリンゴ」を見せながら、「この画像の内部には『123456』というメッセージが隠れている」と教えます。
5. 検証： 後で、誰かが「この AI は私のものか？」と疑われたとき、同じ「変形したリンゴ」を AI に見せます。
   • もしその AI が元のモデルの「コピー（機能的な複製）」なら、「変形のパターン」に合わせて、同じ『123456』というメッセージを出力するはずです。
   • もし全く別の AI（無関係なモデル）なら、変形された画像を見ても、でたらめなメッセージしか出せません。

🌟 すごいところ：「ランダム性」が鍵

従来の透かしは「特定の画像」に透かしを埋め込むことが多かったですが、RandMark は**「ランダムな変形」を使います。
これにより、AI が「微調整（Fine-tuning）」されてタスクを変えたり、不要な部分を「剪定（Pruning）」されて軽量化されたりしても、「変形された画像に対する反応（メッセージの出力）」という関係性が保たれる**ため、透かしが消えません。

🛡️ 4. 実験結果：どれくらい強いのか？

著者たちは、最新の AI モデル（CLIP や DINOv2）を使って実験しました。

• タスク変更： 画像分類や画像分割（ピクセル単位で物を区切る作業）用に AI を訓練し直しても、透かしは90% 以上の確率で発見できました。
• 剪定（軽量化）： AI の中身を 20%〜40% も削って軽くしても、透かしは消えませんでした。
• 誤判定： 全く別の AI を「自分の透かしが入っている」と誤って判定してしまうことは、ほとんどありませんでした。

📝 まとめ：なぜこれが重要なのか？

この「RandMark」は、**「AI の著作権を守る新しい盾」**です。

• 従来： 「AI を少し変えたら、透かしが消えてしまう」→ 悪用されやすい。
• RandMark： 「AI をどんなに変えても（分類用に変えても、軽量化しても）、『変形された画像』に対する反応という関係性が残る」→ 強く、確実。

つまり、AI の開発者は、自分の作った「基礎モデル」が勝手にコピーされて使われても、「あ、これは私の透かしが入ったコピーだ！」と、どんな形に変えられたモデルでも見破れるようになるのです。

これは、AI 業界が成熟し、知的財産を守るための重要な一歩となる技術です。

技術概要

RandMark: 視覚的基盤モデルのランダム・ウォーターマーキングに関する技術的サマリー

本論文「RandMark: On Random Watermarking of Visual Foundation Models」は、大規模かつ多様なデータセットで学習された**視覚的基盤モデル（Visual Foundation Models: VFMs）**の所有権保護と、その知的財産権（IPR）の侵害防止を目的とした新しいウォーターマーキング手法「RandMark」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

• 背景: 視覚的基盤モデル（CLIP, DINOv2 など）は、データ収集や学習に莫大なコストがかかるため、所有者にとって貴重な資産です。これらはライセンス付与やサブスクリプションを通じて提供されますが、ユーザーが契約違反（他サービスへの組み込みなど）を行うリスクがあります。
• 既存手法の限界:
  • ウォーターマーキング: 従来の手法は主に画像分類器に特化しており、モデルのパラメータを直接変更して情報を埋め込む方法が多いです。しかし、VFMs のような汎用モデルや、微調整（Fine-tuning）後のモデルには適用が困難な場合があります。
  • フィンガープリンティング: モデルを改変せずに固有の識別子を生成する手法ですが、既存のものは VFMs の多様な下游タスク（分類、セグメンテーションなど）への適応性を考慮していません。
• 課題: VFMs の所有権を、モデルが微調整や剪定（Pruning）などの機能的な変更を受けた後でも、かつ誤検知（独立したモデルを誤って水印ありと判定すること）を低く抑えて検証できる手法の欠如。

2. 提案手法：RandMark

RandMark は、入力画像の**隠れ表現（Hidden Representations）**にデジタルウォーターマークを埋め込むアプローチです。

• 基本的な仕組み:

  1. エンコーダとデコーダ: 軽量なエンコーダ・デコーダネットワークを VFMs に追加し、これらをソースモデルと共同で学習します。
  2. ランダムな変換と埋め込み: 特定の「トリガー画像セット」に対して、ランダムなノイズ（$\epsilon \sim N(0, \sigma^2 I)$）を加えた変換画像を入力します。エンコーダは、これらの変換された画像の表現にバイナリメッセージ（所有権情報）を埋め込みます。
  3. 学習目標: 埋め込まれたメッセージ $m$ と、デコーダが抽出したメッセージ $m'$ の誤差を最小化しつつ、モデルの機能（特徴表現）が元のモデルから大きく逸脱しないようにします。
  4. 検証プロセス: 検証時には、トリガー画像セットにランダムな変換を適用し、モデルから抽出されたメッセージの統計量（平均ハミング距離や分散）を計算します。

• 判定基準:

  • 抽出されたメッセージと元のメッセージの一致度（ビット誤り数）が閾値 $\tau$ 以下であれば「所有権あり」と判定します。
  • 独立したモデル（他社製や無関係なモデル）に対しては、抽出されたメッセージがランダムになり、一致度が低くなることを利用して誤検知を防ぎます。

3. 主要な貢献

1. RandMark の提案: 従来の分類器中心の手法とは異なり、VFMs の隠れ表現に直接バイナリ署名を埋め込む新しい手法を提案。これにより、画像分類やセグメンテーションなど、多様な下游タスクに対応可能です。
2. 理論的な保証: 偽陽性（非ウォーターマークモデルを誤検知）と偽陰性（ウォーターマークモデルを見逃す）の確率の上限を理論的に導出しました。
3. 高い頑健性の実証: 最先端の VFMs（CLIP, DINOv2）を用いた実験で、以下の状況でも高い検出率を維持することを示しました。
   • 下游タスク（分類、セグメンテーション）への微調整。
   • 構造化されていない剪定（Unstructured Pruning）。
   • 既存のフィンガープリンティング手法が失敗するケースでも機能します。

4. 実験結果

• 実験設定:
  • モデル: CLIP, DINOv2。
  • データセット: ImageNet（ウォーターマーク埋め込み用）、E-commerce Product Images（分類用）、FoodSeg103（セグメンテーション用）。
  • 攻撃シナリオ: 微調整（10 エポック）、20% および 40% の重み剪定。
• 結果の要点:
  • 検出率: 微調整や剪定を受けたモデル（正の疑いモデル）に対して、高い真陽性率（True Positive Rate）を達成しました（例：剪定 40% でも 100% の検出率）。
  • 誤検知の回避: 独立したモデル（負の疑いモデル）に対しては、偽陽性率が極めて低く（0.000 付近）、誤検知はほとんど発生しませんでした。
  • 比較評価:
    • 既存の汎用フィンガープリンティング手法（ADV-TRA, IPGuard）と比較し、RandMark はすべてのタスクで優れた検出率を示しました。
    • 重み平滑化ベースの手法（Bansal et al.）と比較し、RandMark は微調整後のタスク性能（セグメンテーション精度）を維持しつつ、ウォーターマークの検出も成功しました（既存手法はタスク性能の低下とウォーターマークの消失を招きました）。
  • 相関分析: 独立モデル間では復号されたメッセージの共分散がほぼゼロですが、ウォーターマーク依存モデル間では正の共分散を示し、機能的な依存関係を統計的に証明しました。

5. 意義と結論

• 実用性: RandMark はモデル所有者が一度だけ特定のモデルインスタンスに対してウォーターマーク埋め込みを行うだけでよく、その後の微調整（分類やセグメンテーション用など）を行っても所有権の検証が可能であるため、実社会でのライセンス管理や不正使用の追跡に非常に有効です。
• 信頼性: 理論的な誤検知確率の上限と、広範な実験による頑健性の証明により、VFMs の知的財産保護における信頼性の高いソリューションとして確立されました。
• 将来展望: 大規模視覚モデルの普及に伴う IP 保護の課題に対し、データ駆動型のトリガーと重み空間の技術の両面からアプローチする新たな道筋を示しました。

この論文は、視覚的基盤モデルの所有権保護において、モデルの機能性を損なわずに、かつ多様な攻撃（微調整、剪定など）に対して耐性を持つウォーターマーキング手法の確立に寄与する重要な研究です。