TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery

本論文は、生成画像内の複数の概念（物体や画風など）を個別に特定・帰属させるために、テキスト埋め込みと初期潜在ノイズに秘密署名を埋め込むプロアクティブな透かしフレームワーク「TokenTrace」を提案し、既存手法を上回る性能と高画質を両立させることを示しています。

要約

TokenTrace: AI が描いた絵の「作者」を特定する新しい魔法の鍵

この論文は、生成 AI（絵を描く AI）が作った画像の**「誰のアイデアやスタイルが使われたか」**を、後からでも正確に特定できる新しい技術「TokenTrace」について書かれています。

まるで、AI が描いた絵の隅々に、**「この絵は A さんのスタイルと B さんのキャラクターを組み合わせたものですよ」という、目に見えない「魔法のシール」**を貼り付けるような技術です。

以下に、専門用語を避け、わかりやすい例え話で解説します。

---

1. 今までの問題点：混ざり合ったパズルが解けない

AI が絵を描くとき、例えば**「ピカソのスタイルで描いた、猫のキャラクター」**というように、複数の要素（スタイル＋対象物）を混ぜて描くことがよくあります。

• 今までの技術の限界：
  従来の「透かし（ウォーターマーク）」技術は、絵全体に「誰が描いたか」という1 つの大きなシールを貼るようなものでした。
  • 問題点： 絵が「ピカソ風」と「猫」の要素が混ざり合っている場合、このシールは「どちらの要素が誰のものか」を区別できません。まるで、「赤い服を着た人」と「青い服を着た人」が抱き合っている写真を見て、「どちらが誰だか」を特定しようとするようなもので、非常に難しかったのです。
  • また、画像を加工したり圧縮したりすると、このシールが剥がれてしまう（壊れてしまう）こともありました。

2. TokenTrace の解決策：2 つの「魔法の鍵」を使う

TokenTrace は、この問題を**「絵を描く前の段階」で解決します。AI が絵を描くための「指示書（テキスト）」と「下書き（ノイズ）」の両方に、それぞれの要素に合わせた「秘密の鍵」**を埋め込むのです。

① 2 つの場所に鍵を隠す（二重の条件付け）

• テキストの鍵（意味の鍵）：
  「猫」という言葉や「ピカソ風」という言葉の意味そのものに、小さな修正を加えます。これは、**「この言葉には、特定の作者の指紋が隠されている」**という状態にします。
• ノイズの鍵（絵の骨格の鍵）：
  絵を描き始める前の「真っ白なノイズ（下書き）」にも、同じ秘密の指紋を混ぜ込みます。
• 効果：
  これにより、透かしは単なる「絵の表面」ではなく、**「絵の骨格と意味そのもの」**に深く組み込まれます。だから、画像を加工しても消えにくいのです。

② 「質問」で鍵を開ける（クエリベースの検索）

ここが最も素晴らしい部分です。

• 従来の方法： 「この絵の透かしは？」と聞くだけで、全体が返ってくる。
• TokenTrace の方法： **「この絵の『猫』の部分は誰のもの？」「この絵の『ピカソ風』の部分は誰のもの？」**と、質問（クエリ）を指定して聞くことができます。

【例え話】
これは、**「魔法の図書館」**のようなものです。

• 本棚（生成された画像）には、A さんの本と B さんの本が混ざって積まれています。
• 従来の透かしは「この本棚全体が誰の所有か？」と聞くだけなので、答えが曖昧になります。
• TokenTrace は、**「A さんの本だけを取り出して」**と注文すると、魔法が働き、A さんの本だけが光って浮き上がり、その作者が特定できます。
• 次に**「B さんの本だけ」**と注文すれば、B さんの本が浮き上がります。
• これにより、1 枚の絵からでも、複数の要素（猫とピカソ風）をそれぞれ独立して、誰のものか特定できるのです。

3. なぜこれがすごいのか？

1. 区別が完璧：
   複数のアイデアが混ざった絵でも、「これは A さんのスタイル」「これは B さんのキャラクター」と、バラバラに正確に特定できます。
2. 丈夫で消えない：
   透かしが「意味」と「骨格」の両方に埋め込まれているため、画像を縮小したり、フィルターをかけたりしても、「魔法の鍵」は壊れません。
3. 絵の質はそのまま：
   透かしを入れることで、絵が汚くなったり、変になったりすることはありません。人間には見分けがつかないほど自然です。

4. まとめ：AI 時代の「著作権の守り神」

この技術は、AI が描いた絵が、**「誰のアイデアやスタイルを元にして作られたのか」**を、後からでも証明できる強力なツールです。

• アーティストにとって： 自分のスタイルやキャラクターが勝手に使われても、「あ、これは私の透かしが入っている！」と証明でき、権利を守ることができます。
• 社会にとって： AI が生み出すコンテンツの「出所」が明確になり、信頼性が高まります。

TokenTrace は、「混ざり合ったアイデアの塊」から、それぞれの「作者の指紋」を、必要な分だけ取り出して見せるという、まるで魔法のような技術なのです。

技術概要

TokenTrace: 透かし付きトークン復元による多概念帰属付けの技術的サマリー

本論文「TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery」は、生成 AI モデルによって生成された画像における知的財産（IP）保護、特に複数の概念（例：特定の物体と芸術的スタイル）が混在する画像からの個別の帰属付けという課題に焦点を当てた新しい能動的透かし（Proactive Watermarking）フレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

生成 AI（拡散モデルなど）は、自然言語から高品質な画像を生成する能力を持っていますが、これはアーティストの独自スタイルや概念の無断複製という知的財産権の侵害リスクをもたらします。
既存の透かし技術には以下の限界がありました：

• ピクセル領域の透かし（例：ProMark）: 圧縮や切り取りなどの一般的な画像変換に弱く、壊れやすい。
• 潜在空間の透かし（例：CustomMark）: 頑健性は高いが、単一の包括的な透かしを埋め込むため、画像内に複数の概念が重なり合っている場合、それらを個別に分離・帰属付けることができない。
• 多概念の課題: 生成 AI は「特定のキャラクターを特定のスタイルで描く」ように、複数の概念を合成して画像を生成します。既存手法はこの「合成された概念」を個別に特定・検証するメカニズムを持っていません。

2. 提案手法：TokenTrace

TokenTrace は、透かしを画像のピクセルや単一の潜在変数ではなく、テキストのセマンティック（意味）ドメインと潜在ノイズの両方に埋め込む革新的なアプローチを採用しています。

2.1. 概念エンコーディング（埋め込み段階）

生成プロセスに透かしを深く統合するために、二重条件付け（Dual-Conditioning）戦略を採用しています。

1. 概念エンコーダ（Concept Encoder）: 特定の概念トークン（例：<sks-object>）の埋め込みベクトルに対して、秘密鍵（Secret）に基づいた摂動（ノイズ）を加えます。これにより、テキスト埋め込み空間に透かしが埋め込まれます。
2. 秘密マッパー（Secret Mapper）: 秘密鍵に基づいて構造化されたガウスノイズパターンを生成し、拡散モデルの初期ノイズに重ね合わせます。
3. 生成: 摂動されたテキスト埋め込みと摂動された初期ノイズの両方を条件として拡散モデルに入力し、透かしが埋め込まれた画像を生成します。
   • このアプローチにより、透かしは画像の構造そのものに織り込まれ、ピクセル空間のみを操作する手法よりも遥かに頑健になります。また、概念ごとのシグナルがテキスト埋め込み空間で分離されているため、概念間の干渉を防ぎます。

2.2. 概念デコーディング（復元・検証段階）

生成された画像から特定の概念の透かしを検出するために、クエリベースの TokenTrace モジュールを提案しています。

• 入力: 透かし付き画像（$I_{wm}$）と、検証したい概念を指定するテキストクエリ（例：「a photo of <sks-object>」）。
• TokenTrace モジュール:
  • CLIP の画像エンコーダとテキストエンコーダ（凍結済み）を使用し、画像特徴とクエリ特徴を抽出します。
  • 学習可能なアテンション層と投影層を用いて、これらを融合し、対応する概念の埋め込みベクトルを予測します。
• 秘密復号: 予測された概念埋め込みを、秘密デコーダ（単純な線形ネットワーク）に通すことで、元のビット列（秘密鍵）を復元します。
• 特徴: この「クエリベース」の仕組みにより、単一の画像から特定の概念（例：スタイルのみ、または物体のみ）をターゲットに選択的に分離・検証することが可能になります。

2.3. 学習目的関数

モデルは以下の 4 つの損失関数の重み付き和を最小化するように学習されます：

1. 交差エントロピー損失 ($L_{CE}$): 復元された秘密と真の秘密の一致度を最大化。
2. コントラストスタイル記述子損失 ($L_{CSD}$): 透かし付き画像と元の画像の高位セマンティックなスタイルの一貫性を維持。
3. L2 損失 ($L_{L2}$): ピクセルレベルの視覚的差異を最小化（不可視性の確保）。
4. 正則化損失 ($L_{reg}$): 予測された概念埋め込みと真の概念埋め込みの距離を最小化。

3. 主要な貢献

1. 多概念帰属付けの解決: テキスト意味空間と潜在空間の両方に透かしを埋め込むことで、画像内の複数の概念（物体とスタイルなど）を個別に分離・検証する世界初のプロアクティブなフレームワークを提案。
2. クエリベースの復元メカニズム: 特定のテキストクエリを入力することで、重なり合う概念の中から特定のシグナルを抽出・検証するモジュールを開発。
3. 高性能と高忠実度: 単一概念・多概念の両方のタスクにおいて、既存の最先端手法（ProMark, CustomMark など）を大幅に上回る精度を達成しつつ、画像の視覚品質を維持。

4. 実験結果

• データセット: WikiArt（23 種類の芸術スタイル）、ImageNet（1000 種類の物体）、およびカスタム概念の組み合わせ（Textual Inversion）や一般概念の組み合わせ（ChatGPT 生成プロンプト）を使用。
• 単一概念タスク:
  • WikiArt（スタイル）: 帰属付け精度 91.67%（次点の CustomMark 89.25% を上回る）。
  • ImageNet（物体）: 帰属付け精度 90.43%（次点の CustomMark 87.12% を上回る）。
  • ビット精度も同様に最高水準を記録。
• 多概念タスク:
  • 2 つのカスタム概念（物体＋スタイル）の組み合わせ：TokenTrace は 88.62%、TokenTraceP（プロンプト重み付け版）は 90.53% の精度を達成（CustomMark の 85.14% を上回る）。
  • 4 つの一般概念の組み合わせ：TokenTraceP は 86.08% の精度を達成（CustomMark の 72.78% を大幅に上回る）。
  • 単一画像から「猫」と「セーター」など、複数の概念を独立して 100% の精度で復元できることを定性的に確認。
• 頑健性: JPEG 圧縮、回転、切り取り、ガウシアンノイズ、さらには敵対的攻撃（Adversarial Attack）に対しても、80% 以上の高い精度を維持。
• 視覚品質: FID スコアや CSD スコアにおいて、透かしによる画質劣化は最小限に抑えられ、元の生成モデルの能力を損なわないことを確認。

5. 意義と結論

TokenTrace は、生成 AI の普及に伴う知的財産保護の重要な課題である「多概念の混在する画像からの個別帰属付け」を解決する画期的な手法です。

• 技術的革新: 透かしを「テキスト意味」と「潜在ノイズ」の両方に埋め込むことで、空間的重なりによる干渉問題を回避し、概念レベルでの分離を可能にしました。
• 実用性: 画像の視覚品質を維持しつつ、圧縮や編集に対しても頑健な透かしを実現しており、クリエイターの権利保護や生成コンテンツの追跡可能性（Provenance）を高める実用的なソリューションとなります。
• スケーラビリティ: 少量の追加学習で新しい概念を順次追加できる（Sequential Learning）設計となっており、大規模な概念ライブラリへの対応も可能です。

本論文は、生成 AI の倫理的利用と IP 保護の未来において、単なる「画像に透かしを埋める」ことではなく、「どの概念がどの生成に使われたかを論理的に証明する」新しいパラダイムを示しています。