💬 NLP

XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts

本論文は、LLM 生成テキストへの多ビット透かしの埋め込みにおいて、既存手法が抱える計算コスト、品質と精度のトレードオフ、および短テキストでの復号精度の低下といった課題を解決し、テキストの品質を損なわずに少ないトークン数でも高精度な復号を可能にする新たな手法「XMark」を提案するものである。

原著者： Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

XMARK：AI が書いた文章に「見えないシール」を貼る新技術

この論文は、**「XMARK」**という新しい技術について紹介しています。これは、AI（大規模言語モデル）が生成した文章に、人間には見えない「デジタルのシール（透かし）」を貼り付ける方法です。

AI が書いた文章が、いつ、誰によって、どのアカウントで作られたかを特定するために使われます。特に、悪意のある使い方を追跡したり、著作権を守ったりする際に役立ちます。

この技術を、日常の例えを使ってわかりやすく解説します。

1. 従来の技術の「悩み」：シールが剥がれやすい

以前から、AI の文章に「透かし」を入れる研究はありました。しかし、いくつかの大きな問題がありました。

問題 A：メッセージが長いと計算が重すぎる
- 例え： 短いメッセージ（「A」）を貼るなら簡単ですが、長いメッセージ（「A-B-C-D...」）を貼ろうとすると、解読するためにすべての可能性を試さなければならず、パソコンがパンクしてしまいます。
問題 B：文章の質が落ちる
- 例え： 透かしを貼るために、AI が無理やり変な言葉を選ばされてしまい、文章が不自然になったり、意味が通らなくなったりしました。
問題 C：文章が短いと見つけられない
- 例え： 透かしを見つけるには、ある程度の長さの文章が必要でした。しかし、現実には短いツイートや短いチャットメッセージも多いです。文章が短いと、透かしが「消えてしまった」ように見えてしまい、解読できませんでした。

2. XMARK の解決策：「見えないシール」の進化版

XMARK は、これらの問題をすべて解決するために、3 つの工夫をしました。

① 「残す」ではなく「除く」作戦（LOSO）

従来のやり方： 「特定の 1 つの箱（単語のグループ）」だけを選んで、その中から言葉を選ぶ。
- 例え： 100 個の箱から「赤い箱」だけを選んで言葉を選ぶと、AI の自由が制限されすぎて、文章が不自然になります。
XMARK のやり方（LOSO）： 「特定の 1 つの箱」以外の、99 個の箱から言葉を選ぶ。
- 例え： 「赤い箱」だけ避けて、他の箱から自由に言葉を選ばせます。これなら AI の自然な流れを壊さず、文章の質をキープできます。
- 解読の仕組み： 解読するときは、「赤い箱」から一番言葉が出てこなかったことをヒントにして、「あ、これは赤い箱を避けて作られた文章だ（＝特定のメッセージが含まれている）」と推測します。

② 「永遠のグリーンリスト」：複数の視点で見る

工夫： 1 回だけ箱の並び替えをするのではなく、**複数の鍵（ハッシュキー）**を使って、何度も箱の並び替えを行います。
例え：
- 鍵 A で並び替えたとき、「犬」「猫」が選べる。
- 鍵 B で並び替えたとき、「犬」「猫」が選べる。
- 鍵 C で並び替えたとき、「犬」「猫」が選べる。
- XMARK は： これらすべての鍵で「選べる状態」だった言葉（犬や猫）だけを**「永遠のグリーンリスト」**として特別扱いします。
メリット： 文章が短くても、複数の鍵の視点から「犬」や「猫」が選ばれている回数を見ることで、透かしの信号を強く捉えることができます。

③ 「賢いカウント帳」：重複カウントを防ぐ（cTMM）

従来の問題： 複数の鍵で同じ言葉が選ばれた場合、単純に回数を足し算すると、偶然選ばれた言葉が「透かしがある証拠」と誤ってカウントされすぎてしまうことがありました。
XMARK の工夫： 「1 つの言葉は、1 つの箱に対して最大 1 回しかカウントしない」というルール（制約付きカウント帳）を作りました。
例え： 10 回同じ「犬」が出てきても、それが「犬の箱」から出たのか「猫の箱」から出たのかを、重複して数えすぎないように整理します。これにより、短い文章でも「本当の透かし」を見分ける精度が劇的に上がります。

3. 結果：何がすごいの？

実験の結果、XMARK は以下の点で他を凌駕しました。

解読精度が圧倒的に高い：
- 文章が短くても（例えば 150 語程度）、98% 以上の確率で透かしを読み取れます。従来の方法は、文章が短いと精度がガクンと落ちていました。
文章の質が保たれる：
- 透かしが入っているかどうかも、人間にはほとんどわかりません。AI が書いた自然な文章のままです。
長いメッセージにも対応：
- 長いメッセージ（ユーザー ID や日時など）を埋め込んでも、計算が重くなりすぎず、速く解読できます。

まとめ

XMARKは、AI の文章に「見えないシール」を貼る技術の**「完全版」**と言えます。

以前の技術： 文章が短かったり、メッセージが長かったりすると、シールが見えなくなったり、文章が壊れたりしていた。
XMARK： 「複数の鍵で見る」「重複カウントを防ぐ」という工夫で、短い文章でも、長いメッセージでも、文章を壊さずに、確実にシールを読み取れるようにしました。

これにより、AI が生成した文章の「誰が作ったか」「どこから来たか」を、より安全かつ正確に追跡できるようになります。

XMARK: LLM 生成テキストのための信頼性の高い多ビット透かし技術

以下は、提出された論文「XMARK: Reliable Multi-Bit Watermarking for LLM-Generated Texts」の技術的な要約です。

1. 問題設定 (Problem)

大規模言語モデル（LLM）の普及に伴い、生成されたテキストの悪用（偽ニュース、フィッシングメールなど）への対策として、AI 生成コンテンツの検出と帰属確認（アトリビューション）が急務となっています。

ゼロビット透かし: 「AI 生成かどうか」のみを検出する既存手法では、悪用者の特定やメタデータ（ユーザー ID、タイムスタンプなど）の埋め込みが不可能です。
多ビット透かし: テキスト内に二進数のメッセージを埋め込む手法ですが、既存手法には以下の重大な課題がありました。
1. 計算コスト: 長いメッセージを復号するために全候補を列挙する必要があり、計算量が爆発的に増加する。
2. 品質と精度のトレードオフ: 透かしの信号を強くするとテキストの品質（流暢さ）が劣化し、逆に品質を維持すると復号精度が低下する。
3. 短いテキストへの脆弱性: 生成されたトークン数が限られている場合（実運用で頻繁に発生する状況）、既存手法の復号精度が著しく低下する。

2. 提案手法：XMARK

これらの課題を解決するため、著者らはXMARKを提案しました。これは、複数の語彙順列（permutations）にわたって「グリーンリスト」を構築し、復号精度とテキスト品質を両立させる新しいエンコーダ・デコーダ設計です。

2.1 エンコーダの核心技術

XMARK のエンコーダは、以下の 3 つの主要な設計思想に基づいています。

LOSO (Leave-one-Shard-out) 戦略:
- 既存手法（MPAC など）は、メッセージに対応する「1 つのシャード」をグリーンリスト（信号強化リスト）として選択し、残りを強化しない方式をとっていました。これによりグリーンリストの比率が低く（例： $2^{-d}$ ）、テキストの歪みが生じやすかった。
- XMARK はこれを逆転させ、メッセージに対応する 1 つのシャードを「除外」し、残りのすべてのシャードをグリーンリストとして選択します。これによりグリーンリストの比率が大幅に向上（例： $1 - 2^{-d} \geq 0.75$ ）し、トークンサンプリングの確率分布への歪みが最小化され、テキスト品質が維持されます。
Evergreen List (常緑リスト) の構築:
- 単一のハッシュ鍵ではなく、 $k$ 個の異なるハッシュ鍵を用いて $k$ 種類の語彙順列を生成します。
- 各順列において LOSO 戦略でグリーンリストを構築し、それら $k$ 個のリストの**共通部分（Intersection）**を「Evergreen List」として定義します。
- このリストに含まれるトークンのログイット（logit）にバイアス $\delta$ を加え、サンプリング確率を上げます。
- 効果: 複数の順列の共通部分を取ることで、グリーンリストのサイズを制御しつつ、復号時に利用可能な観測データ（トークン）の数を増やすことができます。
制約付きトークン - シャード対応行列 (cTMM) を用いたデコーダ:
- 既存のデコーダは、トークンがどのシャードに属するかを単純にカウントする行列（TMM）を使用しますが、短いテキストでは統計的な推定が不安定になります。
- XMARK はcTMMを導入します。これは、各トークンが各シャードに対して最大 1 回しかカウントに寄与しないよう制約をかける行列です。
- 効果: これにより、強化されていないシャード（メッセージを符号化するシャード）の過剰なカウントを防ぎ、限られたトークン数であっても、強化されたシャードと強化されていないシャードの区別を明確にします。これにより、短いテキストでの復号精度が飛躍的に向上します。

3. 主要な貢献 (Key Contributions)

LOSO 戦略の導入: グリーンリストの比率を最大化し、テキスト品質を大幅に改善しながら透かし信号を埋め込む新しいパラダイムを確立しました。
Evergreen List と cTMM の組み合わせ: 限られたトークン数でも高信頼な復号を可能にする、頑健なエンコーダ・デコーダの共設計を行いました。
計算効率の向上: 既存の多ビット透かし手法が抱える「全候補列挙」による計算コストの問題を回避し、高速な復号を実現しました。

4. 実験結果 (Results)

LLaMA-2-7B/Chat などのモデルを用い、テキスト完了、要約、物語生成、機械翻訳などのタスクで評価を行いました。

復号精度 (Bit Accuracy):
- 短いトークン数（ $T=150$ ）の条件下でも、XMARK は既存の最良手法（MPAC など）を大幅に上回る精度を達成しました（例：テキスト完了タスクで 98.75% vs MPAC 94.00%）。
- メッセージ長（ $b=32$ ）が長い場合でも、他の手法が精度を大きく落とす中、XMARK は高い精度を維持しました。
テキスト品質 (Perplexity & Semantic Metrics):
- 透かしを施したテキストのパープレキシティ（PPL）は、無加工のテキストに極めて近く、MPAC や CycleShift などの既存手法よりも品質が優れていました。
- BERTScore や ROUGE などの意味的・語彙的指標でも、透かしによる劣化は最小限に抑えられました。
頑健性 (Robustness):
- コピー＆ペースト攻撃や言い換え（Paraphrase）攻撃に対して、既存手法よりも高い耐性を持っていました。
計算コスト:
- 復号時間は MPAC と同様に極めて高速（約 0.08 秒）であり、DepthW などの列挙型手法に比べて計算効率が圧倒的に高いことが確認されました。

5. 意義と結論 (Significance)

XMARK は、LLM 生成テキストの透かし技術において、**「品質」「復号精度（特に短いテキスト）」「計算効率」**という、従来はトレードオフ関係にあった 3 つの要素を同時に最適化した画期的な手法です。

実用性の向上: 実際の運用では生成テキストが短いケースが多いため、短いテキストでも信頼性高く悪用者を特定できる点は、セキュリティ対策として極めて重要です。
メタデータ埋め込みの現実化: 高品質なままユーザー ID やタイムスタンプなどの多ビット情報を埋め込むことが可能となり、AI 生成コンテンツの責任所在を明確にするための基盤技術として期待されます。

今後の課題として、パラメータ $d$ （シャード数）や $k$ （鍵数）の自動調整、およびより高度な編集攻撃への耐性強化などが挙げられていますが、本研究は多ビット透かし技術の新たな基準を設定するものと言えます。