技術的サマリー：ArcMark

問題定義

本論文は、大規模言語モデル（LLM）におけるマルチビット透かしの課題に取り組む。既存の手法は、AI 生成テキストを検出するために単一のビット（ゼロビット透かし）を埋め込むか、ゼロビットの原理を拡張して複数のビットを埋め込む（例：トークンあたり 1 ビット）ことができるが、これらのアプローチは容量において限界がある。現在の手法は、数百トークンのシーケンスに数ビットを超える情報を信頼性高く埋め込むことに苦労している。

著者は重要なギャップを特定している。実用的な応用（ユーザー ID、モデルバージョン、またはプロンプト自体の埋め込みなど）には、複数のバイトの情報を埋め込む能力が必要である。さらに、LLM 透かしの「ゴールドスタンダード」とは、透かし処理が LLM の平均的な次のトークンの予測を変化させない、つまりテキストの品質とペルプレキシティを維持する歪みなしの埋め込みである。本論文は以下の 2 つの中心的な問いを提起する：

1. 次のトークンの予測を歪ませずに LLM 出力に埋め込むことができる情報の理論的限界（容量）は何か？
2. 実用的な方式はこの限界に近づき、信頼性のあるマルチバイト挿入を達成できるか？

手法：ArcMark

著者は、符号理論と最適輸送に基づく透かし構成であるArcMarkを導入する。核心的な洞察は、マルチビット透かしを独立したトークン決定の列としてではなく、エンコーダ（透かし埋め込み者）とデコーダの両方で利用可能なサイド情報付きのチャネル符号化問題として再定義することである。

1. 情報理論的定式化

著者は、LLM を「ノイズ」が次のトークン分布（$Q_{X_t}$）の固有のランダム性であるノイズチャネルとしてモデル化する。彼らは歪みなしマルチビット透かしに対するシャノン容量を導出する。

• 歪みなし制約： 透かしされたトークンの周辺分布は、共有サイド情報に対する期待値において元の LLM 分布と等しくなければならない：$E_{S_t}[Q_{X_t|S_t, M=m}] = Q_{X_t}$。
• 容量の導出： 次のトークン分布が独立同一分布（i.i.d.）の確率変数であると仮定すると、容量は歪みなし制約の下で、符号化メッセージ $W$ と出力 $X$ の間の相互情報量 $I(W; X)$ を最大化したものとして定義される。
• 理論的限界： 特定の二値トークン分布のクラスに対して、語彙サイズが無限大に近づくにつれて、容量は約0.2787 ビット/トークンであることが導出される。

2. ArcMark 構成

ArcMark は、問題を幾何学的空間にマッピングし、最適化問題を解くことで信頼性のある埋め込みを実現する：

• 幾何学的表現： トークン語彙、メッセージ符号語記号、共有ランダムキーはすべて、単位円上の点（角度）にマッピングされる。
  • トークンは $2\pi i / N$ にマッピングされる。
  • メッセージ記号は $2\pi c / p$ にマッピングされる。
  • サイド情報（ランダムシフト）は $2\pi v / r$ にマッピングされる。
• 符号化（線形符号）： $k$ ビットのメッセージは、整数 $p$ に関するランダム線形符号を用いて符号語記号 $C_m(t)$ にマッピングされる。この記号は、共有ランダムシフト $V_t$ と結合され、円上の目標角度 $z_t$ を生成する。
• 埋め込み（最適輸送）： LLM の出力分布を歪ませずにメッセージを埋め込むために、透かし埋め込み者は、歪みなし制約を満たしつつ、選択されたトークンと目標角度 $z_t$ の間で「近い」トークン $X_t$ を選択しなければならない。これは**最適輸送（OT）**問題として定式化される。
  • 透かし埋め込み者は、選択されたトークンと目標角度の間の期待角度距離を最小化し、かつ周辺分布が元の LLM 分布と一致するという制約を満たす条件付き分布 $Q^*_{X_t|Z_t}$ を解く。
  • これはシンクホーンアルゴリズムを用いて効率的に解かれる。
• 復号： デコーダはトークン列と共有サイド情報を観測する。送信された角度を推定し、共有ランダム性を除去して符号語記号を回復し、すべての可能なメッセージに対して最小距離復号を実行して完全なメッセージを回復する。

主要な貢献

1. ArcMark アルゴリズム： 数百トークンの間に複数のバイトの情報を埋め込むことができる、新しい歪みなしマルチビット透かし方式。
2. 容量の特性化： シェンノン容量の形式的な導出による歪みなしマルチビット LLM 透かしの特性化。この問題はサイド情報付きチャネル符号化問題として定式化される。
3. 理論的最適性： 特定の簡略化された仮定（二値トークン分布）の下で、ArcMark が導出されたシャノン容量を達成することを証明。
4. 実証的検証： メッセージ精度と頑健性において既存のマルチビット手法（特に BiMark と MPAC）を上回り、歪みなしの特性を維持することを示す包括的な評価。

実験結果

著者は、C4-RealNewslike データセットを使用して、3 つのオープンウェイトモデル（Llama3-8B、Mistral-7B、Qwen3-8B）で ArcMark を評価した。

• メッセージ精度： ArcMark は、特に大きなペイロード（2、3、4 バイト）において、完全なメッセージを回復する点で BiMark を大幅に上回る（メッセージ精度）。ビット精度も重要であるが、本論文は運用指標としてメッセージ精度を強調しており、単一のビット誤りがメッセージ全体（例：ユーザー ID）を誤ったものにする可能性があることに言及している。
• 頑健性： ArcMark は、言い換え攻撃（特にフランス語へのバックトランスレーション）に対して優れた頑健性を示す。高い攻撃率（文の 30% が言い換え）であっても、ArcMark は攻撃を受けていない BiMark よりも高いメッセージ精度を維持する。
• 歪みなしの特性：
  • ペルプレキシティ： ArcMark のペルプレキシティは、透かしなしのベースラインとほぼ同一であり、BiMark よりも近い。これにより LLM の出力分布の維持が確認された。
  • 下流タスクでの有用性： 抽出型質問応答（SQuAD）、長文脈コード補完（LCC）、機能的なコードの正しさ（HumanEval）において、ArcMark は透かしなしのベースラインと比較して意味のある劣化を示さない。
• ゼロビット検出： ArcMark は、150 トークンからほぼ完璧な検出率に達する高い精度でゼロビット検出（テキストが透かしされているかどうかの判定）をサポートする。

意義と主張

本論文は、マルチビット透かしをヒューリスティックな問題から、クロード・シャノンに遡るサイド情報付きチャネル符号化問題へと再定義することを主張する。容量と符号設計への視点の転換により、著者は情報理論が LLM 透かしの限界を理解するための数学的基盤を提供すると同時に、それらを設計するための構築的な道筋を提供すると論じている。

ArcMark の意義は、テキストの品質を歪ませることなく、バイト（ビットだけでなく）の情報を信頼性高く埋め込む能力にある。これにより、ユーザープロンプト、モデルバージョン、特定のモデルインスタンスの追跡といった、説明責任や規制遵守に不可欠な実用的な応用が可能になる。著者は、ビットレベルの精度ではなくメッセージレベルの精度を最適化することで、誤った帰属のリスクが軽減されると指摘している。

本論文は、容量分析が特定の分布仮定に依存しているものの、この枠組みがより広範な理論的記述への扉を開き、より高い回復率とより強力な頑健性の保証を持つ透かしの設計を可能にすると結論付けている。