MC2MARK: 長文メッセージ向け歪みなし多ビット透かし技術の技術的サマリー

本論文「MC2MARK: Distortion-Free Multi-Bit Watermarking for Long Messages」は、大規模言語モデル（LLM）によって生成されたテキストの真正性（プロベナンス）を追跡するための、長文メッセージを埋め込める歪みなし（Distortion-Free）な多ビット透かしフレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景

LLM の進歩により、人間と区別がつかないテキスト生成が可能になりました。これに伴い、AI 生成コンテンツの悪用や真正性の確認が課題となっています。統計的な透かし技術（Statistical Watermarking）は、秘密鍵を用いてテキスト生成に隠れた統計的パターンを導入し、検出を可能にしますが、既存の手法には以下のような限界があります。

既存手法の課題

1. 品質の低下: 従来の透かし手法はモデルの出力分布を歪ませる（Distortion）傾向があり、生成テキストの品質を低下させる可能性があります。
2. 0/1 判定の限界: 多くの歪みなし手法（DiPmark, STA-1 など）は「透かしが入っているか否か（0/1 判定）」のみを出力し、モデルIDやユーザーIDなどの具体的な情報（プロベナンス）を埋め込むことはできません。
3. 長文メッセージへの弱さ: 多ビット透かし（Multi-bit watermarking）を行う手法（MPAC, BiMark など）は存在しますが、メッセージ長が長くなると検出精度が著しく低下するか、歪みなしの性質を犠牲にする必要があります。特に BiMark は長文になるほど検出性が低下するという課題を抱えています。

本研究の目的: 生成テキストの品質を維持しつつ（歪みなし）、長文のメッセージ（例：256 ビット以上）を信頼性高く埋め込み、検出できる手法の開発。

---

2. 提案手法：MC2MARK

MC2MARK は、「マルチチャネル彩色再重み付け（Multi-Channel Colored Reweighting: MCCR）」と「マルチレイヤー逐次再重み付け（Multi-Layer Sequential Reweighting: MLSR）」、そして**「証拠蓄積に基づく検出」**の 3 つの主要技術で構成されます。

2.1. マルチチャネル彩色再重み付け (MCCR)

メッセージの各ビットを語彙集合の「色（緑：1、赤：0）」として解釈し、トークンの確率分布を調整する手法です。

• 語彙の分割: 語彙 $V$ を $n$ 個の互いに素な部分集合 $V_k$ に分割します。
• 色の割り当て: 埋め込む $n$ ビットのメッセージ $c$ に対応し、$c_i=1$ なら部分集合 $V_i$ を「緑（確率を高める）」、$c_i=0$ なら「赤（確率を低める）」として扱います。
• 歪みなしの制約: 鍵空間の対称性を利用し、すべての鍵 $k$ における期待値において元の分布 $P_M$ を維持するように重み付け係数 $\alpha_i$ を設計します。
  • 理想的な緑のスケール $s_t = n/l$ （$l$ はメッセージのハミング重み）を計算します。
  • 正規化制約を満たすため、実際のスケール $s_a$ とオーバーフロースケール $s_o$ を定義し、確率質量を再分配します。
  • これにより、メッセージビットを埋め込みつつ、期待値として元の分布を完全に再現（Unbiased）させます。

2.2. 生成プロセスと複雑性の削減

• セグメンテーション: 直接計算すると計算量が $O(\binom{n}{l})$ となり爆発するため、メッセージを $g$ 個のセグメントに分割し、各ステップでランダムに 1 つのセグメントとマスクベクトルを選択して処理します（ホワイトニング変換）。
• マルチレイヤー逐次再重み付け (MLSR):
  • 単一の再重み付けでは信号が弱い場合があるため、$m$ 層の異なる透かし鍵を用いて逐次的に分布を更新します。
  • 各層 $j$ において、前の層の分布に対して MCCR を適用します。
  • 各層の鍵は直前のトークンのハッシュから決定論的に生成され、復元可能です。
  • 単層が歪みなしであれば、独立同分布（i.i.d.）にサンプリングされた複数の層を積算しても歪みなしの性質は保たれます。

2.3. 検出プロセス（証拠蓄積）

生成されたテキストからメッセージを復元する際、以下の手順を踏みます。

1. 再構成: 生成されたトークン列 $x_{1:T}$ と秘密鍵から、生成時に使用されたセグメントインデックス、マスクベクトル、語彙分割を再構成します。
2. 証拠の蓄積:
   • 各トークンが「緑」の集合に属していた場合、対応するビットが「1」であった可能性が高いとみなします（マスクの XOR 演算を逆算）。
   • 各ビットに対して、「1」が支持される回数（Hit Count）と、「0」が支持される回数を蓄積します。
   • マスクの構成によるバイアスを補正するため、「観測機会（Opportunity）」のカウンターも維持し、正規化されたヒット率（HitRate）を計算します。
3. 判定: 各ビットについて、HitRate(1) と HitRate(0) を比較し、高い方を選択してメッセージを復元します。

---

3. 主要な貢献

1. MC2MARK フレームワークの提案: 長文メッセージ（256 ビット以上）に対しても、高い検出性と頑健性を維持しつつ、生成品質を損なわない歪みなし多ビット透かしを実現しました。
2. 技術的革新:
   • MCCR: メッセージビットに基づいてトークン部分集合を適応的にスケーリングし、期待値として分布を歪めない手法。
   • MLSR: 統計的シグナルを強化するための多層逐次再重み付け。
   • 証拠蓄積検出: ランダム性やマスク構成によるバイアスを除去し、堅牢にメッセージを復元する検出アルゴリズム。
3. 実証的優位性: 既存の多ビット透かし手法（MPAC, BiMark など）を、検出性・頑健性の両面で上回ることを実験で示しました。

---

4. 実験結果

4.1. 検出性（Detectability）

• データセット: 7 つの異なるドメイン（Book report, Fake news, Finance QA など）で評価。
• 結果:
  • 短メッセージ（16-64 ビット）: ほぼ 100% の精度を達成。
  • 長メッセージ（256 ビット）: 既存の最良手法（BiMark など）が 60% 前後で精度が低下する中、MC2MARK は 91% 以上（多くのケースで 95% 超）を達成し、2 位より約 30% 優位でした。
  • 512 ビット: 既存手法は 40% 台まで低下しますが、MC2MARK は 90% 前後を維持しました。
  • テキスト長が増加しても、MC2MARK の精度は 100% に急速に収束し、長文コンテキストに依存しない安定した検出性を示しました。

4.2. 頑健性（Robustness）

• 攻撃シナリオ: ランダムなトークン置換（10%〜50%）および Dipper によるパラフレーズ。
• 結果:
  • トークン置換攻撃に対して、短メッセージでは 30% 置換まで 100% 精度を維持。50% 置換でも 90% 超を達成しました。
  • パラフレーズ攻撃に対しても、すべてのメッセージ長において既存手法を凌駕する高い耐性を持ちました。

4.3. 歪みなし性（Distortion-Freeness）

• 評価タスク: テキスト要約と機械翻訳。
• 指標: BERTScore, ROUGE, BLEU, Perplexity。
• 結果: 「透かしなし」のベースラインと比較して、MC2MARK はこれらの指標にほとんど影響を与えず、生成品質（意味的正確性や流暢さ）が維持されていることを確認しました。

4.4. 消融実験（Ablation Study）

• マスクビット: マスクビットを除去すると、長文メッセージでの精度が大幅に低下しました。
• レイヤー数: 短文では少量のレイヤーで十分ですが、長文（256 ビット以上）ではレイヤー数を増やす（約 20 層）ことで精度が向上し、最適な性能を発揮しました。

---

5. 意義と結論

MC2MARK は、LLM 生成コンテンツの**プロベナンス追跡（Provenance Tracing）**を現実的なレベルで可能にする画期的な技術です。

• 実用性: 長文のメッセージ（モデルID、ユーザーID、タイムスタンプなど）を埋め込めるため、AI 生成コンテンツの規制や責任ある利用の基盤技術として期待されます。
• 品質維持: 透かしによる品質低下を回避しつつ、高い検出精度を達成した点は、実社会への導入において極めて重要です。
• 将来展望: 本研究は、多ビット透かしと歪みなし生成のトレードオフを解決し、長文メッセージ対応の新しいベンチマークを確立しました。

本論文は、2026 年 2 月 17 日付のプレプリントとして公開されており、大規模言語モデルのガバナンスとセキュリティの分野において重要な貢献を果たすと考えられます。