💬 NLP

SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness

本論文は、ステップ非依存のセマンティックアンカーを確立し、マルチチャネル双曲線スコアリングを採用することで、頑健な段落レベルの言い換え耐性を実現し、高品質な生成を維持しながら既存のベースラインを大幅に上回る自己アンカー型テキスト透かしフレームワーク「SAMark」を提案する。

原著者： Jiahao Huo, Wenjie Qu, Yibo Yan, Kening Zheng, Jiaheng Zhang, Xuming Hu, Philip S. Yu, Mingxun Zhou

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiahao Huo, Wenjie Qu, Yibo Yan, Kening Zheng, Jiaheng Zhang, Xuming Hu, Philip S. Yu, Mingxun Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがパン屋だと想像してください。特定のパンが競合他社ではなく、あなたの厨房で作られたことを証明したいとします。あなたは、生地の内部に小さく目に見えないスタンプを隠すことにしました。

従来の問題：「ステップバイステップ」スタンプ
AI テキストの透かし埋め込みの大部分の従来手法は、特定のレシピ順に従ってパンを焼いた場合のみスタンプが押されるようなものでした。

パンを正しい順序（文 1、次に文 2、次に文 3）で焼けば、スタンプは現れます。
しかし、誰かがそのパンを切り分け、スライスをシャッフルしたり、順序を入れ替えたり（「段落レベルの言い換え」）した場合、スタンプは消えてしまいます。検出器はシャッフルされたパンを見て、順序が間違っていると判断し、「これは私のパンではない！」と宣言してしまいます。実際にはそうではないのにです。

これは、「スタンプ」がどこに印をつけるかを決めるために文脈（その前に何が来たか）に依存していたためです。文脈が変われば、スタンプは消えてしまいます。

新しい解決策：SAMARK（「自己基準」スタンプ）
この論文の著者である SAMARK は、文について変わらない唯一のものは、それが段落のどこに位置しようが、周囲の単語が何であろうが、その意味（意味論）であると気づきました。

彼らは、「スタンプ」を段落の順序ではなく、文そのものだけに紐付ける新しいシステムを作成しました。

アナロジー： 各文には、その文が何を言っているかだけに基づいて、目に見えないユニークなバーコードが印刷されていると想像してください。
結果： 人間や別の AI が段落を書き換えたり、文を入れ替えたり、順序を変えたりしても、個々の文に付いたバーコードは無傷のまま残ります。検出器はシャッフルされた段落をスキャンし、個々の文のバーコードを読み取って、「はい、これらの文はすべて私の厨房で焼かれました」と判断できます。

どのように機能させたか（「秘密のソース」）
テキストの質を損なうこと（ロボットっぽく聞こえたり、反復的になったりする）なくこれを機能させるため、彼らは 3 つの巧妙なトリックを使用しました。

「双曲線」増幅器：
これは音量ノブのようなものです。AI が文を選ぶ際、その文の「バーコード」が秘密のパターンと一致するか確認します。完全に一致する文もあれば、わずかにしか一致しない文もあります。
- 従来の手法は、すべての一致を同じように扱いました。
- SAMARK は、完全な一致に対しては音量を最大に上げ、弱い一致に対しては音量を下げるための特別な数学的曲線（双曲線）を使用します。これにより、テキストが攻撃を受けた後でも、信号ははるかに鮮明になり、見逃されにくくなります。
「多様性」フィルター：
透かし埋め込みの一般的な問題として、AI が「スタンプ」を可視化するために同じフレーズを繰り返すループに陥ってしまうことがあります。
- SAMARK は厳格な編集者のように機能します。文を選ぶ前に、「この正確なフレーズは以前に使ったか？」（N-gram フィルター）と「この文は直前の文と似すぎていないか？」（意味論的フィルター）を問います。
- 答えが「はい」の場合、その文は破棄され、再度試行されます。これにより、最終的なテキストは反復的ではなく、自然で多様に聞こえることが保証されます。
「盲検」検出器：
テキストをチェックする際、検出器は元の順序を知る必要はありません。すべての文を見て、文の過半数に基づいて「秘密のパターン」を推測し、その推測とテキストが整合しているか確認します。これは、出来事の正確な順序を知る必要ではなく、過半数の投票に基づいて評決を下す陪審員のようなものです。

結果
この論文は、SAMARK がゲームチェンジャーであると主張しています。

堅牢性： 文をシャッフルし、段落を書き換える（最も厳しい攻撃）ことで透かしを「破壊」しようとした際、SAMARK は約**90%の確率で生き残りました。最善の従来手法は約60%**しか生き残れず（30% 以上低下）、SAMARK の方がはるかに優れています。
品質： テキストは依然として自然に聞こえます。著者は AI ジャッジを使用して、透かし入りテキストと通常のテキストを比較しました。その結果、多様性フィルターが退屈な反復を防いだため、透かし入りバージョンは同等か、むしろわずかに優れていました。
効率性： 他の高度な手法と比較して、テキスト生成にかかる時間はほとんど増えません。

まとめ
従来の透かしは、ドアを特定の順序で閉めなければ機能しない鍵のようなものでした。家具を配置し直せば、鍵は壊れてしまいます。SAMARKは、すべての家具のそれぞれに、ユニークで壊れないシールを貼るようなものです。部屋をどのように配置し直しても、これらのシールは依然として、すべての家具が同じ工場から来たことを証明します。

技術概要：SAMARK - 段落レベルの言い換え耐性を持つ自己アンカー型テキスト透かし

1. 問題定義

生成 AI（GenAI）の急速な発展は、機械生成テキストを特定するための堅牢な手法を必要としています。大規模言語モデル（LLM）の透かし技術は一つの解決策として登場しましたが、既存の手法は**段落レベルの言い換え攻撃（PPA）**という致命的な脆弱性に直面しています。

現在の透かし方式は以下の 2 種類に分類されます：

トークンレベル透かし（TWM）： トークンサンプリング分布を変更します（例：グリーン・レッドリスト）。効率的ですが、これらのシグナルは、ローカルな編集、単語の置換、または削除によって容易に希釈・除去されてしまいます。
セマンティックレベル透かし（SWM）： 文を基本単位とし、シグナルをセマンティック空間に埋め込みます。ローカルな編集に対してはより堅牢ですが、既存の SWM 手法（SemStamp、PMark など）はステップ依存のランダムシードに依存しています。これらのシードは通常、先行する文脈（コンテキストハッシュ）または固定されたステップインデックスから導出されます。
- 文脈依存の脆弱性： 攻撃者が先行する文を言い換えると、再構成されたシードが変化し、検出シグナルが機能しなくなります。
- ステップ依存の脆弱性： 攻撃者が段落内の文の順序を入れ替えると、ステップインデックス付きのシードが文の位置と一致しなくなり、検出スコアが乱されます。

本稿で扱われる核心的な問題は、高いテキスト品質と検出精度を維持しつつ、PPA（順序入れ替えとグローバルな言い換え）に対して本質的に堅牢なセマンティックレベルの透かし方式の欠如です。

2. 手法：SAMARK フレームワーク

著者は、文の順序と文脈への依存を排除し、セマンティック空間にステップに依存しないグリーン領域を確立するフレームワークSAMARK（Self-Anchored Mark）を提案します。

2.1. 核心的洞察：自己アンカー条件（SAC）

根本的な革新は自己アンカー条件であり、ここで文のランダムシードは、その位置や先行する文脈ではなく、文自身の内在的なセマンティクスにのみ依存します。

メカニズム： 文 $u$ に対して、ランダムシードは $r_t = R(\phi(u); k)$ となります。ここで $\phi(u)$ はセマンティック表現、 $k$ は秘密鍵です。
理論的保証： 定理 1 は、この条件がグローバルに静的な「実行可能領域」（グリーン領域） $\mathcal{G} \subseteq \Omega$ を確立することを証明しています。文がグリーン領域に属するのは、それがテキストのどこに、いつ現れるかに関わらず、その自身のセマンティクスが鍵の下で有効な分割にマッピングされる場合に限られます。これにより、順序入れ替えや文脈変更に対する堅牢性が保証されます。

2.2. 生成器：マルチチャネル双曲サンプリング

透かし付きテキストを生成するために、SAMARK はマルチチャネル双曲スコアリング機構によって強化された棄却サンプリング戦略を採用します：

候補生成： ベース LLM から $N$ 個の候補文をサンプリングします。
チャネルマッチング： $c$ 個のピボットベクトル（チャネル）にわたって、ターゲットフラグパターン $R$ と整合するセマンティック埋め込みを持つ候補のみをフィルタリングして保持します。
双曲スコアリング： 生のコサイン類似度を使用する代わりに、符号付きコサイン類似度に対して双曲正接（ $\tanh$ $tanh$ ）変換を適用します：
$S_{wm}(x) = \sum_{j=1}^{c} \tanh(\kappa \cdot r_j \cdot \cos(E(x), v_j))$
- 目的： これにより、強い整合性を持つ候補を増幅（スコアを $\pm 1$ へ押し上げる）し、ゼロに近いノイズを抑制します。これは、言い換え攻撃下での既知の失敗点である決定境界付近へのスコアの集中を防ぎます。
多様性認識フィルタリング： 厳格な透かし制約に伴う品質低下（例：反復的なテキスト）を防ぐため、SAMARK は以下を統合します：
- ハードフィルタリング： 以前に生成された文との高い n-gram 重なりまたは高いセマンティック類似度を持つ候補を削除します。
- ソフト正則化： 最終選択スコアに多様性ボーナス（セマンティック多様性のための $\lambda_{div}$ 、語彙の新規性のための $\lambda_{nov}$ ）を追加します。
選択： 制御された確率性を導入するため、フィルタリングされた候補にソフトマックス分布を適用します。

2.3. 検出器：多数決ブラインド検出

検出器は、生成時に使用された特定のターゲットフラグに関する事前知識なしに動作します：

セグメンテーションと埋め込み： テキストを文に分割し、埋め込みを計算します。
ブラインドフラグ推論： 真のフラグ $R$ が未知であるため、検出器はテキスト内のすべての文の方向性応答に対する多数決を通じてそれらを推論します。
双曲整合： 生成時に使用されたのと同じ $\tanh$ 変換を推論されたフラグに適用します。
Z テスト： 変換された整合行列に基づいてグローバルな Z 統計量を計算します。統計量が閾値を超えた場合、そのテキストは透かし付きと分類されます。

3. 主要な貢献

自己アンカー型パラダイム： 透かしシグナルを文の順序と文脈から切り離す最初のフレームワークであり、PPA に対して堅牢にします。
マルチチャネル双曲スコアリング： 堅牢なシグナルを増幅しノイズを抑制する新しいスコアリング機構であり、境界付近へのスコア集中の問題に対処します。
多様性認識フィルタリング： 堅牢性と品質のトレードオフを緩和する組み合わせのハード/ソフトフィルタリング戦略であり、セマンティックな冗長性と反復生成を防ぎます。
実証的検証： 堅牢性と品質において最先端のパフォーマンスを実証する包括的な評価。

4. 実験結果

実験は、Llama-3.1-8BおよびMistral-Small-3.1-24Bモデルを使用して、C4およびBOOKSUMデータセットで行われました。

堅牢性（RQ1）： SAMARK は、PPA 下において既存のベースライン（KGW、SemStamp、PMark などを含む）を大幅に上回ります。
- 困難なDoc-P II攻撃（攻撃的な言い換え）において、SAMARK は Mistral+BOOKSUM において**90.2% の TP@FP1%を達成し、次点のベースライン（PMark）の57.5%**と比較して優れています。
- これは、最も強力な先行ベースラインに対して平均30% 以上の改善を表します。
- SAMARK はすべての攻撃シナリオで高い検出率（>72%）を維持しますが、ベースラインはしばしば 30% 未満に低下します。
テキスト品質（RQ2）： SAMARK は、透かしなしのテキストと競争力のある生成品質を維持します。
- ペアワイズ LLM 判定により、SAMARK は透かしなしのベースラインに対して高い勝率を達成することが示されています。
- 文重複（SD）や Distinct-2（D-2）などの指標は、多様性認識フィルタリングが他の SWM 手法で一般的に見られる反復問題を効果的に防止していることを示しています。
効率性（RQ3）：
- SAMARK はセマンティックレベル手法の計算オーバーヘッドを削減します。出力トークンあたりのサンプリング済みトークン数は47.44であり、SemStamp（64.5）や PMark（49.73）よりも大幅に少ないです。
- 検出レイテンシは無視できるレベル（トークンあたり 0.0014 秒）であり、一部のマルチビット手法で必要とされる LLM ベースの再生成を回避するためです。
アブレーション研究（RQ4）：
- 生成における双曲変換を除去すると、堅牢性が劇的に低下します（例：Doc-P II の TP@FP1% は 93.2% から 67.4% に低下）。これはその決定的な役割を確認するものです。
- 多様性フィルタを無効化すると、品質が大幅に低下します（反復の増加と多様性の低下）。

5. 意義と主張

本論文は、SAMARK がセマンティックレベル透かしにおけるパラダイムシフトを表すと主張しています。ステップ依存シードから自己アンカー型アプローチへ移行することで、この分野を制限してきた「段落レベルの言い換え耐性」という「解決が困難な」問題を解決します。

トレードオフの打破： SAMARK は、堅牢性とテキスト品質の間の従来のトレードオフを成功裏に打破し、流暢さや多様性を犠牲にすることなく、深刻な攻撃下で高い検出率を達成します。
実用的な展開： この手法は、ユーザーによって頻繁に編集、短縮、または言い換えられるコンテンツを扱う実世界の LLM サービスに対する実現可能な解決策として提示されています。
限界： 著者は控えめに、SAMARK は現在の自己回帰型 LLM の限界である文レベルの候補サンプリングの必要性により、トークンレベルの手法よりも高いレイテンシを依然として負っており、また現在、マルチビットペイロード埋め込みではなくゼロビット（はい/いいえ）検出のみをサポートしていると認めています。

結論として、SAMARK は敵対的環境における AI 生成テキストの特定のための堅牢で高品質かつ効率的な解決策を提供し、セマンティックレベル透かしにおける新たな最先端を確立します。