AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing

技術概要：AliMark

問題定義
大規模言語モデル（LLM）向けの既存の文レベルの透かし埋め込み手法（SemStamp など）は、トークンレベルのパターンではなく文の意味に透かしを固定することで、言い換えに対する堅牢性を高めることを目指しています。しかし、これらの手法は通常、プレフィックスベースの設計に依存しており、文の透かし信号はその先行文脈（例えば、直前の文）に条件付けられています。

本論文は、この設計における致命的な脆弱性、すなわち構造的摂動を特定しています。高度な言い換えモデル（DIPPER、GPT-3.5 など）は、文を分割または結合することでテキスト構造を頻繁に変更します。文が分割または結合されると、後続の文の文脈が変化します。透かし信号はこの特定の文脈に擬似ランダムに条件付けられているため、文脈のいかなる変更も検出に必要な擬似ランダムな関係性を破壊します。その結果、単一の構造的変更が連鎖し、複数の後続の文にわたって透かし信号の喪失を引き起こし、既存のフレームワークを強力な言い換え攻撃に対して脆弱なものにします。

手法：AliMark
これに対処するため、著者はAliMarkを提案します。これは、文間依存関係に依存するのではなく、潜在的に透かしが埋め込まれたテキストと秘密のビットシーケンスとの間のビットシーケンス符号化とアライメント問題として、文レベルの透かし埋め込みを再定式化するフレームワークです。

このフレームワークは、主に 2 つの段階で動作します。

1. 透かし埋め込みテキスト生成（埋め込み）:

   • プレフィックス文脈に条件付ける代わりに、AliMark はグローバルな秘密ビットシーケンス $s$ を透かし鍵として使用します。
   • このシーケンスはサイズ $M$ のブロックに分割され、各ブロックは 1 文に埋め込まれるビット信号に対応します。
   • 生成中、LLM は次の位置に対して $Q$ 個の候補文を生成します。
   • ビット信号抽出器（文エンベッダーと秘密ベクトルを使用）は、各候補の意味的エンベッディングを離散的なビットシーケンスに変換します。
   • システムは、抽出されたビットシーケンスが秘密ビットシーケンスの対応するブロックと一致する候補を選択します。これにより、テキスト全体が文の境界に依存しない連続的なビットパターンを符号化することが保証されます。

2. 透かし埋め込みテキスト検出:
   言い換えによって導入される構造的摂動（分割、結合、挿入、削除）に対処するため、AliMark は 2 段階の検出戦略を採用します。

   • 再構造化モジュール（RS）: このモジュールはテキストレベルで動作し、潜在的な元の構造を回復します。連続する 2 文を結合する単一ステップの再結合と、1 文を 2 つに分割する再分割操作を実行することで、複数のテキスト変異体を生成します。これにより、再構造化されたテキストの候補セットが作成されます。
   • 適応的ビットシーケンスアライメント（ABSA）: このモジュールはビットレベルで動作します。各再構造化候補に対して、ビットシーケンスを抽出し、長さの異なる秘密ビットシーケンス候補のセットに対してアライメントします（文数の変化を考慮するため）。
   • アライメント指標: 著者は、文レベルのシナリオ向けに調整された**ブロック編集距離（BER）**を導入します。標準的な編集距離とは異なり、BER は 1 文（$M$ ビットのブロック）の挿入/削除を固定コストを持つ単一の操作として扱い、置換コストはビットブロック間のハミング距離に基づきます。
   • スコアリング: システムは、各アライメント試行に対して $z$ スコアを計算します。最終的な透かしスコアは、すべての再構造化変異体とすべての秘密シーケンス長さ候補を通じて得られた最大 $z$ スコアです。

主な貢献

1. 構造的脆弱性の特定: 本論文は、構造的摂動（文の分割と結合）が自動的な言い換えにおいて一般的であり、プレフィックスベースの文レベル透かし埋め込み手法のパフォーマンスを壊滅的に低下させることを実証しています。
2. 新規定式化: AliMark は、文レベルの透かし埋め込みを、透かし信号を特定の文の文脈から切り離すグローバルなビットシーケンス符号化およびアライメントタスクとして再定式化することを提案します。
3. 堅牢な検出メカニズム: 再構造化モジュールと適応的ビットシーケンスアライメントの統合により、テキスト構造が大幅に変更された場合でも、透かし信号を回復することが可能になります。
4. 実証的検証: 広範な実験により、AliMark は、DIPPER や GPT-3.5 などの強力なモデルに対する強力な言い換え攻撃を含む多様な攻撃条件下で、SemStamp、k-SemStamp、および KGW などのトークンレベル手法を含む最先端のベースラインを大幅に上回ることが示されました。

実験結果

• 性能: Booksum や C4 などのデータセットにおいて、AliMark はベースラインが失敗する強力な言い換え攻撃下でも高い真陽性率（TPR）を維持します。例えば、OPT-1.3B を使用した場合、AliMark は DIPPER 条件下で TPR@5% が61.6%、GPT-3.5 条件下で**66.6%を達成しましたが、最良のベースライン（SemStamp）はそれぞれ26.7%および22.0%**まで低下しました。
• 敵対的堅牢性: 無作為な文の挿入、削除、並び替えを含むプロービング実験において、AliMark は一貫してベースラインを上回り、摂動率が 0.4–0.5 に達しても検出可能性を維持しました。
• テキスト品質: 困惑度（Perplexity）の分析は、透かしなしの出力と比較して AliMark がテキスト品質にほとんど劣化をもたらさないことを示しており、ブロックサイズ $M$ が増加してもわずかな増加のみが観察されました。
• 効率性: 検出プロセスには複数の候補の生成が含まれますが、動的計画法テーブル計算の統合などの工学的最適化により実行時間が管理可能に保たれ、入力文の数に対して線形にスケーリングします。

意義と主張
本論文は、AliMark が構造的変化に対する意味ベースの手法の特定の脆弱性に対処することで、LLM 透かし技術における必要な進化を提供すると主張しています。文脈依存のプレフィックスハッシュからグローバルシーケンスアライメントへ移行することで、AliMark は現代の LLM の高度な書き換え能力に対する堅牢な防御を提供します。著者は、自動執筆や言い換えが普及している時代において、コンテンツの真正性と学術的誠実性を確保するための重要な一歩としてこの研究を位置づけています。また、現在の再構造化モジュールは単一ステップのアプローチを使用しており、複雑な多段階の構造的変化を完全に処理できないという限界を認めており、将来的な研究として、より洗練された再構造化ヒューリスティックやカスタムトレーニングモデルの導入が提案されています。