技術的概要：Vaporizer - 大規模言語モデル出力に対する透かしスキームの破砕

問題定義

大規模言語モデル（LLM）の急速な普及は、コンテンツの真正性、盗作、モデル帰属に関する重大な懸念を提起している。これに対処するため、生成されたテキストに目に見えない信号を埋め込んで作者性を検証する透かし技術が提案されている。しかし、既存のスキームは堅牢で生産環境向けであると主張されているものの、意味を保持したテキスト操作に対する脆弱性は十分に研究されていない。本論文で扱われる核心的な問題は、統計的または暗号学的な現在の透かし手法が、テキストの表面構造を変更しつつその意味的整合性を保持する攻撃に対して脆弱であり、結果としてテキストが使用不能になることなく透かし信号を実質的に破壊され得る点である。

手法

著者は、包括的な改変テキスト攻撃に対して最先端の LLM 透かしスキーム 3 種の堅牢性をテストするための体系的評価フレームワークを開発した。本研究では、ChatGPT によって生成された 100 の多様な執筆プロンプトのデータセットを利用し、これらを対象の透かしシステムに処理させて透かし付き出力を作成した。また、基準比較のために透かしなしのテキストの対照群も生成された。

対象透かしスキーム

本研究は、現在の進展を表す 3 つの異なるアプローチを評価した：

1. 証明可能な堅牢な透かし（Zhao ら、2024）： トークン選択をバイアスするために「緑色」と「赤色」のトークンリストを使用する統計的手法。
2. 公的に検出可能な透かし（Fairoze ら、2025）： ハッシュ関数を用いて特定のトークンシーケンス内にデジタル署名を符号化する暗号学的アプローチ。
3. SynthID（Dathathri ら、2024）： Google DeepMind によるハイブリッド戦略で、トーナメントベースのサンプリングと秘密鍵でシードされたスコアリング関数を用いてトークンを選択する。

攻撃戦略

著者は、効果とテキスト品質の保持のバランスを取りながら、3 つの主要な攻撃カテゴリを実装した：

• 語彙的変換： 類義語置換（WordNet を使用）、ランダムな単語削除、ランダムな単語交換、隣接する単語の交換を含んだ。
• 機械翻訳： MarianMT フレームワークを使用した双方向翻訳（英語 $\leftrightarrow$ フランス語/ドイツ語/スペイン語）。
• ニューラルパラフレーズ： 意味を維持しつつテキストを言い換えるために、BART（facebook/bart-large-cnn）および Pegasus モデルを利用した。

単一ステップ攻撃と段階的攻撃の両方を実施し、改変強度と透かし劣化の関係を分析した。

評価指標

攻撃の有効性は、2 つの主要な基準に対して測定された：

1. 透かしの除去： 検出スコア（統計的手法には Z スコア、SynthID には g スコア）によって定量化された。特定の閾値（例：0 または 0.5）以下のスコアは、成功した除去を示した。
2. 意味および品質の保持： 以下の指標を用いて評価された：
   • BERT スコア： 元のテキストとの意味的類似性を測定するため。
   • テキストの複雑さ： Gunning Fog Index を通じて測定。
   • 可読性： Flesch Reading Ease 指標を用いて評価。
   • 文法誤り： LanguageTool を使用して検出および分類。

主要な結果

実験結果は、3 つのスキーム間で脆弱性のレベルが異なることを明らかにし、透かしは合理的な努力で除去可能であるという一貫した知見を示した。

1. 証明可能な堅牢な透かし

• 脆弱性： 3 つの中で最も強い抵抗性を示した。
• 最良の攻撃： ニューラルパラフレーズ、特にPegasus Paraphraseが、最も高い成功率（サンプルの 23% が検出閾値を下回った）と最低の平均 Z スコア（0.93）を達成した。
• その他の攻撃： 翻訳ベースの攻撃は中程度の効果を示し（成功率 4-5%）、類義語置換などの語彙的変換は最も効果が低かった（成功率 1-4%）。
• 品質のトレードオフ： Pegasus Paraphrase は、除去を達成しながらも合理的な文法誤り率を維持したが、単純なパラフレーズや類義語置換は深刻な品質劣化を引き起こした（例：類義語置換では文法誤率が 797% 増加）。

2. SynthID

• 脆弱性： 中程度の脆弱性を示した。
• 最良の攻撃： Pegasus Paraphraseが再び最も効果的であり、成功率は 14% であった。類義語置換（11%）と単語交換（9%）が続いた。
• 品質のトレードオフ： ニューラルパラフレーズは、除去を達成しつつ BERT スコアの低下を 12.8% に抑えるという最良のバランスを提供した。翻訳ベースの攻撃は効果が低かった（成功率 2-3%）が、意味内容をよく保持した。

3. 公的に検出可能な透かし

• 脆弱性： 完全な脆弱性を示した。
• 結果： テストされたすべての攻撃手法が、透かしの除去において 100% の成功率を達成した。
• 品質のトレードオフ： 除去は普遍的であったが、テキスト品質への影響は様々であった。単語交換は意味内容をよく保持したが（BERT 低下 9.25%）、翻訳ベースの攻撃は深刻な歪曲を引き起こした（例：ドイツ語への翻訳はテキストの複雑さを 315% 増加させた）。

一般的な知見

• ニューラルパラフレーズの支配性： すべてのスキームにおいて、ニューラルパラフレーズ技術（特に Pegasus）は、言語的品質を保持しつつ透かしの検出可能性を低下させるのに最も効果的であった。
• 逆相関関係： 攻撃の効果とテキスト品質の間には明確なトレードオフが存在する。成功した除去は、必ず意味の保持、可読性、または文法の正しさを劣化させた。
• 段階的攻撃： 段階的なテキスト改変は、意味の保持の劣化とほぼ線形関係にある検出スコアの低下をもたらした。

主要な貢献

本論文は以下の貢献を行う：

1. 最初の包括的な実証： 最先端の LLM 透かしスキームが、広範な意味保持攻撃に対して脆弱であるという実証的証拠を提供する。
2. 体系的評価フレームワーク： 複数の攻撃ベクトル（語彙的、翻訳、ニューラル）と検出指標（Z スコア、BERT、可読性、誤り）を網羅するフレームワークを開発した。
3. トレードオフの定量化： 異なる攻撃タイプにおける、透かし除去の効率とテキスト品質の劣化の間の特定のトレードオフを定量化した。
4. 段階的改変の分析： 段階的なテキスト変更が検出スコアと意味の保持の両方にどのように影響するかを分析した。
5. 設計上の推奨事項： 将来的なシステムは、単純な語彙的操作ではなくニューラルパラフレーズを妨害することに焦点を当て、ハイブリッド検出アプローチを考慮すべきであるという洞察を提供する。

意義と主張

著者は、自らの研究が既存の LLM 透かしシステムの強みと弱みを明らかにしていると述べている。主な意義は、特に「公的に検出可能な透かし」スキームの完全な失敗と、さえも「証明可能な」堅牢な手法が高度なニューラルパラフレーズに対して脆弱であるという、現在のスキームの脆さの実証的証明にある。

本論文は、透かしが目に見えない変更を導入することを意図している一方で、適応的変換は言語の固有の柔軟性を悪用してこれらの信号を消去すると主張している。著者は以下のように結論づける：

• 現在のスキームは、敵対的環境における信頼性の高い帰属には不十分である。
• 除去効率とテキスト忠実度の間には避けられないトレードオフが存在し、品質指標を組み合わせたハイブリッド検出システム（例：透かしスコアは限界値だが品質が劣化したコンテンツをフラグ付けする）が堅牢性を向上させる可能性がある。
• 将来の透かし設計は、表面レベルのテキスト特徴を超え、ニューラルパラフレーズに耐えるために深層意味構造内に信号を埋め込む必要がある。
• テストされたスキームの中で、証明可能な堅牢な透かしが現在最も安全な選択肢を提供しているが、高度な攻撃に対しては依然として脆弱である。

本研究は、これらの知見が実世界アプリケーションにおける透かし手法の信頼性を強化し、より安全なコンテンツ認証技術の開発を導くために重要であることを強調している。