技術要約：言語モデルのウォーターマーク検出の改善

問題提起

大規模言語モデル（LLM）の急速な普及により、AI生成コンテンツ（AGC）と人間が書いたテキストを区別する必要性が急務となっています。ウォーターマーキングは、モデル所有者がログ確率を計算できるホワイトボックスへのアクセス権を持つ第一当事者（1P）検出において、強力な戦略として浮上していますが、その有効性は言語モデルの出力分布のエントロピーに大きく依存します。実際、特に指示チューニングや人間からのフィードバックによる強化学習（RLHF）を経てポストトレーニングされた現代の多くのモデルは、限定的なエントロピーを示します。この制限により、特に事実に基づいたプロンプトや高度に制約されたプロンプトにおいて、ウォーターマークに基づく検出は困難になります。逆に、非ウォーターマーク検出手法（バイナリ分類器や尤度ベースのスコアなど）は、高エントロピー領域における特異性や、異なるモデル世代間の区別において、ウォーターマーキングの精度に及ばないことがよくあります。対処すべき核心的な問題は、これら2つの異なる検出パラダイムを効果的に組み合わせることで、特にウォーターマーキング単体では失敗する低エントロピーのシナリオにおいて、検出精度をいかに向上させるかです。

手法

著者らは、ウォーターマークスコアと非ウォーターマーク検出スコアを統合するハイブリッド検出フレームワークを提案しています。実験設定は、正のサンプルをターゲットモデル（$M_o$、例：Gemma-7B-instruct）からのウォーターマーク付き生成とし、負のサンプルを人間による応答または異なるモデル（$M_t$、例：Mistral-7B-instruct）からの生成とするバイナリ分類タスクです。

主要構成要素

1. ウォーターマーク・スキーム: 本研究では、以下のトークンレベルのウォーターマーキング手法を評価しています。

   • Aaronson (2023): 擬似乱数関数（PRF）を使用してトークン選択をバイアスさせる、歪みのないスキーム。
   • Bahri & Wieting (2024): 複数のシーケンスをサンプリングする、ブラックボックス型の歪みのないスキーム。
   • Kirchenbauer et al. (2023): トークンの「グリーンリスト」に向けてロジットをバイアスさせるスキーム。
   • Kuditipudi et al. (2023): n-gramではなく、シードの秘密のシーケンスを使用する堅牢なスキーム。

2. 非ウォーターマーク検出器: 本研究では、様々な1Pおよび第三者（3P）検出戦略を利用しています。

   • 対数尤度（LLh）およびランク: テキストがモデルの下でどの程度尤もらしいかを測定する標準的な指標。
   • DetectLLM / 対数尤度対数ランク比（LRR）: 尤度とランクの特徴量を組み合わせたもの。
   • Binoculars: 2つの異なるLLMからの不確実性スコアを活用する3Pスキーム。
   • RADAR: 敵対的に訓練されたRoBERTaベースの検出器。
   • RoBERTa 分類器: ラベル付けされた人間とモデル生成テキストに対して微調整されたバイナリ分類器。

3. ハイブリッド・スキーム: ウォーターマークスコア（$s_w$）と非ウォーターマーク検出器スコア（$s_d$）を組み合わせるいくつかの手法を検討しています。

   • 片側カスケード（1S）: $s_w$ が閾値を超えた場合はフラグを立て、そうでなければ非ウォーターマーク検出器に委ねる。
   • 両側カスケード（2S）: $s_w$ が高い場合はポジティブとしてフラグを立て、$s_w$ が低い場合はネガティブとしてフラグを立て、それ以外の場合は非ウォーターマーク検出器に委ねる。
   • 学習可能モデル: 正規化された $\{s_w, s_d\}$ 特徴量を用いて訓練された、ロジスティック回帰（LR）、多層パーセプトロン（MLP）、および決定木。

実験設定

実験は databricks-dolly-15k および eli5-category データセットを用いて実施されました。著者らは、応答エントロピー、テキスト長、および敵対的攻撃（ランダムなトークン置換およびパラフレーズ）の関数として性能を分析しました。評価指標には、低い偽陽性率（FPR）における部分ROC-AUC（pAUC）および精度が含まれます。

主要な貢献と結果

1. 非ウォーターマーク検出器がウォーターマーキングを上回る場合がある

著者らは、ウォーターマーキングが「銀の弾丸」ではないことを示しています。多くの場合、特に特定のウォーターマーク・スキーム（例：Kuditipudi）や特定の非ウォーターマーク検出器（例：Binoculars）を用いる場合、非ウォーターマークのアプローチ単独の方が、ウォーターマーク検出器単独よりも高い精度を達成します。例えば、Aaronsonスキームの下では、Binocularsはウォーターマーク検出器単独の90.4%に対し、93.1%の精度を達成しました。

2. ハイブリッド・アプローチによる大幅な利得

これら2つのアプローチを組み合わせることは、一貫してどちらか一方の方法よりも優れた結果をもたらします。最も顕著な改善は、ウォーターマーキングの性能が通常低下する低エントロピー領域で見られます。

• 性能向上: ウォーターマークスコアとRoBERກタ分類器のスコアを組み合わせるためにロジスティック回帰（LR）モデルを使用することで、エントロピーが最も低い20%のプロンプトにおいて、検出精度が75%から95%以上に向上しました（20%の絶対的な利得）。
• 相補性: RoBERTa分類器は、必ずしも単独で最高の非ウォーターマーク検出器ではありませんが、ウォーターマークと組み合わせた際に最も相補的な信号を提供し、対数尤度のようなより強力なスタンドアロン検出器よりも大きな利得をもたらすことがよくありました。

3. 攻撃および長さに対する堅牢性

• パラフレーズ: パラフレーズ攻撃はウォーターマーク信号を効果的に破壊し、ウォーターマーク検出をほぼランダムレベルまで低下させます。このような場合、ハイブリッド手法は非ウォーターマークの信号に依存することになり、非ウォーターマーク検出器（RoBERTaなど）が特に堅牢でない限り、追加の利得は最小限となります。
• トークン置換: ランダムなトークン置換は尤度ベースの検出器を著しく劣化させますが、RoBERTa分類器は驚くほど堅牢性を維持します。RoBERTaを用いたハイブリッド手法は、あらゆる汚染レベルにおいて一貫した改善を維持しました。
• テキスト長: ウォーターマークおよび尤度ベースの検出器は、良好に機能するために長いテキストを必要としますが、RoBERTa分類器は短いトークン数でも強力に機能します。ハイブリッド・アプローチは、これを利用して、変化するテキスト長にわたって高い性能を維持することに成功しました。

4. 計算効率

提案されているカスケード・スキーム（1Sおよび2S）は、計算上の利点を提供します。計算コストの低いウォーターマーク検出器を最初に配置することで、システムは、より高価な非ウォーターマーク検出器（多くの場合、フルLLM推論や重いモデルのロードを必要とする）を呼び出すことなく、かなりの割合のサンプル（高強度ウォーターマークシナリオでは20〜40%）を分類できます。

重要性と主張

本論文の主な貢献は、ウォーターマークと非ウォーターマークの検出は相補的であることを示した点にあると著者らは主張しています。著者らは、特にエントロピーが限定的なポストトレーニング済みモデルにおいて、ウォーターマーキングのみに依存することは不十分であると述べています。これらの信号を賢明に組み合わせることで、実務家は以下を実現できます。

1. 高い精度: 特に困難な低エントロピーのシナリオにおいて、検出率の大幅な向上。
2. 堅牢性: さまざまなテキスト長や攻撃ベクトルにわたって、より安定した性能。
3. 効率性: ウォーターマーク検出器を通じて容易なケースをフィルタリングすることで、計算コストを削減する実用的なデプロイ戦略（カスケード方式）。

著者らは、より複雑なモデル（MLP、決定木）は利得がわずかであり、過学習のリスクもあることから、最適な学習可能な組み合わせ方法としてロジスティック回帰を控えめに推奨しています。彼らは、AGC検出がますます困難になっている一方で、ハイブリッド・アプローチは、性能と計算上の制約のバランスを取りながら、効果的な実世界でのデプロイへの実行可能な道筋を提供するものであると結論付けています。