技術概要：検出可能性が証明された閉鎖型 LLM 向けデータセット透かし

問題定式化

大規模言語モデル（LLM）は、しばしば広大かつ緩くキュレーションされたデータセットで訓練されており、これには意図せずして専有データや評価ベンチマークが含まれている可能性がある。この現象は、「ベンチマックス（post-training 中のベンチマーク性能最適化）」によってさらに悪化しており、データ汚染およびモデル評価の信頼性に関する懸念を提起している。近年の研究では、モデル訓練におけるその使用を監査するために、公開前にデータセットに検出可能な信号を埋め込む「データセット透かし」が探求されてきたが、既存の手法には 2 つの決定的な限界がある：

1. アクセス要件: 先行するアプローチ（STAMP、Radioactive など）は、オープンモデルアクセスに依存しており、ログ確率、次のトークン分布、またはパープレキシティスコアなどのモデル内部への可視性を必要とする。これらは、ほとんどの商用チャットボットの標準であるクローズドモデルアクセス（ブラックボックス API）に対しては効果的ではない。
2. 理論的保証の欠如: 既存の手法は、検出の偽陽性率（FPR）に関する厳密で分布フリーな理論的限界を欠いていることが多い。

本論文は、モデルの出力に対してブラックボックス API アクセスのみが与えられた状況下で、特定のデータセットがターゲット LLM の訓練に使用されたかどうかを検出する問題を扱い、かつ検出信頼性に関する証明可能な統計的保証を提供する。

手法

提案されたフレームワークは、埋め込みと検出の 2 つの段階で動作する。中核となる直観は、深層学習モデルが訓練データに存在する偶発的な特徴や統計的相関を記憶する傾向を利用するものである。

1. 埋め込み段階（透かし注入）

データ所有者は、データセットの実用性を変化させることなく、検出可能な統計的信号を注入するためにデータセットを言い換える：

• 秘密鍵の生成: 秘密鍵（$sk$）は、データセットの語彙から単語ペアの集合をランダムにサンプリングすることで形成される。
• 語彙的変種の構築: 鍵内の各単語に対して、語彙的変種（類義語、共起語）の集合が生成される。
• 共起のための言い換え: 選択された単語ペアの共起頻度を高めるために、データセットが LLM（例：ChatGPT）を用いて言い換えられる。
  • ペア内の両方の単語の変種を含むサンプルは維持、または強化される。
  • 一方の単語を含むがペアの他方を含まないサンプルは、ペアを含むように修正される。
  • 重要なのは、共起がサンプルレベルで定義されることである。単語は連続している必要はなく、同じサンプル内に存在すればよい。
    このプロセスは、非透かしデータでは自然に生じ unlikely な制御された人工的な相関を導入する。

2. 検出段階（統計的検定）

ターゲットモデル $M$ と秘密鍵 $sk$ が与えられた場合、監査人はモデルにテキスト生成をクエリし、生成されたテキストにおける単語ペアの共起統計を分析する。

• 相関測定: この手法は、生成されたテキストにおける単語ペアの存在を示す指標変数間のピアソン相関を計算する。
• 偏差計算: モデルの出力における共起行動と、参照（非透かし）データセットとの間の偏差（$A_{w_i, w_j}$）を計算する。
• 検出スコア: 偏差閾値 $\tau$ を超える秘密鍵ペアの割合と、同じ閾値を超える非鍵ペアの割合を比較することでスコアが計算される。
• 決定則: 検出スコアが閾値 $t$ を超える場合、透かしの存在が宣言される。

理論的保証

本論文は、偽陽性率（FPR）に対する分布フリーかつモデル非依存の上限を提供する。

• 定理 4.1: 帰無仮説（モデルが透かし付きデータで訓練されていない）の下において、偽陽性の確率は $e^{-2t'^2d}$ によって抑えられる。ここで、$d$ は秘密鍵のサイズであり、$t'$ は検出閾値の関数である。
• この保証は、任意の固定された LLM 構造または訓練手順に対して成立し、基礎となるデータ分布やモデル内部に関する仮定を必要としない。

主要な貢献

1. 初のクローズドモデル向けデータセット透かし: 著者らは、ブラックボックス API アクセスのみを使用して訓練データの使用を検出可能な、初のデータセット透かし手法を導入した。これにより、ログ確率や内部モデル状態の必要性が排除された。
2. 証明可能な検出: この手法は、モデルの構造やデータ分布に依存しない偽陽性率に関する理論的保証を提供する。
3. データ混合における頑健性: このアプローチは、透かし付きデータセットがファインチューニングトークンの総量のわずか 1% 程度の小部分を構成する場合でも有効である。
4. 実用性の維持: 透かし処理は、ベンチマークデータセットのセマンティックな完全性と実用性を維持し、モデル評価における妥当性を確保する。

実験結果

この手法は、MMLU、ARC-easy、ARC-challengeの 3 つのベンチマークにおいて、LLaMA-3-8BおよびGemma-2-2Bで評価された。

• バニラ設定: この手法は、すべてのモデルおよびデータセットにおいて統計的に有意な検出（$p < 0.01$）を達成した。対照的に、「Radioactive」ベースラインはクローズドモデルアクセス下では有意義な信号を生成できなかった（$p \approx 0.2\text{--}0.3$）。
• 部分的汚染（データ混合）: 透かし付きデータがファインチューニングトークンの総量のわずか**1.1%–1.3%を構成する場合でも、この手法は透かしを正常に検出した。より極端な0.5%**の比率においても、LLaMA-3-8B は有意な検出を維持したが、Gemma-2-2B は感度が低下した。これは、より大規模なモデルが注入された統計的信号をよりよく保持する可能性を示唆している。
• 改変に対する頑健性: この透かしは、ランダム削除、類義語置換、絵文字挿入などの軽量なテキスト改変に対して、ベースラインと比較して優れた頑健性を示した。Radioactive などのベースラインは 20% の改変後に p 値が有意性閾値を上回ったのに対し、提案手法は低い p 値を維持した。
• 実用性の維持:
  • ベンチマーク性能: 透かし付きデータセットで評価されたモデルは、元のデータセットで評価されたモデルと同等の性能を示し、モデルの相対的なランキングを保持した。
  • セマンティック類似性: 言い換えられたデータセットは、オリジナルに対して高いセマンティック類似性（SBERT スコア）を維持した。
  • 語彙的重なり: 提案手法は、KGW ベースの透かしと比較して、有意に高い n-gram 重なり（3-gram、4-gram）を達成し、より過激な書き換えが少ないことを示した。

意義と限界

本論文は、この作業をデータセット使用の監査ツールとして位置づけ、データ提供者がブラックボックスクエリを通じて、自らの専有データまたはベンチマークデータがモデル訓練に組み込まれたかどうかを検証できるようにする。

著者によって認められた限界:

• 能動的要件: この手法は、公開前にデータセットを言い換えることを必要とする。すでに公開され、透かしが施されていないデータセットには遡って適用できない。
• 敵対的頑健性: この手法は、統計的信号を排除することを意図した完全な敵対的変換に耐えるよう設計されていない。任意の書き換えの下では、強力な透かし保証が理論的に不可能であるためである。
• 評価範囲: 実験はポストトレーニング（ファインチューニング）段階に限定された。計算制約により、事前トレーニング規模での有効性を評価することは未解決の問題である。

結論として、この作業はクローズドモデルエコシステムと互換性のあるデータセット透かしの新たなパラダイムを確立し、基礎となるベンチマークの実用性を維持しながら、証明可能な検出能力を提供する。