💬 NLP

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

本論文は、トップ1の予測とターゲットトークンの間の対数確率ギャップをスライディングウィンドウ戦略と組み合わせることで、ベンチマークデータセットにおいて最先端の性能を達成する、大規模言語モデルにおける事前学習データの検出のための新しい手法であるGap-K%を提案している。

原著者： Minseo Kwak, Jaehyung Kim

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minseo Kwak, Jaehyung Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある特定の文章が、教科書を丸暗記した学生によって書かれたものなのか、それともその場で即興で作られたものなのかを見極めようとしている場面を想像してみてください。これが、論文「Gap-K%」が取り組んでいる核心的な問題です。ただし、ここでは学生と教科書の代わりに、人工知能（LLM）と、それが学習した膨大なデータセットが題材となっています。

以下は、日常的な比喩を用いた、この論文のアイデアの分かりやすい解説です。

問題点：「ブラックボックス」の図書室

大規模言語モデル（LLM）は、インターネット上のほぼすべての本を読んだ学生のようなものです。しかし、彼らが具体的にどの本を読んだのかは分かっていません。これは以下の理由から問題となります：

プライバシー： インターネット上の個人情報（あなたの自宅の住所など）を丸暗記してしまっている可能性があります。
著作権： 著作権で保護された物語や記事を丸暗記している可能性があります。
カンニング： もしテストの問題が学習データの中にあった場合、彼らは実際に「考えて」いるのではなく、単に答えを暗唱しているだけかもしれません。

研究者たちは、あるテキストを見て、「はい、このAIは間違いなく以前にこの正確なテキストを見ました」あるいは「いいえ、これはAIにとって新しいものです」と言える方法を求めています。

旧来の手法：「ささやき声」に耳を澄ます

従来の手法は、AIがある単語に対してどれほど「驚いたか（意外に感じたか）」を聞き取ることで、学習データを検出しようとしてきました。

比喩： AIが文章を読んでいる場面を想像してください。もし学習済みの単語（学習データにある単語）を見れば、AIは自信を持って読み上げます。しかし、奇妙な単語を見ると、言葉に詰まります（確率が低い）。
欠点： 旧来の手法（Min-K% など）は、単にこの「言葉に詰まる様子」だけを見ていました。彼らは、AIが言葉に詰まれば、そのテキストは新しいものだと判断していました。しかし、これは本の「誤字脱字」だけを見て、その本を判断しようとするようなものです。AIが文章全体をどのように「考えて」いるかという、より大きな全体像を見落としています。

新しいアイデア：「Top-1 Gap（トップ1の差）」

論文の著者たちは、より優れた手がかりがあることに気づきました。それは、**AIが「次に何が来るだろう」と予想したものと、「実際に起きたこと」との間の「差（Gap）」**です。

比喩： クイズ番組を想像してください。
- シナリオA（学習データ）： AIは問題と答えを丸暗記しています。司会者が文章の前半を言うと、AIはすぐに答えを理解します。それは単に自信があるだけでなく、その答えがAIの頭の中に「唯一浮かんでいるもの」なのです。その時、「トップの選択肢」と「実際のアドバイス（正解）」の間の差はゼロになります。
- シナリオB（新しいデータ）： AIはこの文章を見たことがありません。文法や論理に基づいて推測しなければなりません。文法的に正しい単語（「トップの選択肢」）を推測することもありますが、実際の文章の次の単語は、それとは少し異なるものになります。
- 洞察： AIが新しいデータに対して推測を行っているとき、その「トップの選択肢」と「実際の単語」の間には、目に見える**「差（ギャップ）」**が生じます。一方で、丸暗記したデータを暗唱しているとき、その差は消えてしまいます。

論文ではこれを 「Gap-K%」 と呼んでいます。これは、AIのベストな推測と実際の単語との間にどれほどの差があるかを測定するものです。大きな差があれば、そのテキストは新しいことを示唆し、極めて小さな差であれば、AIはそれを以前に見たことがあることを示唆します。

秘訣：「スライディング・ウィンドウ」による平滑化

著者たちは、AIは単語単位でミスをするのではなく、フレーズ単位でミスをすることを指摘しました。

比喩： ノイズの多いラジオ信号を想像してください。もしわずか1秒間だけ聞けば、ノイズ（変動）が聞こえるかもしれません。しかし、5秒間のクリップを聞けば、メロディがはっきりと聞こえます。
手法： この論文では「スライディング・ウィンドウ」を使用しています。AIを単語ごとに判断するのではなく、単語の小さなグループ（文章を横切って動くスライディング・ウィンドウのようなもの）を見て、その「差（Gap）」のスコアを平均化します。
なぜ機能するか： これにより、ノイズが平滑化されます。これにより、検出器は、一つの奇妙な単語に惑わされることなく、AIが自身の推測と現実を一致させるのに苦労しているテキストの「セクション全体」を特定できるようになります。

分かったこと（結果）

研究者たちは、新しい「Gap-K%」手法を、二つの主要なベンチマーク（WikiMIAおよびMIMIR）を用いて旧来の手法と比較検証しました。

結果： Gap-K%は、ほとんどのケースで勝利しました。テキストが少し書き換えられていたり（パラフレーズ）、異なるサイズのAIモデルを使用していたりする場合でも、記憶されたテキストを見つけ出す能力において優れていました。
結論： AIの「最高の推測」と「現実」の間の「差」に焦点を当て、さらにその結果を小さな単語グループにわたって平滑化することで、彼らはAIがそのテキストを見たことがあるかどうかを極めて高い精度で判別できる強力なツールを作り上げたのです。

まとめ

旧来の手法を、「最も鋭い先端を探すことで、干し草の山の中から針を見つけようとする試み」だと考えてください。新しい手法（Gap-K%）は、**「干し草の山全体の形」**を見ます。AIが丸暗記したものを暗唱しているとき、その「最高の推測」と「実際の答え」は完璧に一致し、隙間（ギャップ）がなくなることに気づいたのです。新しいものに対して推測を行っているとき、その隙間が開きます。この隙間を測定し、文章にわたって平滑化することで、彼らはAIがそのテキストを以前に見たことがあるかどうかを高い精度で判断できるのです。

技術要約: Gap-K% - 学習データ検出のためのTop-1予測ギャップの測定

問題定義

大規模言語モデル（LLM）における膨大な事前学習コーパスの不透明性は、個人を特定できる情報（PII）や著作権コンテンツの漏洩の可能性を含む、重大なプライバシーおよび著作権のリスクを生み出しています。さらに、ベンチマークデータセットが事前学習データに不注意に含まれることで、モデルの性能が不当に高まり、不公平な比較につながる可能性があります。取り組まれている核心的な課題は、事前学習データの検出であり、これはメンバーシップ推論攻撃（MIA）の一種であり、特定のテキストシーケンスがモデルの学習データセットの一部であったかどうかを判定することを目的としています。

既存の最先端手法（例：Min-K%、Min-K%++）は、主にトークンレベルの尤度に依存しており、トークンを独立したものとして扱っています。これらのアプローチは、以下の2つの重要な側面を見落としがちです：

モデルのTop-1予測とターゲット・トークンの間のギャップ。
シーケンス内の隣接するトークン間の局所的な相関関係。

手法: Gap-K%

著者らは、自己回帰型LLMの事前学習における最適化ダイナミクスに基づいた検出手法である**Gap-K%**を提案しています。

理論的洞察

この手法は、次トークン予測目的関数の挙動に基づいています。学習中、クロスエントロピー損失は、モデルのTop-1予測（ $v_{max}$ ）が正解のターゲット・トークン（ $y_t$ ）と一致しない場合に、明示的にペナルティを課します。

学習データ: モデルは、ターゲット・トークンの対数確率とTop-1予測との間のギャップを最小化するように学習します。その結果、学習サンプルにおいては、ターゲット・トークンが頻繁にTop-1予測となり、ギャップが最小になります。
非学習データ: 未知のデータに対して、モデルは記憶ではなく、学習された構文的および意味的な相関関係に依存します。これにより、「自信のある誤予測（confident mispredictions）」が発生することが多く、ターゲットとは異なる誤ったトークンに高い確率を割り当てます。これは、ターゲットとTop-1予測の間の対数確率の大きなギャップをもたらします。

アルゴリズム構成要素

Gap-K%は、以下の3つのステップを通じてこの現象を定量化します。

Top-1 ギャップ・スコアリング:
各トークン $x_t$ に対して、正規化されたギャップ・スコア $g_t$ を計算します：
$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$
ここで、 $\sigma_t$ は対数確率の標準偏差です。Min-K%++が分布の平均に対して正規化を行うのに対し、Gap-K%はモード（Top-1予測）に対して正規化を行います。これにより、本手法は、不確実な予測（平坦な分布）と、誤ったトークンへの自信のある誤予測（尖った分布）を区別することができます。
逐次的平滑化（Sequential Smoothing）:
局所的な相関を捉え、トークンレベルの変動を緩和するために、サイズ $w$ のスライディングウィンドウがギャップ・スコアに適用されます：
$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$
このステップは、連続したセグメントにわたって信号を集約します。これは、メンバーシップの信号が孤立したトークンではなく、フレーズ単位で広がるという観察結果を反映しています。
Gap-K% メトリック:
最終的な検出スコアは、シーケンス内の最も低い $k\%$ の平滑化されたギャップ・スコアの平均です。スコアが0に近いほどギャップが小さいことを示し（メンバーシップを示唆）、大きな負の値は大きなギャップを示します（非メンバーシップを示唆）。

主な貢献

新しいシグナルの特定: 著者らは、Top-1予測とターゲット・トークンの不一致が、次トークン予測の勾配ダイナミクスに裏付けられた効果的な検出シグナルであることを特定しました。
新規手法 (Gap-K%): これらのTop-1予測ギャップを活用し、局所的な相関を捉えるために逐次的平滑化を通じてトークンレベルの信号を集約する手法を提案し、独立したトークン分析の限界に対処しました。
最先端の性能: 本手法は、様々なモデルサイズおよび入力長において、標準的なベンチマークで優れた性能を達成しています。

実験結果

著者らは、2つのベンチマーク、WikiMIA（Wikipediaベース）およびMIMIR（Pileベース、分布の違いが最小限でより困難）においてGap-K%を評価しました。

WikiMIA の性能:
- 5つのモデル（Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B）および入力長（32, 64, 128）にわたり、Gap-K%はLoss, Zlib, Neighbor, Min-K%, Min-K%%を含む既存のベースラインを一貫して上回りました。
- オリジナルの設定において、Gap-K%は既存のベースラインの平均に対して9.7%、最強のベースラインであるMin-K%++に対して**2.4%**の絶対AUROC向上を達成しました。
- パラフレーズ（言い換え）設定においても、ベースライン平均に対して5.7%、Min-K%++に対して**1.7%**の利得を得ました。
- 本手法は、最新のモデル（LLaMA 3.1, Gemma2）およびその指示チューニング済みバリアントに対しても堅牢性を示しました。
MIMIR の性能:
- より困難なMIMIRベンチマークにおいて、Gap-K%はPythiaモデル（1.4Bから12Bパラメータ）全体で最高の平均性能を達成し、すべての評価されたサイズにおいてMin-K%++を上回りました。
アブレーション研究:
- 逐次的局所性（Sequential Locality）: 平滑化は、元のトークン順序に適用した場合にのみ性能を向上させたため、メンバーシップの信号が逐次的局所性を有することが確認されました。
- コンポーネント分析: 平均ベースの正規化をTop-1ギャップのみに置き換えると、利得はわずかであり、また平滑化単独では性能の改善は緩やかでした。両方の組み合わせ（完全なGap-K%手法）が最大の性能向上をもたらしたことは、Top-1ギャップが識別的なシグナルを提供し、それが逐次的平滑化によって安定化・強化されることを示しています。
- 堅牢性: Gap-K%は、強力な敵対的パラフレーズ（DIPPERを使用）に対しても有効であり、すべてのベースラインを上回りました。

意義と限界

意義:
本論文は、LLMの最適化ダイナミクス（具体的には、どのようにトレーニングがTop-1予測と正解の整合性を強制するか）を理解することが、事前学習データを検出するための堅牢なメカニズムを提供すると主張しています。単純なトークン尤度を超えて、誤予測の「自信」と局所的な文脈を分析することで、Gap-K%はより微細で効果的な検出ツールを提供します。この視点は、記憶とプライバシーリスクを理解する上で、Top-1予測の挙動と逐次的相関がいかに重要であるかを浮き彫りにしています。

限界:

グレーボックスの仮定: 本手法はトークンレベルの確率出力（ロジット）へのアクセスを必要とするため、この情報を公開しているモデルやAPIへの適用に限定されます。現時点では、完全にブラックボックスな環境では機能しません。
モデルの範囲: LLaMA 3.1やGemma2などの最新のファミリーでテストされていますが、評価は数十億パラメータまでのモデルに限定されており、数百億規模のパラメータにおける挙動は未検証です。
敵対的堅牢性: パラフレーズに対しては堅牢ですが、トークンレベルの統計量を操作して検出を回避するように最適化された適応的な敵対者に対しては、テストされていません。

著者らは、本研究がLLMの透明性とプライバシー理解を向上させるための、非営利の学術研究であることを強調しています。