No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

この論文は、小規模言語モデルにおける出力分布の鋭さを測定する汚染検出手法（CDD）が、単なる確率ベースの手法（Perplexity や Min-k% Prob）に劣り、特に微調整による逐語的記憶が起きない限り無効であることを、制御された実験を通じて実証しています。

要約

この論文は、**「AI が試験問題を事前に知っていたかどうか（データ汚染）を、どうやって見抜くか」**という重要な問題について、小さな AI モデルを使って徹底的に検証したものです。

結論から言うと、**「最近注目されている新しい検知方法（CDD）は、小さな AI ではほとんど役に立たない」**という衝撃的な発見が報告されています。

以下に、難しい専門用語を避け、身近な例え話を使って解説します。

---

🕵️‍♂️ 物語の舞台：「試験の裏口入学」

まず、状況をイメージしてください。
AI モデルは学生で、私たちが出す「テスト（評価データ）」でその実力を測ろうとしています。しかし、もしその学生が**「テストの答えを事前に知っていた（＝学習データに混入していた）」としたら、テストの点数は本当の実力ではなく、ただの「丸暗記」の結果になってしまいます。これを「データ汚染（Contamination）」**と呼びます。

この「丸暗記」を見抜くために、研究者たちは新しい探偵ツールを開発しました。それが**「CDD（出力分布に基づく検知）」**という方法です。

🔍 従来の探偵ツール（CDD）の仕組みと失敗

【CDD の考え方：同じ答えを繰り返すか？】
CDD という探偵は、以下のような仮説を持っていました。

「もし AI が答えを丸暗記していたなら、同じ質問を何回も聞いても、毎回全く同じ答えを返すはずだ。逆に、答えを知らないなら、毎回少し違う答え（ひらめきや勘違い）を返すはずだ」

つまり、AI に「10 回同じ質問をして、その答えがすべて同じなら『汚染（丸暗記）』だ！」と判断するのです。

【しかし、小さな AI ではこれが通用しなかった】
この論文では、7000 万〜4 億パラメータという「小さな AI」を使って実験しました。すると、驚くべきことがわかりました。

• 状況： AI は確かに試験問題を 10 回も見て、学習しました（汚染されています）。
• 結果： しかし、10 回質問しても、AI の答えは毎回バラバラでした。
• CDD の反応： 「答えがバラバラだから、この AI は汚染されていない（知らない）」と誤って判断してしまいました。

🍳 料理の例えで説明すると：

• CDD が期待するもの： 料理人が「このレシピ（試験問題）を 10 回も見たなら、10 回とも全く同じ味の料理を作るはずだ」と思っている。
• 実際の小さな AI： レシピを 10 回見たけど、**「材料の分量は少し変えて、味も毎回微妙に違う」**料理を作ってしまった。
• CDD の判断： 「味が毎回違うなら、レシピを覚えていないんだな」と判断して、**「汚染なし」**と誤認してしまう。

実際には、AI はレシピ（試験問題）を十分に見て学習はしていますが、「完璧に丸暗記して、毎回同じものを作る」レベルには達していなかったのです。

📊 なぜ CDD は失敗したのか？（3 つの重要な発見）

この論文は、CDD が失敗する「隠れた理由」を 3 つ見つけました。

1. 「丸暗記」のハードルが高すぎる
   CDD が機能するには、AI が「答えを完全に固定する（出力分布が崩壊する）」必要があります。しかし、小さな AI や、効率よく学習させる技術（LoRA など）を使うと、AI は「学習はするが、答えを固定しない」状態になります。CDD はこの「学習しているが、丸暗記していない」という中間状態を見抜けません。

2. 確率ベースの探偵の方が優秀
   対照的に、「Perplexity（困惑度）」や「Min-k% Prob」という別の探偵ツールは、**「AI がその問題を『知っている』かどうかの確率」**を直接見る方法です。

   • CDD： 「答えが同じか？」（行動を見る）
   • 確率ベース： 「AI の頭の中で、その問題への確信度が高いか？」（思考過程を見る）

   実験の結果、確率ベースの探偵は、CDD が「わからない」と言っている状況でも、確実に「汚染あり」と見抜くことができました。 小さな AI では、CDD よりもこちらの方が圧倒的に信頼できるのです。

3. 学習損失（Loss）は嘘をつく
   「AI が学習したか？」を測る指標である「学習損失」は、CDD が失敗している状況でも下がっていました。つまり、「AI は学習している（成績は上がっている）」のに、「CDD は汚染を見抜けない」という矛盾が起きていることがわかりました。

💡 私たちへの教訓

この研究から、私たちが学ぶべきことはシンプルです。

• 小さな AI をチェックするときは、CDD だけを信じてはいけない。
  特に、最近流行りの「パラメータ効率化（LoRA など）」で学習させた小さな AI に対して、CDD を使うと**「汚染されていない」という誤った安心感**を与えてしまう危険性があります。
• 確率ベースのツールを使おう。
  AI の「出力された文章」だけでなく、「AI がその文章を生成する時の確率」を見る方法（Perplexity など）の方が、小さな AI の汚染を見抜くにはずっと有効です。

🎯 まとめ

この論文は、**「AI の『丸暗記』を見抜く新しい方法（CDD）は、小さな AI にとっては『目が見えない探偵』と同じで、役に立たない」**と警告しています。

AI の安全性を高めるためには、「答えが同じかどうか」だけでなく、「AI がその答えをどのくらい確信しているか」を見ることが、より重要だということを示しています。

技術概要

以下は、Omer Sela 氏による論文「No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models」の技術的サマリーです。

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）の評価において、評価データが学習データに混入している「データ汚染（Data Contamination）」は、モデルの性能評価の信頼性を損なう重大な問題です。
Dong ら（2024）は、CDD (Contamination Detection via output Distribution) という手法を提案しました。これは、モデルが特定のデータを記憶している場合、そのデータに対してサンプリングされた出力が異常に類似する（出力分布が尖る＝Peakedness が高くなる）という仮説に基づいています。CDD はブラックボックスモデルでも適用可能であり、70 億パラメータモデル（7B）では高い検出精度を示しました。

しかし、小規模言語モデル（Small LMs） や、パラメータ効率の良いファインチューニング（LoRA など）を用いた場合、この手法が有効かどうかは未検証でした。特に、モデルが学習データから「学習」していても「丸暗記（Memorization）」に至らない場合、出力分布が崩壊せず、CDD が機能しない可能性が懸念されていました。

2. 手法と実験設計 (Methodology)

本研究では、Pythia シリーズ（70M, 160M, 410M パラメータ）のモデルを用いて、CDD の限界と条件を体系的に検証しました。

• データセット: GSM8K（算数）、HumanEval（コード生成）、MATH（数学）の 3 つの評価用データセットを使用。
• 汚染実験: 学習データに評価データを 0, 1, 5, 10 回繰り返して混入させ、制御された汚染実験を行いました。
• ファインチューニング条件の多様化:
  • モデルサイズ: 70M, 160M, 410M
  • ファインチューニング手法:
    • LoRA (Rank 8: 約 0.1-0.2% のパラメータ更新)
    • LoRA (Rank 256: 約 4-6% のパラメータ更新)
    • 完全ファインチューニング (Full FT: 100%)
  • 学習期間: 3 エポック、20 エポック
• 比較対象:
  • CDD: 出力分布の尖度（Peakedness）を測定。
  • N-gram オーバーラップ: 学習コーパスとの文字列一致（基準）。
  • Perplexity (PPL): 学習済みモデルによる困惑度の低下を検出。
  • Min-k% Prob: 最も確率が低いトークンの平均対数確率を検出（Shi et al., 2024）。

3. 主要な発見と結果 (Key Findings & Results)

A. CDD の根本的な限界：出力分布の崩壊が必要

CDD が機能するためには、モデルが学習データを**「丸暗記」し、出力分布が単一の答えに崩壊（Collapse）していること**が必須条件であることが判明しました。

• LoRA (Rank 8) + 短期学習: モデルは汚染データから学習し、損失関数（Loss）は低下しますが、出力は多様であり、CDD の精度は偶然レベル（50%） に留まりました。
• 完全ファインチューニング / 高ランク LoRA: 学習容量が閾値を超えると、モデルがデータを丸暗記し、出力分布が崩壊して CDD の精度が 90% 以上まで急上昇しました。

B. 「記憶の閾値（Memorization Threshold）」の存在

CDD の検出精度は、モデルサイズ、アダプタのランク、学習期間の相互作用によって決まる「記憶の閾値」を境に、偶然レベルから高精度へと急激に遷移します。

• 小規模モデルや低ランク LoRA では、汚染が深刻であっても CDD は検出できません（「サイレントな失敗」）。
• 例：Pythia-410M で LoRA Rank 8、3 エポックの場合、汚染レベル 10 でも CDD 精度は 0.50 でしたが、Perplexity や Min-k% Prob は 0.78 以上の精度を達成しました。

C. 確率ベース手法の優位性

すべての実験条件において、Perplexity と Min-k% Prob が CDD を凌駕しました。

• これらの手法は、モデルがデータを「丸暗記」していなくても、学習データに親しみがあること（確率分布の変化）を検出できるため、パラメータ効率の良いファインチューニングや低汚染レベル（1 回重複など）でも有効に機能します。
• 表 2 の結果では、27 の条件のうち CDD が偶然レベルを超えたのは 5 条件のみでしたが、Perplexity は 24 条件、Min-k% Prob は 25 条件で有意な検出能力を示しました。

D. 学習損失（Training Loss）との非相関

最終的な学習損失が低下している（モデルが学習している）ことと、CDD による検出可能性は一致しません。損失が 1.0〜3.0 の範囲では学習は進んでいますが CDD は機能せず、損失が 0.5 以下（丸暗記領域）になって初めて CDD は機能し始めます。

4. 結論と意義 (Conclusion & Significance)

• 小規模モデルにおける CDD の非適用性: 70M〜410M パラメータ規模のモデル、特に LoRA などのパラメータ効率型ファインチューニングを用いる場合、CDD は汚染を検出できません。これは、出力分布の崩壊（丸暗記）が起きないためです。
• 実用的な盲点: 現在のモデル適応の主流である LoRA などの手法では、CDD を使用すると「汚染されていない」という誤った安心感（False Assurance）を与えるリスクがあります。
• 推奨される代替手法: 出力テキストだけでなく、モデルの出力確率（Log-probabilities）にアクセスできる場合、Perplexity や Min-k% Prob のような確率ベースの手法が、あらゆる条件で CDD よりも優れており、小規模モデルの汚染検出にはこちらを採用すべきです。
• 研究コミュニティへの示唆: 大規模モデル（7B 以上）で有効だった CDD の結果を、小規模モデルやパラメータ効率型ファインチューニングの文脈に安易に拡張することはできません。検出手法の選択は、モデルの容量とファインチューニングの条件に依存する必要があります。

この論文は、データ汚染検出において「出力の多様性」ではなく「内部確率分布の変化」に注目する重要性を再確認させ、特に小規模モデルの監査における実用的な指針を提供するものです。