💬 NLP

SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

本論文は、コード用大規模言語モデルにおけるデータ漏洩を特定するための自己参照型フレームワークであるSrDetectionを導入しており、これは元のベンチマークサンプルに対するモデルの性能を、それらの意味的に等価な変種と比較することで、外部の閾値や独自の学習データに依存することなく、グレーボックスおよびブラックボックスの両方の設定において既存の手法よりも大幅に高い検出精度を実現するものである。

原著者： Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、生徒の期末試験を採点しようとしている教師だと想像してください。あなたは、その生徒が本当に教材を理解しているのか、それとも以前に見つけたカンニングペーパーの答えを丸暗記しただけなのかを知りたいと考えています。人工知能（AI）、特に**コード大規模言語モデル（Code LLM）の世界では、この「カンニングペーパー」はデータ漏洩（data leakage）**と呼ばれます。これは、モデルが学習フェーズ中に、偶然にも正確なテスト問題まで「勉強」してしまい、実際よりも賢く見えてしまう現象です。

この論文では、この不正行為を検知するための新しいツールであるSrDetectionを紹介しています。その仕組みを簡単に説明します。

問題点：壊れたストップウォッチと失われた解答用紙

現在、AIのカンニングを見つけようとする試みは、欠けたピースを使ってパズルを解こうとするようなものです。

「解答用紙がない」問題： モデルが質問を暗記しているかどうかを確認するには、通常、そのモデルの秘密の学習日記（それが学んだデータ）を見る必要があります。しかし、企業はその日記を非公開にしています。私たちは中を見ることはできません。
「壊れたストップウォッチ」問題： ある人々は、コードが書かれた日付を確認することで、モデルがその質問を見たかどうかを推測しようとします。もしコードがモデルの学習後に書かれたものであれば、モデルはそれを見ることができなかったはずだと仮定するのです。しかし、これは信頼性が低いです。なぜなら、コードはしばしばコピー＆ペーストされたり、古いプロジェクトから再利用されたりするため、日付が混乱を招くからです。
「恣意的な境界線」問題： 他の手法は、固定されたルール（例：「もしモデルの確信度が90%以上なら、それはカンニングである」）を設定しようとします。しかし、コードは複雑です。ある種類のコードにとっては高いスコアに見えるものが、別の種類にとっては普通に見えることもあります。すべてに対して単一のルールを設定することは、しばしば失敗に終わります。

解決策：「自己参照的」な鏡

著者らは、秘密の日記もストップウォッチも必要としない、賢い探偵のようなSrDetectionを作り出しました。その代わりに、それは鏡を使用します。

ここで比喩を使います：
手元に、「The quick brown fox jumps over the lazy dog.（素早い茶色のキツネがのろまな犬を飛び越える）」という文章が書かれた紙があるとします。

従来の方法： あなたはAIに「この文章を知っていますか？」と尋ねます。もしAIが非常に自信満々に「はい」と答えたら、あなたは暗記しているのではないかと疑います。しかし、それは単に非常に一般的な文章である可能性もあり、自信があることだけでは完璧な証明にはなりません。
SrDetectionの方法： 探偵はその元の文章を取り、見た目は違いますが、全く同じ意味を持つ10個の少し異なるバージョンを作成します。
- オリジナル: "The quick brown fox jumps..."
- バリアント1: "The speedy brown fox leaps..."
- バリアント2: "A fast brown fox hops..."
  (論理は同一ですが、言葉が入れ替えられています。)

次に、探偵はAIにこれらすべてを処理させます。

「アハ体験（気づきの瞬間）」：
もしAIが元の文章を暗記していた場合、AIは（以前に見たことがあるため）オリジナルのバージョンはスイスイとこなしますが、*バリアント（変種）*については、つまずいたり躊躇したりする可能性があります（それらの特定の単語の組み合わせは見たことがないため）。

カンニング： オリジナルは、その兄弟たちと比較して「簡単すぎる」のです。
正直な生徒： AIは単に論理を理解しているのであって、スクリプトを暗唱しているわけではないため、オリジナルもバリアントも、難易度はほぼ同じになります。

2つのモードでの仕組み

論文では、これが2つの異なるシナリオで機能することを示しています。

グレーボックス（「内部を見る」視点）： あなたはAIの内部の確信度スコア（心拍数を見るようなもの）を見ることができます。SrDetectionは、オリジナルのコードがAIの「心拍」を穏やかで安定したものにする一方で、バリアントがAIを緊張させるかどうかをチェックします。
ブラックボックス（「外部を見る」視点）： あなたは見ることができるのは、AIが出力する最終的な回答だけです。SrDetectionは、オリジナルのコードに対するAIの回答が完璧で正確な一致である一方で、バリアントに対する回答が少し乱れていたり、完璧でなかったりするかどうかをチェックします。

結果：より優れた探偵

著者らは、AIがどのコードを見て、どのコードを見ていないのかを正確にコントロールできる特別な「訓練場（テストベッド）」を構築し、この新しいツールをテストしました。

スコア： 他の手法と比較して、SrDetectionはカンニングを見つける能力においてはるかに優れていました。「内部を見る」シナリオでは精度（F1スコア）が約21ポイント向上し、「外部を見る」シナリオでは14ポイント向上しました。
固定されたルールなし： 他のツールとは異なり、SrDetectionは事前設定された「合格/不合格」のラインを必要としません。それは単に、オリジナルをその兄弟たちと比較します。もしオリジナルが不自然にほどよい状態であれば、それをフラグとして立てます。

実世界での発見

研究者たちは、15の代表的なコードAIモデルを4つの有名なコーディングベンチマークでテストしました。その結果、以下のことが判明しました。

一部のモデルは、特定のテスト（APPSやBigCodeBenchデータセットなど）において、高いレベルの「カンニング」を行っていました。
カンニングの量はテストごとに大きく異なっており、これは「一律の想定」が間違っていることを証明しています。

まとめ

SrDetectionは、テスト問題を暗記したAIモデルを検知するための新しい方法です。秘密のデータや日付に基づく推測を用いる代わりに、コードの「双子」を作成し、モデルがオリジナルをバリアントと異なる扱いをするかどうかを確認します。もしモデルがオリジナルに対してあまりにも快適すぎるなら、それはカンニングをしている可能性が高いということです。これにより、AIの評価はより公平で信頼できるものになります。

技術要約: SrDetection

問題提起

Code LLM（コード用大規模言語モデル）の評価は、ベンチマークのサンプルがモデルの事前学習コーパスに意図せず含まれてしまう**データ漏洩（データリーク）**によって、ますます損なわれています。モデルがこれらのサンプルを記憶してしまうと、性能指標が人工的に膨れ上がり、真の汎化能力ではなく記憶の結果を反映してしまいます。これは、モデル間の比較における公平性を損ない、真のイノベーションの評価を困難にします。

既存の検出手法には、主に3つの限界があります：

プロプライエタリなデータへの依存性: オーバーラップに基づく手法（例：n-gramマッチング）は、通常非公開でありアクセスできないモデルの学習コーパスへのアクセスを必要とします。
脆弱なヒューリスティック: タイムスタンプに基づくフィルタリングは、モデルの学習カットオフ後にリリースされたコードはコーパスに含まれないという仮定に基づいています。しかし、コードの再利用、継承、フォーク（派生）があるため、これは実用上失敗します。
閾値の不安定性: 確信度に基づくアプローチ（例：パープレキシティ）は、決定閾値を較正するために外部のリファレンスセットに依存しています。これらの閾値は自然言語データに基づいて調整されることが多く、コードの構造的な規則性にうまく汎用化できなかったり、あるいは同じ欠陥のある時間的ヒューリスティックに依存したりしています。

手法: SrDetection

著者らは、グレーボックス（モデルのロジットへのアクセスが可能）およびブラックボックス（モデルの出力のみにアクセス可能）の両方の設定において、データ漏洩を検出するための統一された自己参照的フレームワークであるSrDetectionを提案しています。核心となる仮説は、「もしモデルが特定のコードサンプルを記憶しているならば、そのモデルは、意味的に等価なバリアント（変種）と比較して、元の表面形式に対して著しく予測可能な挙動（より低いパープレキシティまたは高い生成類似性）を示す」というものです。

このフレームワークは、主に2つの段階で動作します。

1. コード変換モジュール

このモジュールは、補助的なLLMを使用して、オリジナルのベンチマークサンプル（ $x_0$ ）から、 $n$ 個の意味的に等価なバリアントの集合（ $V = \{x_1, ..., x_n\}$ ）を生成します。これらの変換は、実行挙動を維持しながら、語彙的および構文的な形態を変更するために、局所的かつ最小限に留められます。

関数名の変更 ( $\tau_f$ ): 関数名と呼び出し箇所を、意味的に等価な代替案に置き換えます（例：solve $\to$ compute）。
変数名の変更 ( $\tau_v$ ): 変数識別子とパラメータを体系的に置き換えます（例：nums $\to$ arr）。
テストケースの変換 ( $\tau_t$ ): オリジナルのものと意味的に類似した新しいテスト入力を生成し、実行を通じてそれらを検証し、オリジナルのテストケースと置き換えます。

2. 漏洩決定モジュール

フレームワークは、外部の閾値に依存することなく、オリジナルのサンプル（ $x_0$ ）に対するモデルの挙動を、そのバリアント（ $V$ ）と比較します。

グレーボックス設定（パープレキシティに基づく）:
検出スコア $S_M(x)$ はサンプルのパープレキシティ（PPL）です。モデルが $x_0$ を記憶している場合、そのPPLは任意のバリアントよりも低くなります。
$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$
ここで、 $\mathbb{I}$ は指示関数です。
ブラックボックス設定（生成類似性に基づく）:
検出スコア $S_M(x)$ は、接頭辞（prefix）を与えられた際の、モデルが生成した接尾辞（suffix）とグラウンドトゥルースの接尾辞との間のN-gramオーバーラップ（NGO）です。記憶されている場合、モデルは、バリアントよりも元の形式に対して、グラウンドトゥルースに近い接尾辞を生成します。
$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$

コントロールされたテストベッドの構築

これらの手法を厳密に評価するために、著者らは制御された漏洩テストベッドを構築しました。

データセットの準備: 公開されているコードベンチマークから、すでに漏洩の兆候（オリジナルがすでにバリアントの中で最も容易であったもの）を示しているサンプルを除去するためにフィルタリングを行いました。
模擬的な漏洩: モデルに対し、一般的なウェブコーパスと混合されたデータの一部（「トレーニング」分割）に対して継続的な事前学習を行い、残りのデータは「ホールドアウト」テストセットとして機能させました。これにより、漏洩が明示的に制御され、既知であるというグラウンドトゥルースを作成しました。

主な貢献

自己参照的フレームワーク: SrDetectionは、コードスニペットとその意味保存バリアント間の内部的な対比を用いることで、外部のリファレンスデータや手動で定義された閾値を必要としない、外部依存のない検出メカニズムを実現します。
自動拡張: 一般的な編集（リネーミング、リファクタリング）の下で記憶を露呈させつつ、意味的な機能を維持する、カスタマイズされたバリアント生成手法を提供します。
制御された評価: 学習段階や異なるモデル間で漏洩検出性能を正確に測定することを可能にする、学習ベースのテストベッドを導入し、時間的ヒューリスティックの信頼性の低さを回避しました。

実験結果

著者らは、Qwen2.5およびLlama3.1の継続事前学習済みモデルを用いて、SrDetectionを強力なベースライン（例：PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM）と比較評価しました。

性能向上: SrDetectionはベースラインを大幅に上回りました。
- グレーボックス: 強力なベースラインに対して平均F1スコアを21.52ポイント向上させました。
- ブラックボックス: 平均F1スコアを14.46ポイント向上させました。
堅牢性: 不安定な性能を示したり特定のエポックに依存したりするベースラインとは異なり、SrDetectionは異なるモデルや学習段階にわたって一貫性を保ちました。
感度: バリアントの数（ $n$ ）が多いほど性能が向上し、事前学習コーパスにおけるコードとテキストの混合比率の違いに対しても安定していました。
実世界への適用: 4つのベンチマーク（APPS, HumanEval, MBPP, BigCodeBench）における15の広く使用されているCode LLMの調査により、ベンチマーク固有の漏洩パターンが明らかになりました。特に、BigCodeBenchはグレーボックス設定において高い漏洩率を示しており、挙動ベースの検出が、厳密なオーバーラップ分析では見逃される汚染を特定できる可能性を示唆しています。

意義と主張

本論文は、SrDetectionが閾値に依存せず、かつコーパスに依存しない検出メカニズムを提供することで、Code LLMの評価における決定的なギャップを埋めるものであると主張しています。漏洩検出を自己参照的な問題として再定義することで、この手法は時間的仮定の脆弱性と、学習データへのアクセスの不可能性を回避しています。

著者らは、彼らの知見が、漏洩は単なるわずかなアーティファクトではなく、現在の評価慣行における系統的な交絡因子であることを示していると断言しています。外部のリファレンスなしで漏洩を検出できる能力は、ベンチマーク固有の汚染パターンが、オーバーラップベースの分析のみで理解されているよりも、より一般的かつ複雑であることを示唆しています。この研究は、Code LLMの評価の信頼性を確保するために、漏洩を考慮したベンチマーク設計と報告の必要性を強調しています。