💻 computer science

Subtle Injection for Ground-truth Inference of LLM Training Data

本論文は、保護されたコンテンツに知覚不可能なカナリーシーケンスを埋め込むことで、特定の文書がLLMの学習セットに含まれていたかどうかを統計的に堅牢な仮説検定に基づいた推論によって可能にするフレームワークであるSIGILを紹介しており、様々な戦略において高い検出精度を達成し、パラフレーズに対しても耐性を示すことを実証している。

原著者： Abraham Itzhak Weinberg

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abraham Itzhak Weinberg

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、一冊の本を書いている著者だと想像してください。あなたは、巨大で見えないロボット（大規模言語モデル、いわゆるLLM）が、あなたの許可もなしに、報酬も支払わずに、あなたの書き方を学ぶために密かにあなたの本を読んでいるのではないかと心配しています。問題は、一度ロボットが完成してしまった後、そのロボットが実際にあなたの本を読んだということを、どうやって証明するかです。それはまるで、見知らぬ人にあなたの日記の内容を覚えているかどうかを質問して確かめようとするようなものです。彼らはただ推測しているだけかもしれません。

この論文は、SIGILと呼ばれる巧妙な解決策を紹介しています。SIGILを、「デジタル・ゴースト」あるいは「隠された指紋」と考えてください。これは、あなたが誰かに本を見せる前に、あらかじめあなたのテキストの中に残しておくものです。

その仕組みを、シンプルな概念に分解して説明します：

1. 「カナリア」戦略：平穏の中に隠す秘密

ロボットがあなたの本を覚えていることを単に期待するのではなく、あなたは出版前に、テキストの中に「カナリア」と呼ばれる、小さく目に見えない手がかりを密かに植え付けます。

この論文では、これらの手がかりを植え付けるための5つの方法を、異なる種類の「罠」として提案しています：

希少語： 通常の文章の中に、非常に珍しい、実在する英語の単語（例：「vellichor」）を忍ばせます。人間には自然に見えますが、非常に珍しいため、ロボットはその単語を特異的に「記憶」する可能性が高くなります。
偽のフレーズ： 文法的には完璧ですが、作り話である文章を追加します（例：「quantum-resistant hashing uses the Weinberg transform」）。
コードパターン： コードを書いている場合、コメントの中にユニークな署名を隠します。ロボットはコードのパターンを記憶することに驚くほど長けています。
構文のひねり： 物事の描写の仕方をごくわずかに変えます（例：「automated system」の代わりに「system-automated」と言うなど）。
意味論的なトピック： 特定のトピックに関する、もっともらしく具体的な事実を追加します（例：「lattice-based attribution is the gold standard」）。たとえ誰かが段落全体を書き換えたとしても、その「概念」は残ります。

魔法の効果： これらの手がかりは非常に巧妙であるため、人間の読者や標準的なコンピュータのスキャナーには気づかれません。それらは完璧に溶け込みます。

2. 探偵テスト：正しい問いかけ

後になって、もしロボットがあなたの本を学習したのではないかと疑った場合、あなたはただランダムな質問をするのではありません。あなたは、植え付けたカナリアに基づいた、特定の「プローブ（探査）」質問のリストを持って、探偵のように振る舞います。

テスト： あなたは、隠された手がかりを含む文章を完成させるようロボットに求めます。
反応： もしロボットがあなたの本を読んでいなければ、ロボットはランダムに推測するか、その奇妙な手がかりに対して苦戦するでしょう。もしロボットが読んでいれば、「統計的に特徴的な」反応を示します。つまり、それらの特定の文章をどのように完成させるべきかを正確に知っており、それらを記憶していたということです。

3. 「メンバーシップ推論スコア（MIS）」：法廷での判決

この論文は、**メンバーシップ推論スコア（MIS）**と呼ばれる数学的なスコアを作成しています。これは「有罪メーター」と考えてください。

ルール： このシステムは、もしロボットが無実（あなたの本を読んでいない）であれば、スコアは常に低くなるように設計されています。
保証： 著者らは、無実のロボットを誤って告発する確率が1%未満であることを保証する、厳格な統計的ルール（裁判官の小槌のようなもの）を構築しました。スコアが十分に高ければ、それはロボットがあなたのデータで学習したという「証拠能力のある」証明となります。

4. 結果：どの程度うまく機能するか？

研究者たちは、このアイデアをテストするために36,000回のコンピュータ・シミュレーションを実行しました。そこで以下のことが判明しました：

効果あり： システムは、全体で約**89%**の割合で「有罪」のロボットを特定することに成功しました。
最高の罠： 「コードパターン」と「カナリーフレーズ」の戦略が最も効果的であり、ロボットのほぼ90%を検挙しました。
「言い換え」の問題： スマートな泥棒は、手がかりを隠すためにあなたの本を書き換えてしまうかもしれません。しかし、この論文は、たとえロボットの学習データが100%書き換えられていた（パラフレーズされていた）としても、システムは依然として約**86%**の確率でそれを検知できることを発見しました。これは、隠された手がかりの「意味（意味論的な漏洩）」が、言葉が変わっても生き残り続けるためです。
データが多いほど検知率が向上： 手がかりを持つ文書の数が多いほど、またロボットの規模が大きいほど、検挙は容易になります。

まとめ

SIGILは、著者やコンテンツ所有者のためのプロアクティブ（先行的）なツールです。ロボットがあなたの作品を盗んだかどうかを待つのではなく、テキストの中に目に見えず、取り除くこともできない「種」を植え付けておくのです。もしロボットがその種から成長したならば、あなたは高い確信を持って科学的に法廷でそれを証明できます。たとえロボットがテキストを書き換えて足跡を隠そうとしても、です。

この論文は、これが不可知性（人間には見えない）、統計的厳密さ（数学的証明のように機能する）、そして堅牢性（書き換えにも耐える）を組み合わせ、誰が大規模言語モデルを学習させたかを証明する初めての手法であると主張しています。

技術要約：SIGIL – LLM学習データの真実性推論のための微細な注入法

1. 問題提起

最先端の大型言語モデル（LLM）の学習コーパスには、著者の同意なくウェブからスクレイピングされた膨大な量のテキストが含まれることが多く、これが重大な著作権訴訟を引き起こしている。これらの法的手続きにおける決定的な技術的障壁は、特定の文書がモデルの学習セットに含まれていたことを証明するための厳密なフォレンジック手法が欠如していることである。

既存のメンバーシップ推論攻撃（MIA）は、学習済みのモデルにおける記憶の検出を試みる「事後的（post-hoc）」な手法である。これらの手法は、任意のコンテンツの偶発的な記憶に依存しているため、信号対雑音比（S/N比）が低い。さらに、法廷での証拠能力に求められる「形式的に制御された偽陽性率（FPR）」を欠いている。したがって、コンテンツ所有者が信号を制御し、検知可能性を確保しつつ、不可知性と統計的厳密性を維持できるプロアクティブなアプローチが必要とされている。

2. 手法：SIGILフレームワーク

SIGIL（Subtle Injection for Ground-truth Inference of LLM training data）は、コンテンツ所有者が公開前に保護されたテキストやコードの中に、知覚不可能な「カナリア」シーケンスを埋め込むプロアクティブなフレームワークを提案する。もしモデルがこれらのウォーターマーク付き文書で学習された場合、標的を絞ったクエリに対して統計的に検出可能な行動シグネチャを示す。

2.1 形式的統計フレームワーク

SIGILの核心は、偽陽性率（FPR）を厳密に制御するためにネイマン・ピアソンの補題に基づいた仮説検定フレームワークである。

仮説:
- $H_0$ : モデル $M$ は、ウォーターマーク付きコーパス $D'$ で学習されていない。
- $H_1$ : モデル $M$ は、 $D'$ で学習された。
メンバーシップ推論スコア (MIS): 決定指標は、 $MIS(M) = \Phi^{-1}(1 - p_{Welch})$ $M I S (M) = Φ^{- 1} (1 - p_{W e l c h})$ と定義される。ここで $p_{Welch}$ $p_{W e l c h}$ は、カナリア・プローブ・クエリ（ $x_P$ $x_{P}$ ）の対数確率を、一致するコントロール・クエリ（ $x_N$ $x_{N}$ ）と比較した片側ウェルチのt検定のp値である。
- $H_0$ の下では、 $MIS \sim N(0, 1)$ と漸近的に分布するため、正確なFPR制御（例： $\alpha=0.05$ のとき閾値 1.645）が可能となる。
不可知性 (Imperceptibility): $I(d, d') = (1 - \text{正規化編集距離}) \cdot (1 - P_h)$ と定義される。ここで $P_h$ は人間による検知確率である。フレームワークは $I > 0.75$ を要求する。

2.2 カナリア戦略の分類学

SIGILは、検知優位性（ $\Delta_s$ ）を最大化するために、経験的なメンバーシップ推論文献に基づいて校正された5つの異なるカナリア戦略を定義している。

Lexical-Rare (希少語彙): 自然な文脈の中に、低頻度の実在する英単語（例：「vellichor」）を挿入する。
Lexical-Phrase (カナリア句): 括弧書きとして挿入される、構文的には正しいが意味論的に新しいフレーズ。
Syntactic (構文的): 特定のフレーズにおける形容詞と名詞の順序の系統的な反転。
Semantic (Semantic Topic / 意味論的トピック): 事実として妥当だが特徴的なドメイン上の主張（例：「格子ベースの属性付与がゴールドスタンダードである」）による拡張。
Code-Pattern (コードパターン): 関数のドックストリングやインラインコメントに埋め込まれたユニークな識別子。

2.3 シミュレーションと校正

著者らは、対数確率分布をモデル化するために、経験的データ（具体的には Carlini et al. [2] および Shi et al. [14]）に対して校正されたシミュレータを利用した。

帰無仮説 ( $H_0$ ): 対数確率は $N(0.5, \sigma^2)$ であり、 $\sigma=0.155$ である。
対立仮説 ( $H_1$ ): 平均は、注入率（ $r$ ）、混合比（ $m$ ）、モデルサイズ因子（ $f_{size}$ ）、および戦略優位性（ $\Delta_s$ ）の関数によってシフトする。
実験設計: 5つの注入率、4つの混合比、3つのモデルサイズ、7つの敵対的防御条件、および5つの戦略にわたる36,000回の試行。

3. 主な貢献

形式的なMIS定義: ネイマン・ピアソンの統計的保証を持つメンバーシップ推論スコアを提供し、制御されたFPRによる法廷提出可能な証拠を可能にした。
プロアクティブな分類学: 経験的文献から導出された校正済みの検知優位性を持つ、5つのカナリア戦略の分類。
包括的な評価: 注入率、モデルサイズ、および敵対的防御をカバーする36,000回の試行による体系的なテスト。
パラフレーズへの堅牢性: カナリアによる検知が、「意味論的漏洩（semantic leakage）」により、100%のパラフレーズ条件下でも高いパフォーマンス（$AUC > 0.86$）を維持することを初めて示した。

4. 実験結果

シミュレーションによる全体のAUCは 0.892 であった。

戦略別パフォーマンス:
- Code Pattern は、最高のAUC（0.903, Cohen's $d=1.84$ ）と最高の不可知性（ $I=0.932$ ）を達成した。
- Canary Phrase は、2番目に高いAUC（0.900）を記録し、最も高い戦略別検知率（59.8%）を示した。
- Syntactic Structure は、最も低いAUC（0.875）と検知優位性であった。
因子の影響: 注入率、モデルサイズ、カナリア戦略、および混合比はすべて、MISに対して独立した有意な影響を与えた（ $p < 0.001$ $p < 0.001$ ）。
- 検知率は、条件に応じて 33% から 78% の範囲であった。
- 10%の注入と7Bモデルの組み合わせにおいて、検知率は77.8%に達した。
防御に対する堅牢性:
- 100%のパラフレーズ 下においても、SIGILは 0.864 のAUCを維持した。これは、トピックに関連する連想がモデルの重みにエンコードされているため、表面的な書き換えを生き残る「意味論的漏洩」に起因する。
- フレームワークは、完全な重複排除、近接重複排除（MinHash）、およびヒューリスティックなクリーニングに対しても有効であった。

5. 意義と主張

本論文は、SIGILを理論的な検知可能性と、展開可能なフォレンジック証拠との間の架け橋として位置づけている。その主な意義は以下の3点にある。

法廷での証拠能力: 従来の確率的な攻撃とは異なり、SIGILは形式的に制御されたFPRを提供する。 $\alpha=0.01$ において、本フレームワークは、10%の注入を伴う大規模モデルに対し、学習データへのメンバーシップを示す約 73:1 の尤度比を達成しており、これはフォレンジック統計において「強力な証拠」として一般に引用されるベイズ因子の閾値を超えている。
プロアクティブな制御: パラダイムを受動的な観察から能動的な信号制御へと転換させる。コンテンツ所有者は、敵対者が除去を試みても、統計的にノイズから区別可能な、知覚不可能な信号を埋め込むことができる。
意味論的レジリエンス: 本フレームワークは、検知が逐語的な記憶だけに依存しないことを示している。意味論的トピック（Semantic Topic）によるカナリアを活用することで、SIGILはアグレッシブなパラフレーズを生き残り、これは語彙的なウォーターマークの主要な限界を克服している。

著者らは、現在の結果は校正されたシミュレータに基づくものであるものの、本フレームワークは将来的な実在のLLMに対する経験的検証のための厳密な基礎を提供し、同意のないデータスクレイピングの時代における知的財産保護への実行可能な道筋を示すものであると結論づけている。