テクニカル・サマリー：LLMにおける記憶（Memorization）の傾向（Propensity）を考慮した評価

問題提起

大規模言語モデル（LLM）が、著作物や機密性の高い個人識別情報を含む学習データを再現してしまうことは、広く文書化されている。しかし、既存の記憶評価は主に**能力（capability）**に焦点を当てている。すなわち、モデルが（接頭辞攻撃、メンバーシップ推論、あるいはリソース参照プロンプトなどの）敵対的な攻撃を通じて、学習データを再現させられるかどうかに焦каしている。一方で、傾向（propensity）、つまりモデルが通常の、非敵対的な使用条件下で自然に学習データを再現するかどうかについての理解には、大きな空白が存在する。

現在の文献では、これら2つの概念がしばしば混同されている。能力の評価は、モデルがデータを漏洩させる能力の上限を確立するものであるが、ユーザーが敵対的な誘発技術を用いない実世界の展開における実質的なリスクを過大評価する可能性がある。さらに、既存の非敵対的な研究（例：Aerni et al., 2024）は、クローズドモデルに限定されていたり、学習データとの直接比較ではなくウェブのスニペットに依存していたり、あるいは通常の使用と敵対的な設定との対比に欠けていたりするため、分析の正確性と範囲が制限されている。

メソドロジー

著者らは、傾向を考慮した記憶評価のためのフレームワークであるPROPMEと、軽量なトレーシング・パイプラインであるSIMPLETRACEを提案する。

1. PROPME フレームワーク

PROPMEは、2つの異なるプロンプティング・シナリオを対比させたマルチレベルの評価アプローチを導入する。

• 傾向設定（Propensity Settings）: 学習データとのレキシカルな重複が少ない、妥当かつ現実的なプロンプト（GenericおよびSpecific）。これらは、モデルの自然なデータ漏洩傾向を測定することを目的とする。
• 能力設定（Capability Settings）: 学習セットから直接抽出されたシーケンスの最初の50トークンを条件付けた接頭辞攻撃。これらは、記憶されたコンテンツを再現するモデルの最大能力を測定することを目的とする。

2. 傾向メトリックの変換

能力と傾向の差を定量化するために、著者らは新しいメトリック変換を導入する。ベースとなるメトリック $f_b \in [0, 1]$（例：記憶率）、傾向設定 $p$、および能力設定 $c$ が与えられたとき、傾向を考慮したメトリック $PM_{f_b}$ は次のように計算される：

$$PM_{f_b}(M, x) = \frac{1}{2} \left( 1 + \frac{f_b^p(M, x) - f_b^c(M, x)}{f_b^p(M, x) + f_b^c(M, x)} \right)$$

（ただし、$f_b^p = 0$ の場合は $PM_{f_b} = 0$ とする）。

この変換により、以下のスコアが得られる：

• 低いスコア: 高い能力を持つが、傾向は低い（モデルは強制されれば漏洩できるが、自然にはめったに起こらない）。
• 高いスコア: 低い能力だが、傾向は高い（強力な誘発がなくても、モデルは自発的に漏洩する）。
• 中立的なスコア (0.5): 設定を問わず一貫した挙動を示す。

3. SIMPLETRACE パイプライン

モデルの生成内容を学習コーパスに決定論的に帰属させるために、著者らは infini-gram エンジン上に構築された軽量なトレーシング・パイプライン、SIMPLETRACEを開発した。確率的な検出手法とは異なり、SIMPLETRACEは学習コーパスに対して直接探索を行う。パイプラインは以下の工程を含む：

1. 最大スパン抽出（Maximal Span Extraction）: 生成物の接尾辞を反復的に調べ、コーパス内における最長の逐語的な接頭辞を見つける。
2. ユニグラム希薄性フィルタリング（Unigram Rarity Filtering）: 最も希薄なスパンを保持することで、定型文による一致を排除する。
3. ドキュメント検索（Document Retrieval）: 保持されたスパンからソース・ドキュメントを検索し、一致を「フル・ロウ（full raw）」、「フル・ノーマライズド（full normalized）」、または「パーシャル（partial）」に分類する。
4. スパン結合（Span Merging）: 重複するスパンを非冗長なセグメントへと集約する。

SIMPLETRACEは、平均最長スパン（ALS）、生成物のフル一致率（FMR）、平均ニア・バーバティム・リコール（NVR）などのメトリックを算出する。

4. 実験設定

評価は、2つの完全なオープンモデルと2つのデータセットを用いて行われた。

• モデル:
  • Comma: Common Pileデータセットで事前学習された単一言語の英語モデル。
  • DFM Decoder: Commaをベースに、Common Pileとデンマーク語の Dynaword データセットの混合物で継続事前学習されたモデル。
• データセット: Common Pile（英語、約460Bトークン）および Dynaword（デンマーク語、約6.8Bトークン）。
• プロンプト: 傾向設定における重複を低く、能力設定における重複を高くすることを保証するように生成された、3つのセット（Generic, Specific, Prefix）で各100サンプル。

主な結果

1. 能力と傾向のギャップ

能力と傾向の間には、一貫して実質的なギャップが存在する。

• 接頭辞攻撃は、すべてのモデルとデータセットにおいて、ジェネリックまたはスペシフィックなプロンプトよりも大幅に強い記憶信号を引き出した。例えば、DFM Decoderを用いたDynawordの評価では、接頭辞攻撃下でのニア・バーバティム・リコール（NVR）は0.036であったのに対し、ジェネリックなプロンプトでは0.001であった（36倍の差）。
• 傾向スコアは全体として低かった。モデルが敵対的な誘発下でデータを再現する能力を示した場合でも、通常のプロンプティング条件下では、それはめったに起こらなかった。

2. 継続事前学習の影響

継続事前学習が、以前のデータの記憶を減少させ得ることが観察された。

• DFM Decoder vs. Comma: Dynawordを含む混合物で継続学習されたDFM Decoderは、親モデルであるCommaと比較して、元のCommon Pileコーパスの記憶が減少していた。
• メトリックの変化: 逐語的な傾向（verbatim propensity）は大幅に低下したが（FMRにおいて0.5から0.0へ）、ニア・バーバティムな傾向はわずかな増加にとどまった。これは、強い逐語的記憶から、より弱いニア・バーバティムなパターンへの移行を示唆している。
• 安定性: 記憶プロファイルはDFM Decoderの3つの学習ステージを通じて安定しており、データ混合の構成（Dynawordが3分の2、Common Pileが3分の1）が、新たなコーパスの記憶を増やすことなく、Common Pileの内容のアクセシビリティを漸進的に減衰させていることを示している。

3. データセットの特性

• Common Pile (英語): 記憶は、より長い局所的な逐語的断片（高いALS）として現れた。
• Dynaword (デンマーク語): 記憶は、より短いスパンを生み出すが、時には生成レベルでの完全な再現（接頭辞攻撃下での高いFMR）をもたらした。

意義と主張

本論文は、記憶の監査には、**最悪ケースの抽出可能性（能力）と通常の漏洩傾向（propensity）**の両方を報告しなければ、モデルの挙動を包括的に把握することはできないと主張している。

• リスク評価: 能力の評価（接頭辞攻撃）のみに頼ることは、実世界のシナリオにおけるデータ漏洩の実質的なリスクを過大評価することになる。逆に、傾向のみに頼ることは、攻撃者がターゲットとした場合にモデルがデータを漏洩させる潜在的な能力を見逃す可能性がある。
• 法的・倫理的コンプライアンス: 著者らは、EU GDPRやEU AI法のような枠組みが、セキュリティ対策とリスク管理の定期的なテストを求めていることを強調している。通常の使用における傾向を評価することは、予見可能な漏洩リスクのエビデンスを提供し、コンプライアンスへの取り組みをサポートするものである。
• 学習ダイナミクス: 結果は、記憶能力が静的なものではないことを裏付けている。後の学習が異なるデータに重点を置くことで記憶が減少する場合があり、データ混合の構成が記憶リスクを管理するための重要な要素であることを示唆している。

著者らは、モデルは直接誘発されれば学習データを明らかにすることができるものの、一般的な非敵対的な設定ではそれはめったに起こらないとし、現象を微細に理解するためには傾向を考慮した評価が不可欠であると結論づけている。