テクニカルサマリー：コード言語モデルにおける機能的記憶（Functional Memorization）の検出

問題提起

コードコーパスで学習された大規模言語モデル（LLM）は、コード生成においてますます活用されている。先行研究では、「学習データの抽出（training data extraction）」、すなわちモデルが学習例を逐語的またはほぼそのまま再現する現象について広く調査されてきた。しかし、既存の監査手法は、ほぼ排他的にテキスト類似性指標（例：BLEU、編集距離）に依存している。このアプローチは、ある重要なリスクを捉え損ねている。それが「機能的記憶（functional memorization）」である。

コードは、テキストとしては非類似であっても、機能的には等価であり得る。変数の名前変更、制御フローの再構成、コメントの追加や削除、あるいは同じロジックを実現するための全く異なるアルゴリズムの採用などが考えられる。もしLLMが、その学習データから独自の機能的ロジック（例：取引アルゴリズム、推奨ルール）を内面化し、構造を変えた形で再現している場合、標準的なテキストベースの指標ではその漏洩を検知できない。本論文は、表面的なトークンの一致を超えた、この「機能的記憶」を検出・定量化するためのギャップに対処するものである。

手法

著者らは、オープンソースの Olmo-3-32B モデルの持つ学習の透明性を活用し、記憶と汎化を区別するための**反事実的設定（counterfactual setup）**を提案している。

1. 実験設定

• 対象モデル ($M_T$): CraneCode（the-stack-v2-smolのフィルタリングされたサブセット）に曝露された、Olmo-3-32Bのミッドトレーニング（midtraining）チェックポイント。
• 参照モデル ($M_R$): 同じアーキテクチャと事前学習を共有しているが、特定のミッドトレーニングデータには曝露されていない、Olmo-3-32Bの事前学習済みチェックポイント。
• データ: CraneCodeコーパスから抽出された7,422個のPython関数。これらは、LLM-as-a-judgeを用いて「意味のある機能的ロジック」（ビジネスルール、独自のアルゴリズム）を含むものにフィルタリングされている。
• 手順: 両モデルに対し、関数のシグネチャと最大250個の前方トークンを入力する。モデルは貪欲デコーディング（greedy decoding）を用いて継続部分を生成する。生成された出力 ($x^*$) は、正解となる学習データ ($x$) と比較される。

2. 反事実的機能的記憶の定義

以下の条件を満たす場合、そのサンプルは「反事実的に機能的に記憶されている」と定義される：

1. 低いテキスト的重複: 生成されたテキストが正解データとのテキスト類似性が低い（$SIM_{text} < \tau_{text}$）。
2. 高い機能的重複: 生成された内容が正解データと機能的に等価である（$SIM_{func} \ge \tau_{func}$）。
3. 反事実的乖離: 参照モデル（未曝露）は、同じプロンプトに対して機能的に等価な出力を生成しない。

3. 評価指標

本研究では、以下のカテゴリに分類された包括的な指標群を用いる：

• テキスト指標: 完全一致、BLEU、編集類似度、および最長共通部分列（LCS）。
• 構造的指標: CodeBLEU（構文およびデータフローのバリアント）および木編集距離（TSED）。
• LLM-as-a-Judge: 意味的類似性を評価するために、3つの異なるプロンプト（Song et al., Nikiema et al., および独自の機能的等価性プロンプト）を使用。
• 実行ベース: HyClone。これは2段階の検出器であり、テスト入力を生成して両方の関数を実行し、出力を比較することで機能的等価性を検証する。

主な貢献

1. 機能的記憶の定式化: 本論文は、逐語的なコピーとは異なる、コードから機能的ロジックを抽出する概念を定義し、操作可能にした。
2. コードのための反事実的フレームワーク: 自然言語で使用されていた反事実的記憶のフレームワークをコードに適応させ、Olmo-3の特定の学習透明性を利用して、「曝露 vs 未曝露」の厳格な比較を実現した。
3. 包括的な指標スイート: 幅広い類似性指標を評価し、テキストベースの指標が機能的漏洩の検出には不十分であることを実証した。
4. 実証的エビデンス: コードLLMが、テキスト的な重複が低い場合でも、有意な割合で機能的記憶を示すという最初の広範な証拠を提示した。

結果

研究では7,422個の関数を分析し、すべての指標において参照モデルから対象モデルへの系統的な類似性の変化を見出した。

• 逐語的記憶: 先行研究と一致して、対象モデルは、参照モデルが生成しない完全一致（0.11%）および近逐語的一致（BLEU $\ge$ 0.75, 0.58%）を生成している。
• 機能的記憶:
  • 構造的指標: CodeBLEU (DFG) および TSED は、BLEUスコアが低いにもかかわらず、それぞれ1.8%および2.1%のサンプルを反事実的に記憶されていると特定した。
  • LLM-as-a-Judge: 著者らの保守的な機能的等価性プロンプトを用いた場合、3.9% のサンプルが機能的に記憶されていると特定された（低いBLEU、高い機能的類似性、および反事実的乖離）。他のプロンプトではより高い率（最大14.0%）を示しており、プロンプト設計への感度を示唆している。
  • 実行ベース: 最も厳格なHyCloneテストの下では、参照モデルが失敗した一方で、生成された内容が学習データと機能的に同一であると検証されたのは 0.28% であった。これは、実行上の課題（依存関係の欠如、クラスの状態など）を考慮すると、下限値であると考えられる。
• 指標の相関: テキスト指標（BLEU, Edit）は互いに高い相関があるが、実行ベースの指標（HyClone）とは弱い相関しかなく、これらが異なる信号を捉えていることを裏付けている。

例: 本論文は、対象モデルが学習データ内のハードコードされた手数料ロジックを、構造を変えた実装（異なる変数名や制御フロー）を用いて再現した事例を挙げている。この際、テキスト指標（BLEU = 0.26）はこれを検知できなかったが、機能的指標（LLM-judge = 0.8, Execution = 0.95）は成功した。

重要性と主張

本論文は、テキストの重複のみに依存する現在の監査体制は、コードモデルに対して不十分であると主張している。結果は、適切な機能的指標で測定した場合、機能的記憶は逐語的記憶と同程度のオーダーで発生していることを示している。

著者らは以下のように断言している：

• モデルは、表面的な形態が大幅に変更されていても、独自のロジックを内面化し、再現することができる。
• テキストの類似性に基づく既存のプライバシーおよび知的財産保護は、学習データの漏洩リスクを過小評価している可能性が高い。
• 構造解析、LLMによる意味的判断、および実行ベースの検証を取り入れた、テキストの重複を超える監査指標の開発が急務である。

本研究は、より堅牢な監査体制と機能的類似性の測定技術の開発を促すことで締めくくられており、現在の実行ベースの手法は依然として現実世界のコード環境の複雑さによって制限されていることを指摘している。