テクニカル・サマリー：意味的類似性の観点から見るLLM生成の新規性

問題提起

大規模言語モデル（LLM）の**生成の新規性（generation novelty）**を評価することは、学習データを超えて汎化する能力を理解する上で極めて重要である。しかし、既存の評価手法には以下のような重大な限界がある：

1. 語彙バイアス（Lexical Bias）： 従来の指標は厳密なテキストの重複（例：n-gram非重複）に依存しており、言い換え、再フォーマット、またはスタイルの変化を検出できず、意味的に再利用されたコンテンツを新規であると誤判定してしまう。
2. スケールの制約： 全学習コーパスに対する新規性を分析することは計算コスト的に不可能に近く、多くの研究は、より広範な学習分布を無視した、精選されたドメイン固有のリファレンスセットに頼らざるを得ない状況にある。
3. 概念的な曖昧さ： 「再現（reproduction）」（学習データと意味的に同一）と「構成（composition）」（内部的には一貫しているが意味的には異なる）を区別する統一された定義が存在しない。

手法

著者らは、事前学習コーパスの規模において意味的新規性を測定するための3段階のフレームワークを提案する。このアプローチは、新規性をセマンティックな検索問題として扱い、効率的な情報検索パイプラインを活用して、モデルの出力を事前学習コーパス全体と比較するものである。

1. 概念的定義

意味的新規性は、LLMの生成物（$y$）の埋め込みと、事前学習コーパス内のドキュメント（$C$）の埋め込みとの間の最小コサイン距離として定義される：
$$\text{Novelty}(y) = \min_{d \in C} (1 - \cos(\phi(y), \phi(d)))$$
ここで、$\phi$ は埋め込み関数である。この定義は、表面的な形式よりも内容を優先し、再現と構成を区別する。

2. 3段階のフレームワーク

このフレームワークは、データセットのスケールで動作し、モデルに依存しない（model-agnostic）：

• ステージ1：ローカル候補プールの特定（検索）：
  各生成物に対して、高い潜在的な意味的重複を持つ事前学習コーパスからのトップ-$n$個のパッセージを、粗い粒度のランカー（$R$）が抽出する。これは、計算効率の高い探索空間を作成するための高再現率（high-recall）フィルタとして機能する。著者らは、この段階でFAISSによってインデックス化されたGIST埋め込みを使用している。
• ステージ2：マルチスケール意味的再ランキング：
  短距離の語彙再利用と長距離の構成的新規性を区別するために、生成物とその候補プールを、様々なサイズ（$k$）のチャンクに分解する。高精度な再ランカー（$S$）、具体的にはColBERTv2が、各チャンクとそのそれぞれのプールとの間の最大類似度を計算する。この段階により、言い換えやスタイルの変化に対する堅牢性が確保される。
• ステージ3：較正された分布正規化：
  生の類似度スコアは非線形であり、シーケンス長やドメイン密度などのアーティファクトに敏感である。これを軽減するため、フレームワークは人間による新規性のベースライン（$H$）に対してモデルのスコアを較正する。
  • 「意味的ノイズフロア」（$\tilde{\mu}^{(k)}_H$）は、特定のチャンクサイズに対して、保持された人間によるテキスト（学習コーパスには含まれていないことが保証されているもの）の中央値類似度として計算される。
  • 最終的な**較正済み類似度スコア（Calibrated Similarity Score）**は、モデルの生のスコアとこの人間によるベースラインとの比率である：
    $$\text{Calibrated Score}(k) = \frac{\text{Raw Similarity Score}}{\tilde{\mu}^{(k)}_H}$$
  • スコアが$\approx 1$であることは、モデルの学習コーパスに対する類似度が、人間によるテキストのコーパスに対する類似度と同等であることを示す（すなわち、同等の新規性を持つ）。極めて重要な点として、高いスコアは学習データに対する類似度が高いことを示し、これは新規性が低いことに対応する。 逆に、低いスコアは学習データからの乖離が大きいことを示し、したがって高い新規性を示す。

実験設定

本フレームワークは、SmolLMおよびSmolLM2モデルファミリー（360Mおよび1.7Bパラメータ、共にBaseおよびInstruction-tunedの両方）に適用された。

• コーパス： これらのモデルの完全な事前学習コーパスがインデックス化されている（約20 TBの埋め込み）。
• ベースライン： 学習セットには含まれていないDolmaデータセットからの人間によるテキストが、新規性のリファレンスとして使用された。
• タスク：
  • オープンエンド生成： プロンプトあり（コンテキスト付き）およびプロンプトなし（コンテキストなし）。
  • ドメイン固有のベンチマーク： GSM8K（数学）、TruthfulQA（論理）、およびOpenRewriteEval（書き換え）。これらは、新規性のシグナルがハルシネーションによって駆動されないよう、正確性に基づいて厳格にフィルタリングされた。

主な知見

分析により、主に3つの洞察が得られた：

1. 長距離の再利用パターン：
   モデルは、語彙的な手法によって報告されているよりもはるかに長いシーケンスにわたって、事前学習データを利用している。n-gramの重複は言い換えられたコンテンツに対してゼロになるが、意味的類似性は、モデルが数百トークンにわたって学習データに見られる概念をしばしば再現していることを明らかにしている。

2. タスク依存の新規性：
   新規性はドメインによって系統的に変化する。

   • 制約のあるタスク（例：GSM8K）： 有効な解は狭い意味空間を持つため、類似度スコアが高くなり（新規性が低くなる）、証明を正しく記述する方法が限られている。
   • オープンなタスク（例：TruthfulQA）： より大きな意味的分散を許容するため、類似度スコアが低くなる（新規性が高くなる）。

3. 指示チューニング（Instruction Tuning）の影響：
   指示チューニングは「新規性の触媒」として機能する。

   • 指示チューニングされたモデルは、すべてのドメインにおいて、ベースモデルよりも一貫して低い類似度スコア（高い新規性）を示す。
   • この増加は単なるスタイルの変化ではない。正確性を考慮してフィルタリングした場合でも、指示チューニングされたモデルは、生の事前学習データとは構成的に異なる回答を生成している。
   • スケール効果： 小規模なモデル（360M）は、特定の文脈において大規模なモデル（1.7B）よりも新規性が高いことが判明した。これは、大規模なモデルの方が意味空間における「記憶容量」が高い可能性を示唆している。

意義と主張

本論文は、LLMの汎化を分析するためのスケーラブルで解釈可能、かつ堅牢な手法を提供すると主張している。

• 記憶を超えて： メンバーシップ推論攻撃や記憶検出が逐語的な再現に焦点を当てているのに対し、本フレームワークは意味的な再利用の「程度」を測定し、汎化の連続的なスペクトラムを提供する。
• スタイルへの堅牢性： 意味表現空間で動作することにより、本手法は、表面的な指標を混乱させがちな指示チューニングによって導入されるスタイルの変化に対して鈍感である。
• 再現性： 著者らは、さらなる研究を可能にするために、約20 TBのコーパスチャンクとFAISSインデックスを公開している。

著者らは、意味的新規性の分析はLLMが実際に何を学んでいるかを解釈するための前提条件であり、指示チューニングは単なるスタイルだけでなく、モデルの根本的な構成的挙動をも形成していると結論付けている。彼らは、自らの新規性指標は相対的かつ分布的な指標であり、特定の記憶されたコンテンツの特定や、データのプロベナンスに関する法的主張を行うためのツールではないことを明示している。