論文「Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors」の技術的サマリー

本論文は、大規模言語モデル（LLM）の比較・分析を行うための新しい枠組みを提案しています。従来のモデル比較が「無条件分布」や「生成されたテキスト」に依存していたのに対し、本手法は**「プロンプト - 応答対に対する条件付き対数尤度ベクトル」**を用いてモデルを表現し、モデル間の距離が条件付き分布間の KL 発散（Kullback-Leibler divergence）を近似することを示しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定と背景

• 背景: 多様化する LLM を体系的に比較・評価する枠組みの必要性が高まっている。モデル選択、性能予測、蒸留や進化の分析などに応用が期待される。
• 既存手法の限界:
  • モデル内部構造ベース: 重みや中間表現の比較は可能だが、アーキテクチャが異なるモデル間での共通基盤の構築が困難。
  • 生成テキストベース: 生成されたテキストの埋め込み空間で距離を測る手法（Jiang et al., 2025 など）は、生成のランダム性や埋め込み表現の選択に依存し、不安定になる可能性がある。
  • 対数尤度ベクトルベース（Oyama et al., 2025b）: 事前定義されたテキスト集合に対する対数尤度でモデルを表現する手法は有効だが、主に無条件分布 $p(y)$ に焦点を当てており、LLM の本質である条件付き分布 $p(y|x)$（プロンプト $x$ に対する応答 $y$）の比較には直接適用できない。
• 課題: 実際のタスク（対話、質問応答など）は条件付き生成であるため、モデルを条件付き確率分布の観点から比較する手法が必要である。

2. 提案手法

本論文は、プロンプトと応答のペアに対してモデルをベクトル化し、その空間における距離解析を行う手法を提案します。

2.1 条件付き対数尤度ベクトル (Conditional Log-Likelihood Vector)

• 事前定義されたプロンプト - 応答対の集合 $D = \{(x_s, y_s)\}_{s=1}^N$ に対して、モデル $p_i$ を以下のベクトル $\ell_i$ で表現します。
  $$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$$
• このベクトル空間におけるモデル間のユークリッド距離の二乗は、入力分布全体にわたる平均条件付き KL 発散を近似することが理論的に示されています。
  $$KL(p_i, p_j) \approx \frac{1}{2N} \|\xi_i - \xi_j\|^2$$
  （ここで $\xi_i$ は平均を引いた中心化ベクトル）

2.2 PMI ベクトル (Pointwise Mutual Information Vector)

• 条件付き分布に含まれる「無条件分布 $p(y)$ の影響」を除去し、プロンプトと応答の依存構造に焦点を当てるため、PMI ベクトルを導入します。
  $$\Delta \ell_i = (\log p_i(y_1|x_1) - \log p_i(y_1), \dots, \log p_i(y_N|x_N) - \log p_i(y_N))^\top$$
• これは、プロンプト $x$ を考慮した際の対数尤度の増加量（PMI）をベクトル化したものであり、トレーニングデータとの関連性をより明確に反映する可能性があります。

3. 主要な貢献

1. 条件付き分布に基づくモデルマップの構築: プロンプト - 応答対の条件付き対数尤度ベクトルを用いたモデルマップを提案し、その空間内の距離が条件付き分布間の KL 発散を近似することを理論的に示した。
2. プロンプトシフト（Prompt Shift）と加法性: プロンプトの修正（例：CoT 付加、プロンプトの繰り返し）がモデルの位置に系統的なシフトを引き起こすことを発見し、これらのシフトが近似加法性（$v_{A+B} \approx v_A + v_B$）を持つことを示した。これにより、複合的なプロンプト操作の効果を予測する可能性を示唆した。
3. PMI ベクトルの導入とトレーニングデータとの関連性: 無条件分布の影響を除去した PMI ベクトルを用いることで、モデルマップがトレーニングデータと評価データの一致度により敏感に反応し、トレーニングデータ由来の違いをより明確に反映できる場合があることを示した。

4. 実験結果

• データセットとモデル: Tulu3 および Infinity-Instruct の 1 万ペアからなるデータセットを用い、Open LLM Leaderboard v2 に掲載されている 552 個のモデル（70B 以下）を対象に実験を行いました。
• モデルマップの構造:
  • 条件付き対数尤度ベクトルを用いた t-SNE 可視化では、同じアーキテクチャ（Llama, Qwen, Mistral など）のモデルがクラスタリングされ、Open LLM Leaderboard のスコア（性能）とも空間的な配置に相関が見られました。
• プロンプトシフトの可視化:
  • 「CoT 付加（Let's think step by step）」や「プロンプトの繰り返し」などの操作を施した際、モデルの位置が系統的に移動しました。
  • これらのシフトベクトルは、加法性（$v_{repeat+cot} \approx v_{repeat} + v_{cot}$）をほぼ満たしており、Word2Vec における語のベクトル演算と同様の幾何学的規則性が存在することが確認されました。
• PMI ベクトルの効果:
  • PMI ベクトルに基づくマップでは、トレーニングデータ（Tulu3 や Infinity-Instruct）と評価データセットが一致するモデル同士がより近接して分布する傾向が見られました。これは、条件付き対数尤度ベクトル単独よりも、トレーニングデータの影響をより明確に捉えていることを示唆します。
• KL 発散の近似精度:
  • モデル間の距離（対数尤度ベクトル間の距離）と、モンテカルロ法で推定した真の KL 発散との間には、非常に高い相関（Spearman の $\rho = 0.94$）が確認されました。
  • 生成テキストに基づく意味的距離（Semantic Distance）と比較しても、安定性において劣らないことが示されました。

5. 意義と将来展望

• 理論的意義: LLM の比較を「生成されたテキスト」や「内部重み」ではなく、「条件付き確率分布そのもの」の距離として定式化し、数学的な解釈可能性（KL 発散との近似）を与えました。
• 実用的意義:
  • プロンプトエンジニアリングの予測: 特定のモデルで観測されたプロンプト操作のシフトベクトルを他のモデルに転用することで、未観測のプロンプト操作による性能変化を予測する手法が構築可能になります。
  • モデル選定と分析: 特定のタスクやトレーニングデータに特化したモデルの特性を、共通の空間で可視化・分析する手段を提供します。
• 限界と今後の課題:
  • 閉じたモデル（API のみ）への適用は未解決。
  • 指示型タスク（Tulu3 など）での検証が中心であり、コード生成や多言語、非指示型テキストへの一般化は今後の課題。
  • PMI ベクトルの有効性はデータセットやモデルに依存する。
  • 低次元可視化（t-SNE, PCA）による歪みの可能性。

結論

本論文は、LLM の挙動を「入力依存の条件付き分布」として捉え、対数尤度ベクトル空間における幾何学的な関係性を解析する新しい枠組みを確立しました。特に、プロンプト操作に対するモデルの反応が加法性を示すという発見は、プロンプト操作の効果を定量的に予測・分析するための強力な基盤となるでしょう。