論文要約：Hypothesis-Driven Feature Manifold Analysis in LLMs via Supervised Multi-Dimensional Scaling

本論文は、大規模言語モデル（LLM）の潜在空間における「特徴多様体（Feature Manifolds）」の構造を分析し、推論におけるその役割を解明することを目的としています。著者らは、既存の次元削減手法の限界を克服する新しい手法「教師付き多次元尺度構成法（Supervised Multi-Dimensional Scaling: SMDS）」を提案し、時間推論タスクを事例として多様な幾何学的構造（円、直線、クラスターなど）がモデル内でどのように表現・利用されているかを明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景

近年の機械的解釈可能性（Mechanistic Interpretability）の研究により、LLM が潜在空間内でエンティティ（実体）や概念を構造化された「多様体（Manifolds）」として表現していることが示唆されています。

• 線形表現仮説: 概念が潜在空間の方向として符号化されるという仮説。
• 既存研究: 数値エンティティは擬似的に線形的に、曜日や月は円形（リング）構造を形成していることが発見されています（Engels et al., 2025 など）。

課題

しかし、以下の重要な問いは未解決のままです。

1. 検出の困難さ: 既存の次元削減手法（PCA, LDA, PLS など）は、データに固定された構造仮定（例：分散最大化、クラスター分離）を課すため、任意の幾何学的形状（円形や非線形構造など）を検出・比較することが困難です。
2. 機能性の不明確さ: 発見された多様体が、実際にモデルの推論プロセスにおいてどのように利用されているか、因果的な役割は不明です。
3. 一般化の欠如: 特定の機能に特化した幾何学構造の特定に留まり、異なるモデルやタスク間での構造の普遍性や適応性を体系的に評価する手法が不足しています。

---

2. 提案手法：Supervised Multi-Dimensional Scaling (SMDS)

著者らは、ユーザーが定義した幾何学的仮説を検証・比較するためのモデル非依存手法としてSMDSを提案しました。

手法の概要

SMDS は、古典的な多次元尺度構成法（MDS）に教師信号を組み込んだ手法です。

1. 仮説の定義: 対象となる特徴（例：日付、曜日）のラベル $y$ に対して、意図する幾何学的構造（円、直線、クラスターなど）を定義する距離関数 $d(y_i, y_j)$ を設定します。
   • 例：円形構造の場合、ラベル間の距離を単位円上の弦長として定義。
2. 射影の学習: モデルの隠れ状態（アクティベーション）$X$ から、定義された理想的な多様体構造に最もよく適合する線形射影 $W$ を学習します。
   • 損失関数：射影された点間のユークリッド距離と、ラベルから定義された理想的な距離との差を最小化します。
     $$L = \sum_{i<j} \left( \|W(x_i - x_j)\|^2 - d(y_i, y_j)^2 \right)^2$$
3. 評価指標（Stress）: 学習した射影の適合度を評価するために、保持されたテストデータに対する「正規化ストレス（Normalized Stress）」を計算します。ストレス値が低いほど、その幾何学的仮説がモデルの内部表現を良く説明していることを示します。

既存手法との比較

• PCA/LDA/PLS: 特定の最適化目標（分散最大化など）に依存するため、事前に定義された任意の形状を検出できません。
• SMDS: ユーザー定義の距離関数に基づき、任意のトポロジー（線形、循環的、カテゴリカルなど）をテスト可能であり、複数の仮説間で定量的に比較できます。

---

3. 実験設定

• タスク: 時間推論（Temporal Reasoning）を主要なケーススタディとしました。
  • 具体的なタスク：日付の順序付け、期間の推定、季節や時間帯の分類など。
  • データセット：合成データを使用し、日付、期間、注目すべき出来事、周期性、1 日の時刻など、多様な時間的表現を網羅しました。
• モデル: Qwen2.5-3B, Llama-3.2-3B/8B/70B, Gemma-2-2B など、異なるアーキテクチャとサイズ（3B〜70B）のモデルを評価対象としました。
• 分析ポイント: 時間表現の末尾トークン、プロンプトの末尾、生成された回答トークンなど、文脈内の異なる位置でのアクティベーションを分析しました。

---

4. 主要な発見（Results）

発見 F1: モデル間での直感的な多様体構造の共有

• 異なるモデルファミリーやサイズ（3B〜70B）において、同じ種類の時間的エンティティは一貫した幾何学的構造で表現されていました。
  • 循環的な概念（月、曜日）→ 円形（Circular）
  • 連続的な概念（期間、年）→ 直線形（Linear）または対数線形
  • カテゴリカルな概念（季節）→ クラスター（Cluster）
• この結果は、LLM が同じ知識を符号化する際に、モデルに依存しない「プラトニック（理想的）な表現構造」に収束することを示唆しています。

発見 F2: タスクと文脈に応じた動的な構造適応

• 多様体の形状は、提示されるタスクやプロンプトの完了キュー（質問）に応じて動的に変化します。
  • 例：同じ文脈（日付情報）であっても、「最も古いのは？」（順序付け）と「夏に生まれたのは？」（分類）という異なる質問に対して、モデルはそれぞれ円形構造やクラスター構造へと多様体を再構成します。
• これは、モデルが推論タスクに応じて内部表現を柔軟に再編成していることを示しています。

発見 F3: 推論における多様体の能動的利用

• 因果的介入実験: 特定的多様体部分空間にノイズを注入すると、推論性能が顕著に低下しました。一方、ランダムな部分空間へのノイズは影響がほとんどありませんでした。
• 相関関係: 多様体の品質（ストレス値の低さ）と、モデルの推論タスクの精度との間に有意な正の相関が確認されました。
• これらは、LLM が単に情報を記憶しているだけでなく、構造化された多様体を利用して能動的に推論を行っていることを示す強力な証拠です。

追加発見：多次元・他ドメインへの拡張

• 2 次元多様体: 開始日と期間の 2 つの特徴を組み合わせた 2 次元多様体の分析も成功しました。
• 地理的推論: 都市の緯度・経度に基づく地理的知識の分析においても、モデルは地球の球体構造（Spherical manifold）を適切に表現していることが確認されました。

---

5. 結論と意義

結論

本論文は、SMDS という新しい手法を通じて、LLM の内部表現が単なるベクトルではなく、構造化された多様体として機能していることを実証しました。これらの多様体は：

1. モデルのサイズやアーキテクチャを超えて普遍的に存在する。
2. 推論タスクに応じて動的に再構成される。
3. 推論プロセスにおいて因果的に重要な役割を果たす。

提案する推論パイプライン

著者らは、LLM の推論メカニズムを以下のように仮説立てています。

1. 表現: エンティティの性質を残差ストリーム内の多様体上の整合的な位置に表現する。
2. 変換: 質問やタスクの文脈に基づき、この多様体に変換を適用する。
3. 選択: 変換された表現に基づいて適切な出力を選択する。

学術的・実用的意義

• 解釈可能性の向上: 従来の「線形仮説」に縛られず、より複雑で多様な表現構造を検出・比較できる枠組みを提供しました。
• モデル制御への示唆: 特徴多様体の構造を理解することは、モデルのバイアス軽減、推論能力の向上、およびモデルの挙動を制御する「モデル・ステアリング（Model Steering）」技術の開発に寄与します。
• 将来の研究方向: 個々の特徴がどのように結合して多次元多様体を形成するか、また、異なる多様体構造がどのように協調して高度な推論を実現するかという研究の基盤となりました。

本論文は、LLM の「思考」のメカニズムを幾何学的な視点から解き明かす重要な一歩であり、より透明性が高く制御可能な AI 開発への道を開くものです。