Semantic Structure of Feature Space in Large Language Models

以下は、Kozlowski と Boutyline による論文「Semantic Structure of Feature Space in Large Language Models（大規模言語モデルにおける特徴空間の意味的構造）」の詳細な技術的要約です。

1. 問題提起

近年の研究により、大規模言語モデル（LLM）における特定の意味的特徴（例えば、欺瞞、拒絶、阿諛追従など）が、隠れ状態における線形方向として符号化されていることが確立されています。しかし、既存のアプローチはこれらの特徴を個別に扱う傾向にあります。この視点は、特徴が直交（独立）しているという前提に立っています。一方、心理学的研究（特に「意味的差異」の伝統）は、人間の意味的連想は相互に強く相関しており、低次元部分空間（例えば、評価、力、活動性）に還元可能であることを示唆しています。

本論文は重要なギャップに焦点を当てます：LLM 内の意味的特徴間の幾何学的関係は、人間の心理的連想を反映しているのでしょうか？ 具体的には、LLM の特徴空間が独立した軸から構成されているのか、それとも人間の文化的・認知的構造を反映する意味のある非直交性（絡み合い）を示すのかを調査します。

2. 手法

本研究は、調査データ、活性化分析、介入実験を組み合わせ、Llama 3 モデル（3B および 70B）と Qwen3 モデルにわたる多段階の手法を採用しています。

A. データ構築

• 人間ベースライン: 1,750 名の回答者が 360 語を 32 の意味的尺度（例：美しい－醜い、柔らかい－硬い）で評価する調査を行いました。このデータセットは、人間の意味的連想の真値として機能します。
• LLM 特徴ベクトル（単語）: 360 語のそれぞれについて、LLM の隠れ状態から特徴ベクトルを抽出しました。
  • プロトコル: 1 語あたり 4 つのプロンプトを使用しました（例：「{単語} について教えてください」、「{単語} を定義してください」）。
  • 抽出: 特定の層（3B では層 8、70B では層 40）からの活性化を収集し、トークンおよびプロンプト間で平均化して、単語ごとの堅牢な単一ベクトルを作成しました。
• LLM 意味軸: 32 の意味軸を対照ペア設計を用いて構築しました。
  • 各尺度（例：良い－悪い）について、10 組の対義語ペアを選択しました。
  • 各対義語の特徴ベクトルを生成し、軸ベクトルを正の対義語ベクトルと負の対義語ベクトルの平均差として計算しました：
    $$\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

B. 分析手法

1. 投影相関: 単語の特徴ベクトルを意味軸に投影し、これらの投影を人間の調査評価と相関させました。
2. 幾何学的整合性: 意味軸自体間のコサイン類似度を計算し、軸が非直交かどうかをテストしました。これらの幾何学的類似度は、人間の調査データで見られたペアごとの相関と相関させられました。
3. 次元削減: 調査データと LLM 意味軸の両方に**主成分分析（PCA）**を適用し、両方の空間の分散が低次元部分空間（具体的には最初の 3 つの成分）によって捉えられるかどうかを判定しました。**正準相関分析（CCA）**を用いて、LLM と人間のデータの部分空間を整合させました。
4. ステアリング介入: 実用的な含意をテストするため、著者は「ステアリング」介入を行いました。
   • メカニズム: モデルに単語の評価を求めたプロンプトのフォワードパス中に、スケーリングされた意味軸ベクトル（$\alpha \hat{f}$）を残差ストリームに追加しました。
   • 測定: 特定の対義語を選択するモデルの確率の変化（オフターゲット尺度へのスピルオーバー効果）を測定しました。
   • 仮説: 軸が幾何学的に整合している場合、ある軸に沿ってステアリングを行うと、他の軸とのコサイン類似度に比例して、他の軸上で予測可能なスピルオーバー効果が生じるはずです。

3. 主要な貢献

1. 人間のような幾何学の検証: LLM 特徴空間の幾何学的構造は、ランダムまたは純粋に直交的なものではなく、人間の心理的な意味的連想と密接に反映されていることを実証しました。
2. 特徴の非直交性: LLM 内の意味軸が意味的に非直交であることを証明しました。モデル内の 2 つの軸間のコサイン類似度は、人間の調査におけるそれらの尺度間の相関を予測します。
3. 低次元部分空間: 人間のデータと同様に、LLM 意味特徴の分散の大部分が低次元部分空間（約 3 次元）内に存在し、古典的心理学で見られる「評価－力－活動性」構造を再現していることを示しました。
4. 予測可能なステアリングスピルオーバー: 幾何学的整合性とモデルの行動との間に因果関係を確立しました。ある意味軸に沿ってモデルをステアリングすると、他の軸上で予測可能な「スピルオーバー」効果が生じ、その大きさは軸間のコサイン類似度によって決定されます。

4. 主要な結果

• 投影相関: LLM 意味軸上の単語ベクトルの投影と、それらの単語に対する人間の評価の間には、強い正の相関（$r > 0.3$ から $r > 0.8$）が存在します。これは小規模（3B）および大規模（70B）の両方のモデルで成立します。
• 軸相関: LLM 意味軸間のコサイン類似度は、人間の調査におけるそれらの尺度間の相関を非常に高い精度で予測します（$r \approx 0.8$）。これは、モデルの内部幾何学が人間の文化的連想を符号化していることを確認します。
• PCA 整合性:
  • 人間の調査データは効果的に 3 次元に削減されました。
  • LLM 意味軸も、最初の 3 つの主成分が分散の大部分を説明していることを示しました（3B で >45%、70B で >33%）。
  • CCAは、LLM の 3 次元部分空間と人間の調査データの間で高い相関を明らかにし、モデルがこれらの概念を人間と構造的に同様の方法で「考えている」ことを示唆しました。
• ステアリングスピルオーバー:
  • 特定の属性（例：美しい）に向けて単語をステアリングすると、幾何学的に類似した属性（例：柔らかい）において、モデルがその単語を高く評価するようになりました。
  • 2 つの軸のコサイン類似度とスピルオーバー効果の大きさの間には、強い線形関係（$r \approx 0.65 - 0.68$）が存在します。
  • 注: 70B モデルは 3B モデルよりもスピルオーバーの大きさが小さく、大規模モデルはステアリングに対してより耐性があることを示唆していますが、構造的関係（幾何学がスピルオーバーを予測する）は一貫して維持されています。

5. 意義と含意

• 個別化を超えて: 本研究の知見は、LLM の特徴を独立した「ノブ」のカタログとして見る見方に挑戦します。代わりに、特徴はそれらの幾何学的関係と、それらが形成する部分空間を通じて理解されなければなりません。
• AI 安全性と制御: 安全性に重要な特徴（例：真－偽、安全－危険）が共有された低次元部分空間上に存在する場合、幾何学的な絡み合いにより、1 つを制御することが他のものに意図せず影響を与える可能性があります。これは「特徴ステアリング」を複雑にしますが、これらの関係構造を理解することでモデルを監査する手段も提供します。
• 表現工学: 静的な単語埋め込みに対して使用される技術（角度や文化的次元の分析など）が、深層 LLM 表現にも適用可能であり、有益であることを本研究は検証しました。
• 認知的整合性: 結果は、生テキストで訓練されているにもかかわらず、LLM が人間の世界の認知モデルと構造的に整合する内部表現を発達させることを示唆しており、LLM が人間の意味的構造を捉えているという考えを強化します。

結論として、本論文は特徴空間の幾何学は人間にとって意味があると主張しています。特徴間の角度と、それらが定義する部分空間を理解することは、大規模言語モデルを解釈し、監査し、制御するために不可欠です。