論文要約：小規模言語モデルにおける共有された感情幾何学構造

タイトル: Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds
著者: Jihoon 'JJ' Jeong (DGIST, ModuLabs)
日付: 2026 年 4 月

1. 研究の背景と課題

近年の大規模言語モデル（LLM）の研究では、離散的な感情概念が活性化空間内の線形方向として符号化されていることが示されています。しかし、この「感情の幾何学構造」が単に特定の巨大モデルやその学習パイプラインに固有の性質なのか、それとも言語モデルというタスク自体に普遍的な性質なのかは不明瞭でした。

特に、小規模言語モデル（SLM）の領域では、異なるアーキテクチャや学習履歴を持つ複数のモデルが存在しますが、既存の研究では抽出パイプライン、数値精度、バックエンドが異なっており、モデル間の比較において「表現的な違い」と「手法による違い」を区別することが困難でした。また、Jeong (2026a) は「理解モード」と「生成モード」での抽出に強い乖離があることを報告しましたが、これが手法の違いによるものか、精度（INT8 vs fp16）やサブパラメータの設定によるものか、明確に分解されていませんでした。

本研究の目的は、統一されたプロトコルを用いて複数の SLM 間で感情ベクトルの幾何学構造を比較し、その普遍性を検証するとともに、比較を可能にするための方法論的な制御（コンファウンドの排除）を確立することです。

2. 手法とデータセット

データセット

• 対象モデル: 6 つのアーキテクチャファミリー（Qwen 2.5, Llama 3.2, Llama 3.1, SmolLM2, Mistral 7B, Gemma-3）から選定された 12 個のモデル（各ファミリーの Base と Instruct バージョン）。
• 規模: 1B から 8B パラメータまで。
• 感情語彙: 21 種類の感情（「怖い」「怒り」「喜び」など）と「中立」を含む固定語彙。

抽出パイプライン

• 統一された理解モード抽出: 全てのモデルに対して、感情を誘発する短文（3 人称記述）を入力し、残差ストリーム（residual stream）から感情ベクトルを抽出。生成モードではなく理解モードを採用することで、ロールプレイや生成条件によるバイアスを排除。
• 数値精度: 全てのモデルを fp16 精度で実行（VRAM 制約により 7B+ モデルはクラウド A40 インスタンスを使用）。
• バックエンド: TransformerLens と HuggingFace の生フック（raw hooks）の 2 種類を使用。両者の数値的同等性を検証済み（コサイン類似度 0.999998）。

分析指標

• 表現類似性分析 (RSA): 21 感情ベクトル間の 21x21 コサイン距離行列（RDM）を作成し、モデル間での Spearman 相関を計算。
• 幾何学的記述子:
  1. 異方性 (Anisotropy): 中立文の残差ストリーム活性化の平均コサイン類似度（1 に近いほど退化している）。
  2. RDM 標準偏差: 感情間の区別度。
  3. ベストレイヤー: 感情が最も明確に分離するレイヤーの深さ（全体のパーセンテージ）。
  4. 操縦レジーム: 介入時の出力の安定性（外科的/反復的崩壊/爆発的）。

3. 主要な発見（実質的知見）

3.1 アーキテクチャを超えた感情幾何学の普遍性

• 成熟した 5 つのアーキテクチャファミリー（Qwen, Llama, SmolLM2, Mistral）間では、21 感情の幾何学構造が驚くほど類似していました（RDM Spearman 相関 $\rho = 0.74 \sim 0.92$）。
• 家族内（例：Llama 3.2 と Llama 3.1）の相関は特に高く（$\rho = 0.92$）、パラメータ数やアーキテクチャの違いを超えて、感情の空間的関係性が保存されていることが示されました。

3.2 行動と表現の分離（Qwen vs Llama 3.2）

• 行動プロファイルの対照: Qwen 2.5 は「認知的に柔軟だが手続き的に一貫性がない」一方、Llama 3.2 は「認知的に堅固だが手続き的に順守する」という、MTI（Model Temperament Index）のコンプライアンス軸において正反対の行動特性を示します。
• 結果: 行動特性が全く異なるこの 2 モデル間でも、感情ベクトルの幾何学構造は高い相関（$\rho = 0.81$）を示しました。
• 示唆: 行動上の「コンプライアンス」の違いは、感情表現そのものには書き込まれておらず、表現の上位層（ポリシーや RLHF による条件付けなど）で生じていることが示唆されます。

3.3 表現の成熟度勾配と RLHF の効果

• Gemma-3 1B の異常: 1B パラメータの Gemma-3 Base モデルは、異方性が 0.997（ほぼ 1 次元）と極端に高く、感情の区別ができていない「未成熟」な状態でした。
• RLHF の役割: Gemma-3 の Instruct モデルでは、RLHF によって異方性が低下し、感情構造が再構築されました。一方、既に成熟した 5 つのファミリーでは、Base から Instruct への RLHF による幾何学的変化はほとんど見られませんでした。
• 結論: RLHF は、まだ構造が整っていない未成熟な表現に対しては大きな再構築効果を持ちますが、既に成熟した表現に対してはほとんど影響を与えないようです。

3.4 規模と家族アイデンティティ

• サイズとの相関: モデルサイズ（パラメータ数）が増えるにつれ、異方性は低下し、RDM 標準偏差は増加する（感情構造が鮮明になる）強い負の相関（$\rho \approx -0.89$）が見られました。
• ベストレイヤーの安定性: 最適な抽出レイヤーの深さ（全体のパーセンテージ）はサイズには弱く相関し、むしろ「ファミリー」によって決まる特性（Llama 系は約 38%、Qwen 系は約 54% など）であることが示されました。

4. 方法論的知見（重要な貢献）

本研究は、感情ベクトル比較を安全に行うために 3 つの重要な方法論的制御を提示しました。

1. 異方性（Anisotropy）の信頼性フラグ:

   • 異方性が極端に高いモデル（>0.95、例：Gemma-3 Base）は、コサイン類似度に基づく比較が信頼できません（ノイズ支配）。
   • 重要発見: 各 RDM に対して線形正規化を施しても、Spearman 相関や Pearson 相関は数学的に不変であり、類似度スコアは変わりません。したがって、正規化で誤差を補正するのではなく、異方性の値を報告し、高異方性モデルを「信頼できないアウトライヤー」として扱うべきです。

2. クロスバックエンドの同等性:

   • TransformerLens と HuggingFace 生フックは、対応する位置で数値的に同等なベクトルを抽出することを確認しました（コサイン類似度 0.999998）。これにより、異なるツールで抽出されたモデル間での直接比較が可能になりました。

3. 「手法効果」の 4 層分解:

   • 従来の「理解 vs 生成」の乖離は、単一の「手法効果」ではなく、以下の 4 つの層に分解されることを示しました：
     1. 手法そのもの: 理解 vs 生成（モデル依存）。
     2. サブパラメータ感度: 生成パイプライン内の 8 つの実装選択（プロンプト数、デコード確率など）の違いが、結果に最も大きな影響を与える（相関が 0.02-0.03 まで低下）。
     3. 精度効果: fp16 vs INT8（モデル依存）。
     4. 混同された統計量: 上記 3 つが混在した従来の比較統計量は、モデルによって精度効果を過大評価または過小評価する方向に歪む。
   • 示唆: 異なる研究間の単純な相関値を解釈する際は、これらの層を分解しないと誤った結論に至る危険性があります。

5. 意義と結論

本研究は、小規模言語モデル（SLM）における感情表現の幾何学構造が、アーキテクチャや行動特性の違いを超えて普遍的に共有されていることを初めて実証しました。

• 解釈可能性への貢献: 一つのモデルで開発された解釈ツールや安全介入が、他の SLM へ転用可能である可能性を示唆します。
• 安全性への示唆: 行動特性（コンプライアンス）と低次元の感情表現は分離しており、安全対策は表現そのものではなく、その上位の意思決定層に焦点を当てる必要があることを示しています。
• 方法論的基盤: 異方性の扱い、クロスバックエンド比較、手法の層別分解など、今後の SLM 感情研究における標準的なプロトコルと注意点を提供しました。

特に、RLHF が「未成熟な表現」を構造化する一方で、「成熟した表現」にはほとんど影響を与えないという発見は、言語モデルの学習ダイナミクスと RLHF の役割に関する理解を深める重要な知見です。