技術要約：Emotions Where Art Thou

問題提起

大規模言語モデル（LLM）は感情分析や感情的なテキスト生成において習熟度を示しているが、感情をどのように表現し処理しているかという内部メカニズムについては、依然として未解明な部分が多い。既存の文献は、主に出力挙動（分類精度や生成の質）に焦点を当てているか、あるいは感情を内部の潜在表現としてではなく、外部的なラベルとして扱っている。LLMの隠れ状態における感情表現の幾何学的構造、具体的には、感情が整合性のある低次元多様体にエンコードされているのか、これらの表現が異なるデータセットや言語間でどのように整列しているのか、そして、意味内容を損なうことなく因果的に操作できるのかどうかについての理解が不足している。

手法

著者らは、デコーダーのみのLLM（具体的には LLaMA 3.1、OLMo v2、Ministral）の感情的潜在空間を調査するために、幾何学的解析、クロスドメイン整列、および因果的介入を組み合わせた多角的なアプローチを採用している。

1. 感情サブスペースの抽出 (Centered-SVD):
   著者らは、文レベルの隠れ状態に対して中心化特異値分解（Centered SVD）を利用している。トークンの活性化を平均プーリングして文表現を作成し、それを中心化して分解する。これにより直交する変動方向が分離される。感情的な内容が支配的な構造的差異である場合、主要な成分が主要な感情軸を捉えるという仮説に基づいている。

2. クロスデータセットおよびクロスリンガル整列:
   普遍性を検証するため、合成データセット（中立的な文章を特定の感情へと書き換えたもの）から得られた感情サブスペースと、5つの言語（英語、スペイン語、ドイツ語、ヒンディー語、イタリア語、フランス語）にわたる8つの多様な人間作成データセットから得られた感情サブスペースを整列させる。

• 整列指標: 感情セントロイドのコサイン類似度、および合成空間から実空間へのマッピングのための線形回帰（最小二乗法）。
• 幾何学的保存: ペア間の感情間の距離が整列中にどの程度保持されているかを定量化するために、ストレス指標（Stress-1, Stress-2, Sammon）と歪み指標（平均歪み、$\ell_2$歪み、$\sigma$歪み）を導入し、グローバルな再スケーリングと異方性変形を区別する。

3. 神経符号化解析 (ML-AURA):
   ML-AURAフレームワークを用いて、ニューロンの選択性を分析する。ニューロンを閾値ベースの検出器として扱い、特定の感情を識別する能力（one-vs-all）を精度・再現率曲線の下端面積（AUC-PR）を通じて測定する。これにより、感情の符号化が特定のニューロンに局在しているのか、あるいはネットワーク全体に分散しているのかを判断する。

4. 因果的ステアリング (介入モジュール):
   内部的な感情知覚を操作するために学習された介入モジュールを用いる。このモジュールは、SVDから導出された感情サブスペース内で動作し、選択されたレイヤーの隠れ状態にシフトを適用する。学習目的関数は以下を組み合わせる：

• トークン損失 ($L_{token}$): クロスエントロピーとマージン損失を用いて、ターゲットとなる感情トークンへの分類を強制する。
• 意味保存損失 ($L_{sem}$): 元の隠れ状態とシフト後の隠れ状態の間の距離（コサインおよび$\ell_2$）を最小化し、意味内容が維持されることを保証する。

主な結果

1. 普遍的な感情多様体の存在

本研究は、方向的にエンコードされ、レイヤー間で安定している低次元の感情サブスペースを特定した。

• 幾何学的整合性: モデルは、実データと合成データの感情方向の間で高いセントロイド・コサイン類似度（0.83–0.93）を示す。
• クロスリンガル汎用性: 感情構造は、8つのデータセットと5つの言語にわたって、低い整列歪みとともに汎用される。指示チューニング済みのバリアントは、ベースモデルよりも一般に高いコサイン類似度と低い回帰誤差を示しており、合成多様体により密接に適合していることが示唆される。
• 歪み分析: グローバルな整列は強力であるが、ローカルな幾何学的コヒーレンスは変動する。OLMo v2は、LLaMAやMinistralと比較して高いストレスと歪みを示し、特に指示チューニング済みのバリアントにおいて顕著であり、より脆弱な感情多様体を示唆している。しかし、高歪みのケースにおいても、かなりのサブセットのレイヤーがコヒーレントな幾何学を保持している。

2. 内部構造と「モデル心理学」

• 分散型符号化: ローカリスト理論とは対照的に、感情情報は特定のニューロンや後半のレイヤーに限定されていない。ML-AURA解析により、高い割合のニューロン（例：Ekmanの感情に対して平均約75%）が選択性を示すことが明らかになった。悲しみや驚きは最も広範な感情である。これは、感情が分散的で多目的のコンポーネントから生成されるという構成主義的な見解を支持している。
• 解釈可能な軸: 感情サブスペースの主成分（PC）は、明示的な教師あり学習なしに、確立された心理学的次元と一致している：
  • PC1: **価数（Valence）**次元（快・不快）に類似。
  • PC2: 支配性／コントロール（Dominance/Control）（服従 vs 自律）を反映。
  • PC3: **接近・回避（Approach-Avoidance）**の動機付けにマップ。
  • PC4: **覚醒度／緊急性（Arousal/Urgency）**に対応。
• 安定性: これらの主軸に沿った感情のランキングは、レイヤーを横断して非常に安定している（上位PCのSpearman相関 > 0.80）。

3. 感情知覚の制御可能性

学習されたステアリングモジュールは、意味を保持しながらモデルの内部的な感情状態を操作することに成功した。

• パフォーマンス: ステアリング後のターゲット感情に対する精度は、英語および非英語のデータセットにおいて、頻繁に80–90%を超える。基本感情（悲しみ、怒り、恐怖、中立）は最も強い制御を示し、微細なカテゴリー（嫉妬、興奮）は、特にヒンディー語のような低リソース言語において変動が大きい。
• 意味保存: 意味的類似性の損失は低く保たれており、介入がコアな意味内容を変えることなく、感情的な解釈をシフトさせることが確認された。

意義と主張

本論文は、LLM内に一貫しており、かつ操作可能な感情幾何学が存在することを明らかにすると主張している。主な貢献は以下の通りである：

1. 方向的符号化: 感情表現はランダムではなく、層の深さにわたって安定し、言語ドメインを超えて転移可能な、低次元のサブスペース内に方向的にエンコードされていることを示した。
2. 創発的構造: 明示的な感情の教師あり学習なしに、構造化された感情多様体が自然に創発し、古典的な心理学的分類（価数・覚醒・支配など）と一致することを示した。
3. 因果的制御: 学習された介入モジュールを用いることで、内部の感情知覚を高精度にステアリングできることを確立し、感情サブスペースが単に解釈可能であるだけでなく、機能的に制御可能であることを証明した。

著者らは、LLMは構造化された潜在的な感情多様体を内部化していると結論づけている。低リソース言語における語彙の希薄さや、特定のモデル（例：OLMo v2）における多様体の脆弱性といった限界はあるものの、これらの知見は、LLMがどのように感情を表現し調節しているかについての基礎的な説明を提供し、感情を持つAIのより安全で解釈可能な展開への道筋を示すものである。