AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models

以下は、論文「AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models.」の詳細な技術的サマリーです。

1. 問題定義：キーワード汚染の問題

大規模言語モデル（LLM）における感情の機械的解釈可能性に関する現在の研究は、明示的に感情を帯びた語彙（例：「私は激怒している」、「彼女は打ちのめされた」）を含む刺激に大きく依存しています。これにより、根本的な交絡が生じます。

• 曖昧性: モデルの内部表現（線形プロービング、活性化パッチング、またはステアリングベクトルによる検出）が感情ラベルと相関する場合、モデルが感情の意味的概念を学習したのか、それとも単に語彙トークン（単語そのもの）を検出したのか、明確ではありません。
• 結果: この曖昧さは、感情回路、特徴エンジニアリング、行動介入に関する下流の主張を無効化します。「絶望」に対するステアリングベクトルが機能する場合、それが絶望という概念に作用しているのか、それとも「絶望的」という単語の語彙的領域に作用しているのかは不明です。
• 文献のギャップ: 既存のコーパス（例：crowd-enVENT、GoEmotions）や最近の研究はこの問題を認識していますが、感情は存在するが特定の感情語は存在しない刺激を欠いているため、研究者が「キーワード非依存」の仮説を直接テストできるリソースは存在しません。

2. 方法論：AIPsy-Affect データセットの構築

著者は、厳密なマッチドペア設計を通じてキーワードの交絡を排除するために設計された 480 項目の臨床刺激バッテリー「AIPsy-Affect」を導入します。

中核となる設計原則

• 対象感情: プルチックの輪に基づき、8 つの主要な感情（怒り、恐怖、悲嘆、嫌悪、驚嘆、賞賛、陶酔、警戒）を網羅します。
• 心理的領域: 感情が領域固有ではなく感情固有の表現であることを保証するため、6 つの異なる領域（例：金銭的裏切り、専門職の侵害、医療的失敗）に感情を具体化します。
• キーワード非依存の制約: vignettes（小話）は、状況的および行動的合図のみを通じて特定の感情を喚起するように構築されます。「怒り」などの明示的な感情語や近接する類義語は厳格に禁止されます。
• マッチドペア構造: すべての臨床 vignette には 1:1 でマッチした中立対照があります。中立バージョンは、登場人物、設定、対象物、文構造、単語数を保持しつつ、感情的な stakes（賭け事）を除去します（例：裏切りを通常の取引に置き換える）。
  • 意義: 臨床項目とそのマッチした中立項目を区別する内部表現は、表面的な特徴やキーワードの存在に基づくことはできず、感情的構成をトラッキングしているに違いありません。

データセットの分割

データセットは、異なる分析ニーズをサポートするために 4 つの特定の分割に区分されます。

1. Clinical（192 項目）: ピーク強度のキーワード非依存 vignettes（8 感情 × 6 領域 × 4 vignettes）。
2. Neutral（192 項目）: クリニカル分割に対するマッチした対照。
3. Moderate（48 項目）: 領域 1〜3 に対する中程度の強度の vignettes。用量反応分析（ピーク強度と中程度強度の比較）を可能にします。
4. Complex_Neutral（48 項目）: 記述密度をマッチさせた、鮮明で感情を含まない物語（例：工業プロセス）。これはプローブが単なる物語の豊かさではなく、感情（affect）を検出していることを保証するための弁別妥当性の対照として機能します。

3. 検証：3 手法 NLP 防御バッテリー

データセットがキーワードの漏洩を成功裡に除去したことを検証するため、著者は刺激に対して NLP ツールの梯子を適用しました。

1. Bag-of-Words 感情分析（VADER）:
   • 結果: VADER はクリニカル分割と中立分割の間に差異を検出しましたが、そのシグナルは状況的語彙（例：「withdrawal（撤退/離脱）」、「death（死）」、「block（妨害）」）によって駆動されており、感情語によるものではありませんでした。
   • 主要な発見: 感情ごとの中央値は、しばしば目標とする価（valence）と逆相関していました（例：「怒り」の vignette は正のスコアを記録）。これは VADER が目標とする感情のキーワードを追跡していなかったことを証明します。
2. Bag-of-Words 感情辞書（NRC）:
   • 結果: キーワード非依存のクリニカル分割は、中立分割よりも感情カテゴリ語のヒット率が低かったです。
   • 主要な発見: NRC はキーワード非依存のテキストを用いて 8 つの目標感情を区別できませんでした。これは感情カテゴリの漏洩が存在しないことを確認しました。
3. 文脈型トランスフォーマー分類器（GoEmotions DistilRoBERTa）:
   • 結果: 分類器は、クリニカル項目が中立項目よりも「感情的」であることを成功裡に検出しました（$p < 10^{-15}$）。これは感情が意味的に存在していることを示しています。
   • 主要な発見: しかし、分類器は特定の感情カテゴリを特定できませんでした（トップ 1 精度：キーワード豊富な対照群の 82.5% に対し、5.2%）。
   • 結論: このデータセットは、「感情が存在する」ということをキーワードを通じて符号化することなく、「どの感情か」ということを符号化しています。

4. 主要な貢献

• 方法論的リソース: 著者の以前の 96 項目の仕事を 4 倍に拡張した、オープンライセンス（MIT）の 480 項目データセット。表現幾何学分析（例：置換検定）に必要な統計的検出力を提供します。
• 強力な方法論的保証: マッチドペア設計により、クリニカル項目と中立項目を区別するあらゆる内部表現は、設計上、感情キーワードの存在から独立しています。
• 構造的革新:
  • 強度勾配: 用量反応研究（ピーク対中程度）を可能にします。
  • 弁別妥当性: complex_neutral 分割は、物語の複雑さの検出から感情の検出を分離します。
  • 領域の拡張: 3 つから 6 つの領域へ移行することで、研究者が感情固有の特徴を領域固有の特徴から解離させることを可能にします。
• オープンサイエンス: データセットは、完全なメタデータ、検証パイプライン、および標準的な引用文献と共に Hugging Face で公開されています。

5. 結果と意義

• 検証の成功: NLP 防御バッテリーは、データセットに感情キーワードの漏洩が含まれていないことを確認しました。文脈モデルは感情の存在を検出できますが、キーワードなしではそれを分類できません。これは、刺激が状況的意味に依存していることを証明します。
• 新たな研究の促進: このデータセットは、分野を「感情表現は存在するか？」（これは以前のキーワード豊富な研究が回答した）から「これらの表現とは何か？」へと転換させます。
  • 語彙的ルーティングの交絡なしに、感情回路の厳密なテストを可能にします。
  • 介入を単語のトリガーではなく、感情的概念に自信を持って帰属させることができる、因果的アブレーションおよびステアリングベクトル実験を支援します。
  • 感情的表現が強度とともにスケーリングするかどうかを決定するための用量反応分析を可能にします。

6. 限界

• 言語: 英語のみ。言語間研究には新しい刺激ファミリーが必要です。
• 分類体系: プルチックの 8 感情に限定されており、エックマンの 6 感情や次元モデル（価 - 覚醒）は網羅していません。
• 著者: すべての vignette は 1 人の臨床心理学者によって執筆されました（ただし、多手法による検証とオープンリリースによって軽減されています）。
• 特定の交絡: 「嫌悪」とポジティブな感情は、わずかに残存する語彙的関連（例：非人間的な言語パターン）のリスクが高く、下流の研究では感度分析が必要です。
• 視点: すべての vignette は三人称です。一人称の処理経路はテストされていません。

結論

AIPsy-Affect は、機械的解釈可能性の分野に不可欠な「クリーン」な刺激バッテリーを提供します。感情的な状況を保持しつつ、感情キーワードを外科的に除去することで、LLM が感情的意味の内部表現を有しているのか、それとも単に高度なキーワード検出器として機能しているのかを、研究者が最終的に決定することを可能にします。これは、トランスフォーマーにおける感情的計算の真の性質を理解するための基礎的な一歩です。