Evaluating LLM Alignment With Human Trust Models

この論文は、対比プロンプティングを用いたホワイトボックス分析により、大規模言語モデル（GPT-J-6B）の内部における信頼の表現が、人間の信頼モデル（特にカステルフランキの社会認知モデル）と高い整合性を示すことを明らかにし、人間-AI 協働システムの設計や社会認知理論の発展に貢献する知見を提供しています。

要約

🕵️‍♂️ 研究の目的：AI の「心の内」を覗く

私たちは普段、AI に「誰かを信頼できる？」と聞けば、それらしい答えを返します。しかし、AI は本当に「信頼」を理解しているのでしょうか？それとも、ただ言葉を並べているだけなのでしょうか？

この研究では、AI が「信頼」をどう捉えているか、その**「頭の中の地図（内部表現）」**を詳しく調べました。

🎨 方法：「対比」を使って色を塗り分ける

研究者たちは、AI の頭の中を直接見るために、**「対比プロンプト（Contrastive Prompting）」**という魔法のようなテクニックを使いました。

1. 2 つの物語を作る：
   • 「A さんが B さんを信頼して助ける」ポジティブな物語。
   • 「A さんが B さんを疑って助けなかった」ネガティブな物語。
2. AI の反応をスキャンする：
   AI がこれらの物語を生成する瞬間、その「脳の電気信号（活性化パターン）」を記録します。
3. 引き算をする：
   「ポジティブな反応」から「ネガティブな反応」を引くことで、「信頼」という概念そのものが AI の頭の中でどんな「色」や「形」をしているかを抽出しました。

これを「信頼」だけでなく、「能力」「誠実さ」「リスク」など、信頼に関連する 60 個の感情や概念すべてに行いました。

🗺️ 発見：AI の頭の中は「信頼の地図」になっていた

結果、驚くべきことがわかりました。

• AI は感情を整理している：
  AI の頭の中では、「信頼」や「協力」といった良い言葉同士が近くに集まり、「怒り」や「嫉妬」といった悪い言葉同士が別の場所に集まっていました。まるで、「信頼」というテーマの部屋が、AI の脳内にちゃんと用意されていたようです。
• どの理論に一番似ている？
  研究者たちは、人間がこれまで提唱してきた「信頼の理論（5 つのモデル）」と、AI の頭の中の地図を比べました。
  • 勝者は「カステルフランキモデル」でした！
    このモデルは、「信頼とは、相手の能力や意図を頭で考えて判断するものだ」と説いています。
    AI の頭の中は、この「理屈で判断する信頼」の構造に、最もよく似ていることがわかりました。
  • 次点で「マーシュモデル（過去の行動データに基づく信頼）」もよく似ていました。

⚠️ 意外なズレ：AI と人間の「感覚」の違い

しかし、面白い（そして少し怖い）ズレも見つかりました。

• 「リスク」の捉え方：
  人間のある理論（メイヤーモデル）では、「信頼する＝リスクを取る（相手を傷つける可能性を許容する）」と定義されています。つまり、リスクと信頼は**「仲良し」の関係です。
  しかし、AI の頭の中では、「信頼」と「リスク」は真逆の位置にありました。**
  AI は「リスク＝危険・悪いこと」として捉えており、「信頼＝安全・良いこと」として捉えているため、両者は仲良くできず、離れてしまったのです。
  • 比喩： 人間は「勇気を持ってジャンプする（リスク）」ことが信頼の証だと思っても、AI は「ジャンプ＝転んで怪我をする（リスク）」ことしか見ていない、ということです。

🚀 この研究が意味すること

この研究は、AI が単なる「言葉の箱」ではなく、**「社会の仕組みや信頼関係を、独自の論理で理解している」**ことを示しています。

• AI との協力：
  AI がどう「信頼」を計算しているかを知ることで、人間と AI がよりスムーズに協力できるシステムを作れます。
• AI の制御：
  もし AI が「信頼できる振る舞い」をするようにしたいなら、その「信頼の地図」に沿って、AI の頭の中の信号を調整すればいいことがわかります。

📝 まとめ

この論文は、**「AI の頭の中を X 線撮影して、信頼という概念がどう描かれているか」**を調べました。

結果、AI は人間のように「感情」で信頼するのではなく、**「相手の能力や意図を論理的に計算して信頼する」**という、非常に理性的な地図を持っていたことがわかりました。ただし、人間が「リスクを取る勇気」を信頼の一部だと考えるのに対し、AI はそれを「危険」として切り離して考えている点には、まだ人間との違いがあるようです。

この発見は、将来、より人間らしく、そして信頼できる AI を作るための重要なヒントになります。

技術概要

論文「Evaluating LLM Alignment With Human Trust Models」の技術的サマリー

本論文は、大規模言語モデル（LLM）が人間同士の信頼（Trust）をどのように内部表現し、推論しているかを「ホワイトボックス（内部構造の可視化）」アプローチで分析した研究です。特に、EleutherAI/gpt-j-6B というオープンソースのモデルを用いて、信頼に関する 5 つの主要な人間モデルとの概念的整合性を評価しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定 (Problem)

• 信頼の重要性と未解明な内部メカニズム: 信頼は、人間間およびマルチエージェントシステムにおける協力、不確実性の低減、意思決定の基盤です。しかし、LLM が内部でどのように「信頼」を概念化し、推論しているかについては、黒箱（入力と出力のみ）的な分析が主流であり、内部の活性化パターンや表現構造に関する理解は限られています。
• 既存研究の限界: 従来の信頼モデル（計算モデルや社会認知モデル）は理論的に確立されていますが、LLM の潜在空間（Latent Space）がこれらのどのモデルと最も整合しているか、あるいは独自の構造を持っているかは不明です。
• 研究の目的: LLM の内部活性化空間において、信頼に関連する概念がどのように表現され、既存の人間の信頼理論モデルとどの程度整合しているかを定量的に評価するフレームワークの構築。

2. 手法 (Methodology)

本研究は、**コントラストプローミング（Contrastive Prompting）**を用いたホワイトボックス分析に基づいています。

2.1 対象モデル

• EleutherAI/gpt-j-6B: オープンソースであり、層ごとの活性化（アクティベーション）へのアクセスが制限なく可能であるため、ホワイトボックス分析に適しています。

2.2 手法のステップ

1. 信頼モデルの選定と概念抽出:
   • 5 つの確立された信頼モデル（Marsh, Mayer, McAllister, McKnight, Castelfranchi）から、信頼に関連する概念（例：能力、誠実さ、リスク、相互依存など）を抽出しました（計 30 概念、双方向性を考慮し 60 概念に拡張）。
2. コントラストプローミングによる埋め込みベクトル生成:
   • 各概念について、「概念が肯定的に現れる状況」と「反対の行動（否定的）が現れる状況」の 2 つのプロンプトを設計しました（例：「Katherine が Alice を信頼する」vs「Katherine が Alice を信頼しない」）。
   • 各プロンプトに対して 100 件のストーリーを生成し、LLM の全 28 層における隠れ状態（Hidden States）を抽出しました。
   • 各層で「肯定的な文の平均ベクトル」と「否定的な文の平均ベクトル」の差を計算し、概念の方向性ベクトル（Persona Vector）を導出しました。
   • これらを全層で平均化し、各概念を代表する単一の埋め込みベクトルを生成しました。
3. 類似度閾値の決定:
   • 30 種類の感情概念（ポジティブ・ネガティブ）のペア間のコサイン類似度を計算し、その分布をヒストグラム化しました。
   • 上位 20%（80 パーセンタイル）に相当する類似度値（本研究では 0.6）を「有意な概念的整合の閾値」として設定しました。
4. モデルとの整合性評価:
   • 「信頼（Trust）」のベクトルと、各信頼モデルに含まれる関連概念のベクトル間のコサイン類似度を計算しました。
   • 評価指標として 2 つを使用：
     1. 各モデルに含まれる概念と「信頼」ベクトル間の類似度の平均値。
     2. 設定した閾値（0.6）を超えた概念の数。

3. 主要な貢献 (Key Contributions)

• LLM 内部の信頼表現のホワイトボックス分析: 従来の黒箱評価ではなく、LLM の活性化空間における信頼概念の幾何学的な配置を初めて定量的に可視化・分析しました。
• 人間理論モデルとの定量的比較: 5 つの主要な信頼モデル（Marsh, Mayer, McAllister, McKnight, Castelfranchi）と LLM の内部表現を比較するフレームワークを提案しました。
• 社会認知構造のエンコード実証: LLM が単なる統計的パターンではなく、複雑な社会認知構成要素（信頼、能力、コミットメントなど）を構造化された形でエンコードしていることを示しました。

4. 結果 (Results)

• 概念的な分離とクラスタリング: LLM の潜在空間は、対立する感情概念を分離し、関連する概念をクラスタリングする能力を持っていることが確認されました。
• 最も整合性の高いモデル:
  • **Castelfranchi モデル（社会認知モデル）**が最も高い整合性を示しました。
    • 平均コサイン類似度：0.7303（全モデル中最高）。
    • 閾値（0.6）を超える概念数：8 個（全モデル中最多）。
  • 次いで Marsh モデルが 2 位（平均 0.6973、閾値超過 7 個）でした。
• 理論との不一致の発見:
  • Mayer モデルにおいて、「リスク（Risk）」や「他者への慈愛（Benevolence）」は理論上は信頼と正の相関を持つとされていますが、LLM の内部表現では「信頼」とのコサイン類似度が負の値（Risk: -0.8462, Benevolence: -0.1434）を示しました。
  • これは、LLM が「リスクを取ること」や「無償の親切」を、人間の信頼理論とは異なる文脈（あるいは否定的な文脈）で捉えている可能性を示唆しています。

5. 意義と将来展望 (Significance & Future Work)

• AI 設計への応用: LLM の内部埋め込みベクトルを操作することで、信頼性のある行動（能力、誠実さ、協力的な態度など）を誘導する「信頼感知型 AI システム」の設計が可能になります。
• 人間-AI 協働の向上: 信頼のメカニズムを定量化することで、コーチとアスリート、あるいは人間と AI の間の信頼関係を監視・改善するツールの開発が期待されます。
• 限界と今後の課題:
  • 現時点では単一のモデル（gpt-j-6B）での分析に限られています。今後の研究では、より多様なオープンソースモデルでの検証が必要です。
  • 現在の分析は静的な埋め込みに基づいており、多ターン会話における信頼の動的な進化を捉えていません。将来的には、対話中の信頼推論の動的変化を調査し、人間の行動データとの検証を行うことが重要です。

結論:
本論文は、LLM が人間の社会的認知構造（特に信頼）を内部にエンコードしていることを実証し、その構造が特定の人間理論（Castelfranchi モデル）と強く一致していることを明らかにしました。これは、AI の解釈可能性（Interpretability）と社会認知科学の交差点における重要な一歩であり、より透明性が高く信頼できる AI システムの構築に向けた基盤を提供しています。