Evaluating LLM Alignment With Human Trust Models

该论文通过对比提示和余弦相似度分析，揭示了 EleutherAI/gpt-j-6B 大语言模型内部对信任的表征与 Castelfranchi 社会认知模型最为契合，表明 LLM 能够以支持人类-AI 协作系统设计的方式编码社会认知构建。

要点

这篇论文就像是在做一场"AI 的内心读心术"，试图搞清楚当人工智能（AI）思考“信任”这个概念时，它的大脑里到底在想什么。

想象一下，你和一个刚认识的朋友相处。你会根据他的能力、诚实度、是否愿意帮你等表现来判断是否信任他。人类心理学家总结出了很多套“信任公式”（比如：信任 = 能力 + 善意 + 诚实）。

但这篇论文问了一个有趣的问题：AI 也是这么“想”的吗？还是说它脑子里有一套完全不同的逻辑？

为了回答这个问题，作者们没有像以前那样只问 AI 问题（看它怎么回答），而是直接打开了 AI 的“黑盒子”，去观察它内部神经元（激活空间）。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心任务：给 AI 的“信任”做个 CT 扫描

以前的研究大多是把 AI 当做一个黑盒子：你问它“你信任这个人吗？”，它回答“信任”。但这就像只看了魔术师的表演，没看魔术是怎么变的。

这篇论文做的是白盒分析（White-box analysis）。

• 比喻：想象 AI 的大脑是一个巨大的图书馆，里面堆满了各种概念的书。作者们想看看，“信任”这本书，在图书馆里是放在“能力”和“诚实”旁边，还是放在“风险”和“背叛”旁边？
• 方法：他们使用了一种叫对比提示（Contrastive Prompting）的技术。
  • 这就好比给 AI 看两幅画：一幅是“凯瑟琳信任爱丽丝”（正向），另一幅是“凯瑟琳不信任爱丽丝”（反向）。
  • 然后，作者们提取了 AI 在生成这两幅画时，大脑内部产生的数学信号（向量）。
  • 通过计算这两个信号的距离（余弦相似度），他们就能知道 AI 脑子里“信任”和“不信任”到底分得有多清，以及“信任”和“能力”、“诚实”等概念离得有多近。

2. 实验过程：寻找 AI 的“信任配方”

作者们收集了人类心理学界公认的5 种信任理论模型（就像 5 种不同的“信任食谱”）：

1. Marsh 模型：像是一个精算师，看重过去的表现和概率。
2. Mayer 模型：像是一个 HR 经理，看重能力、善意和正直。
3. McAllister 模型：像是一个情感专家，区分“基于理性的信任”和“基于情感的信任”。
4. McKnight 模型：像是一个新手向导，关注初次见面时的信任建立。
5. Castelfranchi 模型：像是一个社会心理学家，强调信念、目标和心理状态。

他们做了什么？
他们把 AI 内部生成的“信任”信号，分别和这 5 种模型里的关键词（如：能力、善意、风险、承诺等）进行比对。

• 比喻：就像给 AI 的“信任”信号做一个 DNA 亲子鉴定。看看它和哪本“信任食谱”的基因最匹配。

3. 惊人的发现：AI 最像“社会心理学家”

结果出来了，AI 的内心世界和人类理论并不完全一样：

• 冠军：Castelfranchi 模型（社会认知模型）。
  • 解读：AI 脑子里的“信任”，最接近这个模型。这意味着 AI 认为信任不仅仅是看对方干得好不好（能力），更看重对方有没有意愿（Willingness）、是否可靠（Reliability）以及是否信守承诺（Commitment）。AI 把信任看作一种复杂的心理状态，而不仅仅是冷冰冰的数据统计。
• 亚军：Marsh 模型。
  • 解读：AI 也有一部分像精算师，会参考过去的经验和声誉。
• 意外：Mayer 模型里的某些概念在 AI 脑子里“对不上号”。
  • 有趣的现象：在人类理论中，“风险”（Risk）是信任的前提（你敢冒险，才说明你信任）。但在 AI 的数学世界里，“信任”和“风险”这两个词的信号距离非常远，甚至有点“排斥”。
  • 比喻：就像人类觉得“敢跳伞”代表“信任教练”，但 AI 的数据库里，“跳伞”和“信任”好像没什么关系，甚至觉得它们不是一回事。这说明 AI 虽然能模仿人类说话，但它对“信任”的深层理解（尤其是关于“脆弱性”和“风险”的部分）和人类还有差距。

4. 这意味着什么？（未来的应用）

这项研究不仅仅是为了好玩，它有巨大的实用价值：

• 给 AI 装上“信任指南针”：
  既然我们知道了 AI 脑子里“信任”长什么样，我们就可以调整它。
  • 比喻：就像调音师调整吉他弦。如果我们希望 AI 表现得更有“信任感”，我们可以把“信任”的数学信号（向量）注入到它的思考过程中，强迫它更多地关注“能力”和“善意”，而不是其他无关的东西。
• 打造更安全的协作系统：
  未来，我们可以用这个技术来监控 AI 是否真的“值得信任”，或者让 AI 在人类和机器合作时，更自然地建立信任关系。

总结

这篇论文就像是一次AI 心理体检。它告诉我们：

1. AI 确实能在其内部构建出复杂的“信任”概念，而且这种概念是有结构的。
2. AI 目前的“信任观”最接近社会认知理论（看重意愿和承诺），而不是纯粹的数据统计。
3. AI 对“风险”的理解还比较生硬，这是未来需要改进的地方。

简单来说，作者们通过“透视”AI 的大脑，发现它虽然还没完全像人类那样理解信任，但它已经具备了理解信任的骨架。只要我们懂得如何调整它的“神经信号”，就能让它变得更可靠、更懂人心。

技术摘要

论文技术总结：基于人类信任模型评估大语言模型的对齐性

论文标题：Evaluating LLM Alignment With Human Trust Models（评估大语言模型与人类信任模型的对齐性）
作者：Anushka Debnath 等（奥塔哥大学、图卢兹大学）
研究对象：EleutherAI/gpt-j-6B 模型

---

1. 研究背景与问题 (Problem)

信任是促进人类及多智能体系统有效合作、降低不确定性的核心要素。尽管信任在心理学、社会学和计算机科学中已被广泛研究，但关于大型语言模型（LLM）如何在内部概念化和推理“信任”，目前仍缺乏深入理解。

• 现有局限：
  • 大多数现有研究采用“黑盒”视角，仅关注 LLM 的输入输出，未探究其内部推理过程。
  • 缺乏“白盒”分析来揭示 LLM 内部激活模式中支撑信任认知的具体机制。
  • 虽然 LLM 展现出类似人类的推理能力，但尚不清楚其内部表示（Internal Representations）是否与人类已建立的信任理论模型（如社会认知模型或计算模型）相一致。

核心问题：LLM 的内部激活空间是否编码了与人类信任理论（如 Castelfranchi、Marsh 等模型）相一致的社会认知结构？

---

2. 方法论 (Methodology)

本研究提出了一种白盒分析框架，利用**对比提示（Contrastive Prompting）**技术，在 LLM 的激活空间中生成概念嵌入向量，并量化其与人类信任模型的对齐程度。

2.1 核心模型选择

• LLM：选用 EleutherAI/gpt-j-6B，因其完全开源且允许无限制访问逐层（layer-wise）激活数据，适合白盒分析。
• 信任理论模型：选取了五个经典的人类信任模型作为基准：
  1. Marsh 模型 (1994)：基于概率的计算模型。
  2. Mayer 模型 (1995)：组织信任的整合模型（能力、善意、正直）。
  3. McAllister 模型 (1995)：基于认知和情感的双维模型。
  4. McKnight 模型 (1998)：关注新关系中的初始信任形成。
  5. Castelfranchi 模型 (2001/2010)：基于信念、目标和意图的社会认知模型。

2.2 技术流程

1. 对比提示与向量生成：

   • 构建双向关系场景（如 Katherine 与 Alice），针对每个概念生成正向（概念存在）和负向（概念缺失/相反行为）的故事提示。
   • 通过对比正向和负向提示下的模型激活状态，计算平均激活差异，从而提取出代表该概念的嵌入向量（Embedding Vectors）。
   • 对 60 个通用情感/关系概念（30 个正向 +30 个负向，考虑双向性）进行向量提取。

2. 建立相似度阈值：

   • 计算 60 个概念向量之间的成对余弦相似度。
   • 绘制相似度分布直方图，选取**第 80 百分位（0.6）**作为显著对齐的阈值。只有超过此阈值的概念对被视为在模型内部具有强语义关联。

3. 量化信任对齐度：

   • 针对每个信任模型，提取其定义的关键概念（如能力、可靠性、善意等）。
   • 计算“信任”向量（Trust1）与每个模型中相关概念向量的余弦相似度。
   • 评估指标：
     • 平均余弦相似度：衡量模型整体概念结构与 LLM 内部表示的吻合度。
     • 超过阈值的概念数量：衡量有多少关键概念在 LLM 内部被显著地关联到“信任”上。

---

3. 关键贡献 (Key Contributions)

1. 首个 LLM 信任的白盒分析：首次通过对比提示技术，在 LLM 的激活空间内可视化并量化了“信任”及其相关概念的表示，填补了从黑盒输出到内部机制理解的空白。
2. 建立了人类信任理论与 LLM 内部表示的桥梁：提出了一套评估框架，用于衡量 LLM 内部编码的社会认知结构是否与特定的人类信任理论（如 Castelfranchi 模型）一致。
3. 揭示了 LLM 对特定信任理论的偏好：发现 LLM 并非随机编码信任，而是显著倾向于某种特定的社会认知理论框架。
4. 发现了理论与实现的偏差：指出了 LLM 内部表示与某些人类理论假设（如 Mayer 模型中的“风险”和“善意”与信任的正向关联）存在不一致，为理解 LLM 的推理偏差提供了新视角。

---

4. 研究结果 (Results)

4.1 概念空间结构

• LLM 的潜在空间有效地将相反的情感概念（如信任与怀疑）分离，并将相关概念聚类，表明其内部具有结构化的社会认知表示。

4.2 模型对齐度排名

通过平均余弦相似度和超过阈值的概念数量两个指标，五个信任模型的对齐程度如下：

1. Castelfranchi 模型 (最佳对齐)：
   • 平均相似度：0.7303 (最高)
   • 超过阈值的概念数：8 个 (最多)
   • 结论：LLM 的内部信任表示最紧密地反映了基于信念、意愿和预测性的社会认知模型。
2. Marsh 模型 (次佳对齐)：
   • 平均相似度：0.6973
   • 超过阈值的概念数：7 个
   • 结论：基于概率和经验的计算模型也表现出较高的对齐度。
3. 其他模型：McKnight (0.6640), McAllister (0.6704), Mayer (0.4530) 的对齐度相对较低。

4.3 理论偏差发现

• 风险 (Risk) 与善意 (Benevolence) 的异常：在 Mayer 模型中，“风险”（愿意承担脆弱性）和“善意”通常被视为信任的积极组成部分。然而，实验显示 LLM 内部表示中，risk1 和 benevolence2 与 trust1 的余弦相似度为负值（分别为 -0.8462 和 -0.1434）。
• 解释：这表明尽管提示词试图构建理论上的正向关联，但 LLM 的潜在空间将“风险”更多地与“负面/非信任”语义关联，未能像人类理论那样编码这种复杂的正向脆弱性概念。

---

5. 意义与影响 (Significance)

1. AI 可解释性与社会认知：证明了 LLM 在其激活空间中编码了复杂的社会认知结构，使得通过量化分析来研究 AI 的“社会推理”成为可能。
2. 指导人机协作系统设计：
   • 理解 LLM 对齐的信任模型（如 Castelfranchi 模型）有助于设计更符合人类直觉的 AI 代理。
   • 可以利用这些发现，通过向模型激活中注入特定概念向量（如“能力”、“可靠性”），来引导 LLM 生成更可信、更符合语境的响应。
3. 信任监控与增强：为开发能够监控交互实体间信任水平（如教练与运动员、人机协作）的软件提供了理论基础，并可通过调整内部表示来改善信任关系。
4. 未来研究方向：
   • 扩展至更多开源模型以验证普适性。
   • 从静态嵌入转向动态交互中的信任推理演化研究。
   • 将 LLM 的潜在结构与人类行为数据进行验证对比。

总结：该研究通过白盒分析揭示了 LLM 内部信任表示的结构性特征，发现其最接近 Castelfranchi 的社会认知模型，同时也暴露了 LLM 在理解某些复杂信任概念（如风险与信任的辩证关系）时与人类理论的偏差，为构建更可信、可解释的人机协作系统提供了关键洞察。