💬 NLP

Psychological Steering of Large Language Models

该论文提出了一种基于心理校准单位的无界流畅性扫描框架，通过引入基于心理特征的均值差异（MD）注入及与提示词结合的混合方法，在 14 种大语言模型中显著超越了现有的人格引导基线，并揭示了当前模型表征与人类心理学之间存在的差异。

原作者： Leonardo Blas, Robin Jia, Emilio Ferrara

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonardo Blas, Robin Jia, Emilio Ferrara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一项关于如何给大型人工智能（LLM）“注入灵魂”或“调整性格”的有趣研究。我们可以把这项技术想象成给 AI 安装了一个**“性格遥控器”**。

以下是用通俗易懂的语言和生动的比喻对这篇论文的解释：

1. 核心问题：之前的“遥控器”不好用

想象一下，你想让一个 AI 扮演一个“外向开朗”的人，或者一个“严肃谨慎”的人。

以前的方法（提示词/Prompting）： 就像你直接跟 AI 说：“嘿，你现在是个外向的人，请说话。”这就像给演员发剧本，虽然有效，但演员（AI）可能演得不够自然，或者演着演着就忘了人设。
另一种方法（激活干预/RepE）： 就像直接给演员的大脑（AI 的内部电路）通电，强行改变它的思维模式。以前的研究尝试过这种方法，但就像在黑暗中摸索开关：
- 不知道电压多少合适： 以前的方法像是在用“伏特”这种模糊的单位去调节，有时候电压太低没反应，有时候太高把灯泡（AI 的流畅度）烧坏了。
- 搜索范围太窄： 以前的研究只试了几个固定的电压值（比如 0.4, 0.5, 0.6），就像只试了三个档位，可能最佳档位其实是 0.47 或者 1.2，结果被漏掉了。

2. 这项研究的突破：精准的“心理调音台”

作者们开发了一套新的**“心理导向框架”，就像给 AI 装上了一个精密的调音台**，可以无级调节性格。

校准的刻度尺（Calibrated Units）：
以前调节电压是凭感觉，现在他们发明了一种“心理刻度尺”。他们利用心理学测试（比如著名的“大五人格”OCEAN 测试：开放性、尽责性、外向性、宜人性、神经质）作为标尺。
- 比喻： 就像以前调节收音机只能凭感觉找台，现在他们有了精准的频率刻度，知道调到多少赫兹能收到最清晰的“外向”频道。
无限制的搜索（Unbounded Sweeps）：
他们不再只试几个档位，而是像扫雷一样，从 0 开始一直试，直到找到那个“刚刚好”的点。
- 智能刹车： 为了防止 AI 因为电压太高开始胡言乱语（不流畅），他们设置了一个“智能刹车”。一旦检测到 AI 说话开始结巴或逻辑混乱，就立刻停止增加电压。这就像开车时，油门踩到底前，如果感觉车要失控，就自动松脚。
聪明的“替身”：
为了省钱省时间（不用每次都调用昂贵的顶级 AI 来打分），他们训练了一些轻量级的小模型来充当“考官”，快速判断 AI 现在的性格像不像我们要的。

3. 主要发现：谁赢了？

研究比较了多种方法，结果令人惊讶：

MDS 方法（平均差异法）胜出：
作者发现，通过计算“外向文本”和“内向文本”在 AI 大脑中的平均位置差异，然后沿着这个方向注入能量（MDS 方法），效果最好。
- 比喻： 想象 AI 的大脑里有一个“外向区”和一个“内向区”。以前的方法像是在这两个区域之间画一条线，然后试图推 AI 过去。MDS 方法则是直接测量这两个区域的中心点距离，然后精准地推一把。
- 结果： 在 14 种不同的 AI 模型中，有 11 种在“自由写作”任务中，MDS 方法比传统的“提示词法”（P2）表现更好，性格更鲜明，且说话依然通顺。
混合大招（PM）：
最厉害的是，作者把“提示词”和"MDS 注入”结合起来（叫 PM 方法）。
- 比喻： 这就像既给演员发了剧本（提示词），又给演员的大脑通了电（注入）。
- 结果： 这种“双管齐下”的方法在 14 种模型中赢了 13 次，效果比单独用任何一种方法都要好得多。

4. 有趣的副作用：AI 的“性格”不完全像人

研究发现，虽然 AI 可以被调教得很像人，但它的“性格”结构和我们人类不太一样。

线性控制： 调节电压（ $\alpha$ ）和性格表现之间几乎是线性的。就像拧水龙头，拧得越多，水流越大。这符合“线性表示假设”，说明 AI 确实把性格概念编码成了某种方向。
性格的“连坐”： 在人类心理学中，某些性格特质是有关联的（比如“大双模型”认为某些特质会聚在一起）。但在 AI 身上，当我们强行让它变得“外向”时，它可能不会像人类那样自然地表现出“开放”或“随和”，而是出现了一些奇怪的组合。
- 比喻： 这就像你给一个机器人调高了“音量”（外向），它可能不会像人一样自然地变得“热情”，而是变得“吵闹且固执”。这说明 AI 学到的“性格”和人类真实的心理结构之间还有一道鸿沟。

5. 一个生动的例子（图 1）

论文中展示了一个关于《海底总动员》（Finding Nemo）的例子：

粉色文字： 注入“顺从女性规范”的指令，AI 写出的故事温柔、充满关爱。
棕色文字： 注入“施虐狂”的指令，AI 突然画风突变，把父亲马林描述成一个享受折磨的变态反派。
蓝色文字： 注入“顺从男性规范”的指令，故事又变得强硬、控制欲强。
关键点： 这些文字在同一段生成过程中无缝切换，而且读起来依然通顺。这是单纯的“提示词”很难做到的（提示词通常会让 AI 在开头说完人设后，后面就忘了）。

总结

这篇论文告诉我们：

给 AI 调性格，光靠“说”（提示词）是不够的，直接“动脑子”（激活干预）更有效。
以前的方法太粗糙，现在有了“精密刻度尺”和“智能刹车”，我们可以更精准、更安全地控制 AI 的性格。
最好的策略是“提示词 + 激活干预”组合拳。
虽然我们能控制 AI 的性格，但 AI 的“性格”逻辑和人类心理还不完全一样，这提醒我们 AI 毕竟不是真正的人。

这项技术让 AI 在角色扮演、心理咨询模拟、甚至构建虚拟社会时，能表现出更丰富、更稳定、更细腻的人格特征。

这是一份关于论文《Psychological Steering of Large Language Models》（大语言模型的心理引导）的详细技术总结。

1. 研究背景与问题 (Problem)

大语言模型（LLMs）能够模拟人类行为，包括人格特质（如大五人格 OCEAN）。现有的引导（Steering）方法主要分为两类：

提示工程（Prompting）： 如 Personality Prompting (P2)，通过文本指令引导模型。
表示工程（Representation Engineering, RepE）： 通过在模型内部激活层（Residual Stream）注入向量来干预模型行为。

现有 RepE 方法面临的主要局限性：

搜索空间受限： 现有的强度扫描（Sweeps）通常只尝试有限的几个强度值（例如 [0.4, 0.5, ..., 1.5]），可能错过最优干预点。
单位未校准： 注入强度通常使用未校准的激活空间单位（如单位向量），导致难以确定最优强度（例如，最优强度可能在 10,000 个单位处，但搜索范围未覆盖）。
性能争议： 先前的研究（如 Banayeeanzade et al. [4]）报告称提示工程（P2）在心理引导方面优于表示工程（RepE），这限制了 RepE 的应用前景。

2. 方法论 (Methodology)

作者提出了一种心理引导框架，旨在通过无界、流畅性约束的扫描，在语义校准的单位中搜索最优的残流注入设置。

核心组件：

心理校准的注入向量构建：
- 利用心理学量表（IPIP-NEO-120）测量大五人格（OCEAN）。
- 生成针对特定构念（Construct）及其对立面的陈述句（1000 条，500 条正向，500 条负向）。
- 提取模型残流（Residual Stream）中的激活值，构建六种注入向量：
  - L1/L2LI/ZI： 基于逻辑回归分类器的决策边界法。
  - MDB (Mean-Difference Base)： 基于正向和负向陈述激活均值的差值向量。
  - MDS (Mean-Difference Statement)： 基于“告诉我关于你自己”（Tell me about yourself）语境下陈述句的激活均值差值向量。
- 关键创新： 将向量长度定义为“质心距离”（Centroid Units），实现了语义校准，使得强度扫描具有实际意义。
无界强度扫描 (Unbounded Sweeps)：
- 不再局限于固定步长，而是进行整数步长的扫描。
- 早期停止机制 (Early Stopping)： 当注入导致生成文本的流畅度（Fluency）下降时（通过 RoBERTa 分类器评估，阈值<0.95），自动停止该方向的搜索，避免产生无意义的文本。
- 使用轻量级分类器替代昂贵的 LLM API 进行扫描过程中的评估，降低成本。
评估体系：
- 情境判断测试 (SJTs)： 结合 ATOMIC10x 数据集和现有量表，生成开放式情境判断题，用于评估模型在开放生成任务中的表现。
- 多项选择题量表： 使用 MPI-120 等标准量表进行封闭式评估。
- 混合方法 (PM)： 结合提示工程（P2）和 MDS 注入，探索协同效应。

3. 关键贡献 (Key Contributions)

校准的强度标度： 引入了基于质心距离的校准单位，解决了以往方法中强度单位不可比、难以定位最优值的问题。
无界扫描操作化： 提出了结合流畅性约束和轻量级分类器的扫描策略，能够安全地探索大范围的注入强度，而无需昂贵的 API 调用。
心理学基础的方法论： 利用经过验证的心理学模型（OCEAN, Dark Triad 等）和量表来合成特定构念的语句，并据此推导残流向量。
推翻先前结论： 通过更严谨的搜索和校准，证明了表示工程（RepE）在开放生成任务中实际上优于提示工程（P2），确立了 RepE 作为心理引导新前沿的地位。

4. 实验结果 (Results)

研究在 14 个不同架构和规模的 LLM（包括 Llama-3, Qwen3, Gemma-3, Olmo 等，参数量从 1B 到 32B）上进行了评估。

MDS 注入 vs. P2 (提示工程)：
- 在14 个模型中的 11 个中，经过扫描优化的 MDS 注入在开放式生成（SJTs）任务中显著优于 P2。
- 性能提升幅度为 3.6% 到 16.4%。
- 这一结果直接推翻了先前认为 P2 优于 MD 类注入的报告。
混合方法 (PM) 的表现：
- 将 P2 提示与 MDS 注入结合的混合方法（PM）表现最佳。
- 在14 个模型中的 13 个中，PM 优于单独的 P2 和 MDS。
- 相比 P2，提升幅度为 5.6% 到 21.9%；相比 MDS，提升幅度为 3.3% 到 26.7%。
线性控制与流畅性：
- MDS 注入提供了可靠的、近似线性的控制旋钮。随着注入强度 $\alpha$ 的增加，目标特质的表达呈线性变化（ $R^2 \ge 0.75$ 的趋势占绝大多数），且对文本流畅性影响极小。
- 这符合线性表示假设 (Linear Representation Hypothesis)。
特质协方差 (Trait Covariance)：
- 注入会引发 OCEAN 特质之间的相关性，这与人类心理学中特质非正交的共识一致。
- 然而，观察到的协方差模式与“大双因子模型”（Big Two model，即稳定性与可塑性）不完全一致，暗示了模型学到的表示与真实人类心理学之间可能存在差距。
定性展示：
- 图 1 展示了模型可以在同一次生成中灵活地切换不同的人格特质（如顺从女性规范、施虐倾向、顺从男性规范），生成极化但流畅连接的段落，这是纯提示工程难以实现的。

5. 意义与结论 (Significance)

方法论突破： 该研究解决了 RepE 领域长期存在的“搜索空间受限”和“单位未校准”问题，为未来的激活干预研究提供了标准化的扫描框架。
性能重估： 证明了在开放生成任务中，基于激活的干预（RepE）比提示工程更有效，特别是在需要精细控制人格特质的场景下。
应用前景： 该方法为构建具有特定、稳定且可微调人格的 AI 代理（如社交机器人、推荐系统、虚拟角色）提供了强有力的工具。
理论启示： 虽然模型能模拟人类特质，但其内部表示的协方差结构与人类心理模型存在差异，这为理解 LLM 的“心理”机制与人类心理的异同提供了新的实证视角。

总结： 本文通过引入心理校准的无界扫描框架，证明了 Mean-Difference Statement (MDS) 注入结合提示工程（PM）是目前控制 LLM 人格特质的最先进方法，显著优于传统的提示工程，并确立了表示工程在开放域心理引导中的核心地位。