💻 computer science

Harnessing the Latent Space: From Steering Vectors to Model Calibrators for Control and Trust

本文通过提出利用转向向量进行行为控制以及利用基于潜空间的校准器来提升输出可靠性的方法，旨在解决大型语言模型对控制力和信任度日益增长的需求。

原作者： Nishant Subramani

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Nishant Subramani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的、超级聪明的机器人，它能写故事、回答问题，甚至还能控制其他软件工具。长期以来，我们一直把这个机器人当作一个“黑盒”来对待：我们输入一个问题，它给出一个答案。我们不知道它是如何思考的，也不总是知道是否可以信任它的答案。

这篇论文就像是一本由研究员尼尚特·苏布拉马尼（Nishant Subramani）编写的指南。他想要打开这个黑盒，窥探机器人的大脑（他称之为“潜空间”），并弄清楚两件主要的事情：

如何操控机器人，让它准确地说出我们想要的内容。
如何判断机器人是否有信心，以及它何时只是在瞎猜。

以下是他四项主要发现的详细分解，通过日常类比进行了解释。

第一部分：操控机器人（控制）

把机器人的大脑想象成一个巨大且复杂的迷宫。通常，为了让机器人做一些新动作，我们需要重建迷宫的一部分（重新训练模型）。苏布拉马尼发现了一种无需重建任何东西就能在迷宫中导航的方法。

1. 给旧型机器人的“神奇遥控器”（LSTM）
首先，他研究了较旧类型的机器人大脑（称为 LSTM）。他问道：能否在不改变代码的情况下，让这个机器人精确地说出特定的句子？

类比： 想象机器人是一辆汽车。通常，要改变它的目的地，你必须重新编写引擎程序。苏布라马尼发现了一个“神奇遥控器”（转向向量）。如果你把这个遥控器插进汽车的仪表盘，汽车立刻就知道如何精准地驶向特定地址，即使引擎本身连一颗螺栓都没有改变。
结果： 他证明了对于每一句话，都存在一个特定的“遥控器代码”，能够强制机器人完美地说出那句话。

2. 给现代机器人的“旋钮”（Transformer）
接着，他转向了更强大、更现代的机器人（Transformer，即我们今天正在使用的类型）。

类比： 如果说旧型机器人需要为每一句话配备特定的遥控器，那么这些新型机器人更像是一个带有旋钮的收音机。
- 微调（Fine-tuning）： 你可以转动旋钮来获得一个精确的句子（就像调频到特定的电台频道）。
- 概念操控（Concept Steering）： 你也可以通过转动旋钮来改变“氛围”。例如，如果机器人说：“食物还可以。”你可以扭动旋钮让它说：“食物很美味！”（正面）或者“食物很糟糕！”（负面）。
结果： 他展示了通过在机器人思考的最开始阶段注入一点点“方向”，你就可以控制它说话的内容或改变其情绪（情感），而无需重新训练它。

第二部分：知道何时信任机器人（信任）

既然我们现在可以操控机器人了，我们也需要知道何时可以信任它的答案，尤其是在它做出关乎重大决策时（比如联系医生或预订航班）。

3. “内部信心检查”（MICE）
机器人经常在出错时依然表现得非常有信心。苏布拉马尼想要建立一个系统来检查机器人的“直觉”。

类比： 想象一名正在参加考试的学生。通常，我们只看最终答案。苏布拉马尼的方法（称为 MICE）就像是在观察学生如何一步步地进行思考过程。
- 他会观察学生在考试开始、中间和结束时的草稿纸。
- 如果学生的早期想法很模糊，直到最后一秒才突然变得清晰，MICE 就会说：“这个答案有风险。”
- 如果学生的思路从头到尾都保持一致，MICE 就会说：“这个答案是值得信赖的。”
结果： 与仅仅观察最终答案相比，这个系统能更好地识别机器人何时是在瞎猜。

4. “通用信任计”（ACUTE）
第一个信心检查方法（MICE）有点慢且成本较高，因为它需要第二个机器人来协助给第一个机器人评分。苏布拉马尼创建了一个改进版本，称为 ACUTE。

类比： 把 MICE 想象成使用一名专业裁判来批改学生的作业。ACUTE 则像是给学生一个智能自查清单，让他们可以立即使用。
- 它不再询问第二个机器人，而是直接观察机器人思考时内部的“电信号”（激活值）。
- 它使用一个简单的数学技巧将这些信号转化为“信任分数”。
结果： 这个新系统运行速度快，适用于不同类型的任务（如回答选择题或总结科学论文），并且能更准确地告诉我们何时该信任机器人，以及何时该说：“等等，我不确定。”

大局观

苏布拉马尼的工作就像是给了我们一个用于人工智能的遥控器和信任计。

之前： 我们把 AI 当作一个神奇的盒子。我们希望它能起作用，但我们无法真正控制它，也无法知道它是否在撒谎。
现在： 我们拥有了操控 AI 说出我们所需内容，以及校准其信心以让我们知道何时可以信任其建议的工具。

论文得出结论：通过理解这些模型的“内部运作机制”（潜空间），我们可以构建出不仅更聪明，而且更安全、更可靠的 AI，以应对现实世界的使用。

技术摘要：利用潜空间实现控制与信任

1. 问题陈述

随着语言模型（LMs）从不可靠的生成器演变为拥有万亿参数的系统，其内部表示的复杂性也随之增加，这往往导致自然语言处理（NLP）社区将其视为“黑盒”。尽管这些模型越来越多地被部署在涉及外部工具和决策的中高风险场景中，但人们对它们的依赖仍停留在简单的行为观察上，而非对其内部机制的根本理解。本文识别了两个关键差距：

控制（Control）： 缺乏在不进行重训或微调的情况下，精确引导模型行为（例如，生成精确序列或特定概念）的机制。
信任（Trust）： 语言模型无法为其输出提供经过良好校准的置信度估计，特别是在调用工具和高风险决策的语境下。已知原始模型概率的校准度较差，且现有的事后校准方法往往以牺牲决策效用为代价来降低校准误差。

2. 方法论与贡献

本文提出了四个研究线程，分为两个主要主题：控制（第2–3节）和信任（第4–5节）。

主题 A：通过转向向量实现控制

作者提出使用转向向量（ $z_{steer}$ ）在推理阶段干预语言模型的潜空间，而无需更新模型参数。

基于 LSTM 的模型 (Subramani et al., 2019)：
- 方法： 作者将句子空间定义为 $d$ 维隐藏状态空间中的一条轨迹。他们引入了一个偏置项 $z_{steer}$ ，在每个时间步添加到隐藏状态和细胞状态中。该向量通过梯度下降法（如非线性共轭梯度）进行优化，以最大化目标序列的对数概率。
- 机制： 该过程涉及“前向估计”（将序列映射为向量）和“后向估计”（注入向量并通过束搜索生成序列）。
- 发现： 他们证明了冻结的 LSTM 模型可以被引导生成精确序列，对于大型模型，具有近乎完美的恢复能力（标记级精确匹配 $\geq 0.99$ ）。他们指出，低熵序列（自然语言）比高熵随机序列更容易恢复，尽管转向向量甚至可以在随机数据中完美编码长达 28 个标记的序列。
基于 Transformer 的模型 (Subramani et al., 2022)：
- 方法： 该概念被推广到 Transformer。在这里， $z_{steer}$ 作为偏置项注入到单个层（具体为 Feed-forward 层之后）的单个时间步（通常是第一个时间步）。
- 细粒度控制： 在 GPT-2 上的实验表明，在特定层（例如第 6 层自注意力或第 7 层前馈层）的第一个时间步注入向量，可以实现通过贪婪解码进行近乎 100% 的序列恢复。
- 基于概念的转向： 作者引入了 DiffMean 转向，其中正向和负向情感的平均转向向量之差（ $z_{pos} - z_{neg}$ ）被用于在推理时翻转输入的语义情感。
- 发现： 研究发现潜空间是相对平滑的，向量之间的线性插值会在语法和语义上产生平滑过渡。转向向量被证明比均值池化的隐藏状态更能代表语义相似性。

主题 B：通过潜空间校准实现信任

作者提出利用模型内部信息来构建比原始模型概率更好地校准的置信度估计器。

MICE (模型内部置信度估计器) (Subramani et al., 2025a)：
- 动机： 基于这样一个观察：通过层层精炼的预测比在最后一层突然出现的预测更值得信赖。
- 方法： 对于给定的查询，模型使用“Logit Lens”从每一层生成中间输出（ $y^{(i)}$ ）。这些中间输出通过 BERTScore 与最终输出（ $y^{(final)}$ ）进行比较。这些相似度分数与原始置信度结合，输入到分类器（随机森林或逻辑回归）中以预测正确性。
- 指标： 作者引入了 预期工具调用效用 (ETCU) 来评估置信度估计器，解决了预期校准误差（ECE）的局限性——ECE 无法区分基率估计器与先知（Oracle），也无法考虑任务风险水平。
- 发现： 在 STE 工具调用数据集上，MICE 的表现优于传统的后验基准方法（直方图回归、Nadaraya-Watson 核回归），尤其是在基准方法倾向于完全放弃回答的中高风险场景中。
ACUTE (基于激活度的置信度、效用与信任估计器) (Subramani et al., 2026)：
- 改进： ACUTE 通过消除对昂贵的辅助 BERTScore 模型的依赖，并解决了 ETCU 中“放弃总是产生零奖励”的简化假设，从而解决了 MICE 的局限性。
- 方法： ACUTE 不再使用 BERTScore，而是使用来自模型层的原始激活值作为分类器的特征。它引入了 EURO (由先知重归一化的预期效用)，这是一个介于先知（1）和反先知（0）之间的指标，平衡了不同风险水平下的校准度与决策效用。
- 发现： 在六个 LLM 上的 MMLU（多项选择问答）、APIGen（工具调用）和 SCITLDR（科学摘要）任务中进行了测试。ACUTE（特别是使用后期层激活或 PCA 降维后的激活）在保持较低 平滑 ECE (smECE) 的同时，在 AUC-EURO 上持续优于原始置信度和后验基准。

3. 关键结果

控制： 转向向量能够在冻结的模型中实现序列的精确生成。对于 Transformer，在中间层的第一时间步注入向量可实现近乎完美的恢复。概念转向（如情感迁移）可以通过潜空间中的向量运算来实现。
信任： 原始模型置信度校准度较差。后验方法往往会坍缩为基率估计器，从而牺牲效用。
性能：
- MICE： 在工具调用场景中展示了比基准方法更好的决策效用，能够根据风险水平正确调整放弃回答的比例。
- ACUTE： 在多种任务（问答、工具调用、摘要）和模型家族（Llama, Gemma）中实现了卓越的性能，表明基于激活的特征可以为信任估计提供鲁棒信号，且无需辅助模型。

4. 意义与主张

本文声称其贡献提供了“行动指南”，旨在揭示并利用语言模型的潜空间。

使内部机制具象化： 这项工作超越了将模型视为黑盒的现状，证明了内部表示（LSTM 中的轨迹、Transformer 中的层特定向量以及激活模式）可以直接用于控制和信任。
通用解码器： 能够转向模型生成精确序列的能力表明，语言模型可以作为通用解码器运行，这可能意味着可以用推理时转向来减少对特定任务微调的需求。
可信 AI： 通过开发既经过校准又具备效用意识（通过 EURO）的置信度估计器，本文认为应从简单的概率输出转向以决策为中心的信任机制，这对于高风险应用至关重要。
未来方向： 作者将他们的工作定位为迈向打开黑盒的一步，鼓励社区研究潜空间，以构建更具可控性、更经过校准且更可靠的语言技术。

本文在范围上保持了谦逊，承认了诸如早期方法（MICE 对 BERTScore 的依赖）的计算成本高昂以及所使用的特定数据集等局限性，同时将这些视为在后续迭代（ACUTE）中得到解决的可行挑战。