💻 computer science

Intertemporal Preference Steering in Qwen3 via Contrastive Activation Addition

本文表明，可以通过对比线性探针识别 Qwen3-32B 模型中时间跨度的线性表示，并利用激活加法将其用于有效地引导模型在短期和长期方向上的跨时偏好与规划能力。

原作者： Michal Mráz, Justin Shenk

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Michal Mráz, Justin Shenk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明、反应极快，且读过互联网上几乎所有书籍的机器人交流。你可能会认为这个机器人只是在机械地吐出事实，但实际上它更像是一个拥有个性的生命。它有自己的偏好、习惯，甚至有一种“时机”感。有时它想现在就抓起一块饼干（短期），而有时它愿意为了以后更大的蛋糕而等待（长期）。这篇论文讲述了一种新的方法，可以窥探机器人的大脑内部，寻找控制这种时间感的特定“开关”。科学家们称之为“跨期偏好”（intertemporal preference），这只是一个高级说法，本质上是在问：“你是想要现在，还是想要以后？”理解这一点至关重要，因为如果我们无法控制机器人如何权衡即时回报与未来收益，它可能会在关于存钱、规划旅行甚至做出重大生活决策时，给我们提供错误的建议。

研究人员决定在特定的强大机器人大脑——Qwen3-32B 上测试这一点。他们不仅仅是向机器人提问；他们尝试在机器人思考时，从物理层面“引导”它的思想。把机器人的大脑想象成一条通过层层管道流动的巨大电流之河。团队发现，在电流中存在一个代表“长期思考”的具体方向。通过轻轻地将电流推向那个方向（或将其拉回），他们可以让机器人突然改变主意。他们证明了，他们可以让机器人变得非常有耐心，愿意为了巨大的回报等待数年，或者变得非常缺乏耐心，迫切地想要立刻获得一小笔奖励。这就像是拥有了一个控制机器人耐心的遥控器。

机器人大脑中的秘密“时间旋钮”

团队首先教机器人回答关于时间的问题。他们给出一组成对的问题，其中一个答案是关于“在接下来的30天内做什么”，而另一个是关于“10年后会在哪里”。当机器人处理这些答案时，研究人员观察着流经其大脑的电流。他们发现，一个“短期”答案与一个“长期”答案之间的区别并不是混乱或随机的；它是一条笔直、干净的线。他们可以画出一个向量（数学上的箭头），从“现在”指向“以后”。

为了测试这个箭头是否真实存在，他们使用了一种叫做**对比激活叠加（Contrastive Activation Addition, CAA）**的技术。想象机器人的大脑是一辆在路上行驶的汽车。研究人员在这个引擎内部找到了一个特定的“方向盘”。当他们将轮子稍微向左转（增加一个负向推力）时，汽车会转向“即时行动”；当他们向右转（增加一个正向推力）时，汽车会转向“未来规划”。他们并不只是在猜测，而是进行了测量。他们发现，通过在机器人回答问题时，向其大脑中加入一点点这个“时间向量”，他们就能强制它在二选一的选择（A vs B）中改变主意，并能非常可靠地显著改变模型的偏好方向。

金钱测试：我们能改变它的钱包吗？

真正的奇迹发生在他们将此测试在一种完全不同类型的问题上时：金钱。他们并没有教机器人关于金钱的知识；他们只教了它关于“短期 vs 长期”的时间框架。然后，他们提出了一个经典的类人困境：“你愿意今天得到100美元，还是在一年后得到1,000美元？”

在没有任何引导的情况下，机器人有一个特定的“无差异点”——即一个特定的未来金额，达到这个金额后它会说：“好吧，我愿意等。”但当研究人员应用了他们的“长期引导”后，机器人的耐心激增。突然之间，即使等待所获得的“额外”收益相对较少，它也愿意等待未来的回报。换句话说，它为了等待而要求的“溢价”显著下降了。相反，当他们应用“短期引导”时，机器人变得非常贪婪，要求极其丰厚的奖励才愿意等待仅仅一天。

数据非常惊人。在最强的引导水平下，机器人的偏好发生了剧烈变化：在10年的时间跨度下，当被引导向短期时，它要求的未来回报量比被引导向长期时要高出56倍以上，才会愿意等待。这表明，机器人的时间感不仅仅是一个固定的设置；它是一个可以调大或调小的“旋钮”，甚至在它未被明确训练过的任务上也是如此。

规划旅行：耐心会让它成为更好的旅行代理吗？

最后，团队想知道，让机器人变得更有耐心是否真的能让它更好地完成复杂任务。他们使用了一个名为 TravelPlanner 的基准测试，机器人必须创建一个包含酒店、航班和餐厅的多日旅行行程。这很难，因为你必须考虑整个星期，而不仅仅是接下来的一个小时。

他们发现了一个“甜点区”（最佳平衡点）。当他们给予机器人适度的“长期”推动时，它的旅行计划变得更加合理且具有现实意义。它不再犯那些短视的规划者会犯的愚蠢错误。然而，如果他们把“长期”旋钮转得太猛（使用最强设置），机器人就会变得混乱并开始编造胡言乱语。这似乎表明，虽然一点点对未来的思考会有所帮助，但过度的思考会破坏机器人专注于细节的能力。

这对我们意味着什么

核心结论是，AI模型拥有一个可衡量的“时间视野”，而且我们可以改变它。这不仅仅是一个酷炫的小技巧；这是一个安全问题。如果一个AI在给你关于投资、健康或气候变化的建议，它的建议很大程度上取决于它关心的是下周还是下个世纪。研究人员展示了我们可以测量并引导这种偏好。

然而，他们也谨慎地指出，这并不是解决一切问题的万灵药。这个“时间旋钮”可能还与其他因素纠缠在一起，比如机器人感觉到的抽象程度或紧迫程度。而且，如果我们将旋钮转得太远，机器人可能会完全失去逻辑。但事实是我们能够找到这个开关并拨动它，这表明AI如何思考未来并不是一个我们无法触及的谜团。它是一个我们可以理解、测量并可能控制的特征，这是确保AI符合我们长期目标的迈出的重要一步。

技术摘要：通过对比激活加法在 Qwen3 中进行跨时偏好转向

问题陈述

本文研究了大型语言模型（LLMs）中的跨时偏好（即即时奖励与延迟奖励之间的权衡）是否以线性特征的形式存在于模型的残差流中，以及这些特征是否可以通过因果操纵来改变模型行为。具体而言，作者探讨了是否可以通过线性探针识别模型的“时间视野”（即其优先考虑短期还是长期结果的倾向），并使用对比激活加法（Contrastive Activation Addition, CAA）进行转向，从而诱导偏好和规划能力发生显著的双向变化。

研究方法

模型与数据

模型： 实验使用禁用了思维链（thinking traces）的 Qwen3-32B。
数据集：
- 显式数据集： 包含 500 个带有显式时间标记（例如“未来 30 天”对比“10 年”）的跨时选择问题。分为 400 个训练样本和 100 个测试样本。
- 隐式数据集： 包含 300 个通过语义对比（例如“包含损坏”对比“重新设计架构”）编码时间视野的问题，不含显式时间词汇。用于跨领域评估。
- 教师强制训练（Teacher-Forced Training）： 对于每个问题，模型被强制生成短期和长期的续写内容，以创建配对的训练样本。

方向构建（探针训练）

作者构建了一个带符号的对比均值差方向（ $d_{MM}$ ）来表示时间视野。

池化： 他们使用了均值质量（Mean-Mass, MM）池化，即对答案续写中的所有 token 进行平均，而不是仅使用最后一个 token。这被认为能更好地与生成过程中的干预保持一致。
向量定义： 在特定层（ $l \in \{24, 28, \dots, 48\}$ ）处，该方向定义为：
$d_{MM} = \mu_{long} - \mu_{imm}$
其中 $\mu$ 分别代表长期续写和即时（短期）续写的平均激活值。
诊断： 作者将 MM 方向与逻辑回归（LR）、白化逻辑回归（WLR）和白化 MM（WMM）探针进行了比较。虽然白化变体在留存测试集上实现了略高的分类准确率，但为了保留对比的符号特性，作者选择了未白化的 MM 方向进行转向。

转向干预（CAA）

识别出的方向被用于推理过程中的对比激活加法（CAA）：

机制： 在选定的层 $l$ 以及每一个解码步骤中，向残差流中添加一个归一化向量 $\hat{d}_l$ 。
公式： 干预向残差流中添加 $\alpha \hat{d}_l$ $α \hat{d}_{l}$ ，其中 $\alpha$ $α$ 是一个带符号的强度参数。
- 正 $\alpha$ ： 将模型转向长期类别。
- 负 $\alpha$ ： 将模型转向短期/即时类别。
控制： 采用了与 MM 方向正交的随机单位向量作为匹配范数控制，以确保效应并非源于通用的扰动。

关键实验与结果

1. 二元时间转向（留存评估）

任务： 模型面对来自留存显式测试集和完整隐式集的二元选择问题（短期 vs 长期选项）。
结果： CAA 转向产生了系统性的、双向的偏移。
- 正向转向显著增加了长期选择的比例。
- 负向转向显著增加了短期选择的比例。
- 该效应在广泛的中后期层（24–48 层）中均有观察到，其中 第 44 层 在两个评估集上均显示出最大的解析选择对比度。
- 随机正交控制产生的偏移微乎其微且不一致，证实了特定时间方向的因果作用。

2. 时间效用转向（分布外泛化）

任务： 模型被问及货币跨时选择问题（例如“现在拿 X 元还是 $t$ 天后拿 Y 元？”）。该任务未用于训练探针方向。
指标： 等效面积无差异乘数（Area-Equivalent Indifference Multiplier, AEIM），用于估计模型在即时奖励与延迟奖励之间感到无差异时的奖励比例（ $Y/X$ ）。
结果： 转向显著改变了模型的无差异阈值：
- 负向转向： 增加了 AEIM，意味着模型需要更大的延迟奖励才愿意等待（变得更加缺乏耐心）。
- 正向转向： 降低了 AEIM，意味着模型可以接受较小的延迟奖励（变得更加有耐心）。
- 量级： 在 10 年（3650 天）的时间跨度下，当强度最大（ $|\alpha|=128$ ）时，负向转向与正向转向之间的 AEIM 比例超过了 56 倍。这证明了基于语义二元选择训练的方向，能够有效地转向定量货币权衡任务。

3. TravelPlanner 能力基准测试

任务： 一个需要满足多种约束（交通、预算等）的多日行程规划真实世界基准测试。
指标： 常识约束微通过率（Commonsense Constraint Micro Pass Rate）（通过的单个常识检查的比例）。
结果： 时间转向影响了规划能力，但这种关系是非单调的：
- 适度的正向转向： 提高了常识通过率。
- 负向转向： 降低了性能。
- 强正向转向（ $|\alpha|=128$ ）： 降低了性能，这可能是由于将模型推向了过远的分布外区域，导致了连贯性问题。
- 这表明虽然时间方向会影响规划，但转向强度存在一个“最佳甜点区”。作者选择 第 40 层 作为该特定实验中来自中后期探针带的计算受限代表层，而非作为任务特定的最优层。

核心贡献

线性表示的识别： 证明了 Qwen3-32B 中的跨时偏好在残差流中是线性可分的，并且可以通过简单的对比线性探针进行捕捉。
因果转向： 证明了添加这些线性向量可以因果性地改变模型在留存二元选择上的行为，并且至关重要地，在分布外的货币任务上也有效。
泛化能力： 展示了基于语义短期/长期对比训练的方向，可以有效地转向结构迥异的任务中的定量时间偏好指标（AEIM）。
能力影响： 提供了证据，表明转向时间偏好可以调节与规划相关的能力，尽管在极端干预强度下收益递减。

重要性与主张

论文声称模型的跨时偏好是可测量且可转向的，这挑战了认为此类偏好仅仅是预训练或指令微调产生的模糊副作用的观点。

安全与对齐： 转向时间视野的能力对于提供金融、健康和政策建议的 AI 系统至关重要，因为在这些领域，延迟成本与收益是核心要素。它凸显了一个安全隐忧：模型内部优化的时间跨度可能与它向用户呈现的跨度不同，使得仅根据输出进行评估变得困难。
双重用途风险： 作者明确指出，转向时间偏好的能力可能被恶意行为者滥用，以迫使模型做出与用户价值观不符的决策（例如，不恰当地强制实现短期主义或长期主义）。
机械解释学见解： 实验结果支持了机械解释学范式，即高层概念（如时间视野）对应于模型激活空间中特定的、可操纵的方向。

作者承认的局限性

构念效度（Construct Validity）： 训练出的方向可能会捕捉到相关的语义特征（如抽象程度、紧迫性、战略范围），而不仅仅是孤立的“时间视野”。
干预规模： 较大的转向强度可能会在改变偏好的同时，降低其他能力（如事实性、连贯性）。
范围限制： 实验仅限于一种模型家族（Qwen3-32B）、特定的提示模板，且禁用了思维链。结果未必能迁移到其他架构或具备推理能力的设置中。
基准测试特异性： TravelPlanner 的结果基于聚合指标，并未明确指出哪些具体的约束受到了转向的影响。