🤖 AI

Steerable Chatbots: Exploring Personalization Control Interfaces via LLM Activation Steering

本文引入了“可控聊天机器人”（steerable chatbots）作为一种全新的个性化范式，允许用户通过激活转向（activation steering）而非提示词来直接控制大语言模型的输出，并通过一项用户研究评估了三种界面设计，以展示其在实现更好偏好对齐方面的潜力，同时强调了用户在控制与透明度方面存在的多样化价值观。

原作者： Jessica Y. Bo, Tianyu Xu, Ishan Chatterjee, Katrina Passarella-Ward, Achin Kulshrestha, D Shin

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jessica Y. Bo, Tianyu Xu, Ishan Chatterjee, Katrina Passarella-Ward, Achin Kulshrestha, D Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个无所不知的超级智能机器人交谈。通常情况下，如果你想让它以某种特定的方式行事——比如变得超级奢华或超级省钱——你必须用文字来解释。你可能会说，“我想要一顿豪华晚餐，”或者“我的预算很紧。”但有时，很难找到合适的词汇，或者机器人在刚开始交流时并不完全“理解”你的意思。这篇论文介绍了一种与这些机器人沟通的新方法，不仅是通过文字，还可以通过一个控制其性格的“音量旋钮”。

这项研究背后的科学家们正致力于一个被称为“人机交互”（Human-Computer Interaction）的领域，这基本上是在研究人类与机器如何和谐相处。他们正在使用一种叫做“激活引导”（activation steering）的技术。把大型语言模型（聊天机器人的大脑）想象成一台巨大且复杂的收音机。通常，你通过输入请求来更换频道。但“激活引导”就像是一个旋钮，可以直接调高或调低机器人大脑内部特定的“频率”。如果你把“奢侈”旋钮调高，机器人就会开始思考昂贵的事物。如果你把“预算”旋钮调高，它就会思考如何省钱。研究人员提出的核心问题是：如果我们给普通人这个特殊的旋钮，它应该是什么样子的？应该是滑动式的吗？是设置一次后就不用管了吗？还是应该由机器人自己去搞定？

这篇论文引入了一个新概念，叫做“可控聊天机器人”（Steerable Chatbots）。研究人员没有要求你写一段完美的段落来告诉机器人你的喜好，而是构建了能够让你直接使用简单的数字或滑块来控制机器人性格的界面。他们测试了三种不同的方式。第一种叫做 SELECT，就像手机上的音量滑块；你可以在聊天时实时上下拖动，瞬间改变机器人的氛围。第二种叫做 CALIBRATE，就像配一副新眼镜；在开始对话之前，机器人会展示两个不同的答案，然后由你选出更喜欢的一个，从而在对话开始前帮助它找到完美的设置。第三种叫做 LEARN，就像一个能读懂你心思的朋友；机器人会倾听你的话语并猜测你的偏好，在后台自动调整其设置，无需你进行任何操作。

研究人员首先进行了计算机测试，以确保这些“旋钮”确实有效。他们发现，转动旋钮确实改变了机器人的回答，使其在向一个方向转动时谈论廉价餐厅，而在向另一个方向转动时谈论豪华餐厅。随后，他们邀请了14位真实用户来尝试这三种新型聊天机器人。结果很有趣：这三种使用旋钮的方式都比仅仅依靠文字让机器人自行猜测更能让机器人理解用户。然而，人们并不都喜欢同一种控制方式。有些人非常喜欢拥有滑块（SELECT），因为他们觉得自己完全掌控了局面。另一些人则更倾向于让机器人自己去搞定（LEARN），因为这感觉更自然，也更省力。还有一些人喜欢设置步骤（CALIBRATE），因为它感觉很精准，就像做视力检查一样。

这项研究表明，给予人们一个直接控制聊天机器人性格的“旋钮”是一个强大的工具，尤其是在你刚开始使用它、还没有足够的长期聊天记录来教导机器人时。但并没有一种设计是适合所有人的。有些人想当船长，而另一些人则希望船能自动航行。论文总结道，未来与人工智能交流的方式可能不仅仅在于更好的打字技巧，而在于为我们提供不同类型的控制手段——滑块、设置向导或自动驾驶仪——以便我们可以选择自己要在多大程度上引导对话。

技术摘要：通过 LLM 激活转向实现可控聊天机器人

问题陈述
当前个性化大语言模型（LLM）响应的范式高度依赖用户通过自然语言提示词来表达偏好。这种方法存在两个显著障碍：（1）“冷启动”问题，即用户缺乏用于模型检索偏好的对话历史；（2）认知负担，即许多普通用户缺乏将复杂偏好结构化为有效提示词的技能。现有的技术方案如检索增强生成（RAG）或模型微调，计算成本高昂且需要大量的用户数据，因此不适用于即时的、细粒度的个性化需求。作者提出了一种从“基于提示词的规范”向“直接操纵模型行为”转变的范式，旨在使 LLM 的输出与潜在的用户偏好保持一致。

方法论
本文引入了“可控聊天机器人”（Steerable Chatbots）这一范式，用户可以通过操纵一个线性标量因子来控制 LLM 输出中特定偏好维度的强度和方向。这是通过激活转向（Activation Steering）实现的，该技术在推理过程中将预先计算好的“转向向量”注入到模型的残差流中。

技术实现：
- 转向向量： 作者通过对正向和负向数据样本进行层级线性探测（layer-wise linear probes）训练，对比行为的理想与非理想表示（例如，“奢华”对比“经济”）来计算向量。
- 转向机制： 在推理期间，转向向量 ( $v$ ) 会根据用户定义的强度因子 ( $d$ ) 被添加到 LLM 的中间表示 ( $h$ ) 中： $h_{steered} \leftarrow h + d \cdot v$ 。
- 评估指标： 偏好表达通过 LLM 输出嵌入与代表特定偏好特征（成本、氛围、年龄、时间、菜系）的参考数据集（Yelp 评论）之间的相对余弦相似度来进行量化。
界面设计：
作者探索了三种映射在代理性（用户主导 vs. 系统驱动）和流动性（静态 vs. 自适应）两个维度上的界面设计：
- SELECT（高代理性，中等流动性）： 用户可以实时直接操作滑块（-100 到 100）来调整转向因子。这允许对偏好维度进行即时、显式的控制。
- CALIBRATE（中等代理性，低流动性）： 在对话开始前，用户通过一个校准过程，迭代选择由不同转向强度生成的成对响应中的优选输出。系统会收敛到一个用于该会话的静态偏好值。
- LEARN（低代理性，高流动性）： 系统从对话情感中隐式推断用户偏好，并在后台更新转向因子，同时显示推断出的强度以保证透明度。
实验设置：
- 计算实验： 在五个开源 LLM（参数量从 1.6B 到 9B 不等）上进行了验证，以确保转向的可靠性（E1）及其与用户提示词的组合性（E2）。
- 用户研究： 采用受试者内设计（ $n=14$ ），涉及冷启动生活方式规划任务（礼品购物、旅行、餐饮、食谱）。参与者与三种转向界面以及仅基于提示词的基准（PROMPT）进行交互。

关键结果

计算可行性： 激活转向在所有测试模型中均表现出转向强度与所表达偏好之间强烈的、近乎线性的相关性。至关重要的是，该方法被发现与用户提示词是兼容的；提示词可以强化或减弱转向的效果，从而在受控的偏好剖面内实现上下文的变化。
偏好对齐（U1）：
- SELECT 和 CALIBRATE 显示出模型输出与用户真实偏好之间存在中等程度的显著相关性（分别为 $r=0.46$ 和 $r=0.59$ ），显著优于仅基于提示词的基准（ $r=0.11$ ）。
- LEARN 显示出较弱的相关性（ $r=0.26$ ），表明基于情感的更新算法在短时间内捕捉多样化用户意图的能力较弱。
- 总体而言，可控聊天机器人在潜在偏好方面达到了中等相关性（ $r=0.44$ ），验证了该方法在冷启动场景下的有效性。
主观感知（U2）：
- 在与基准直接对比时，各界面在“使用意愿”、“满意度”或“感知控制感”方面没有显著差异。
- 然而，所有可控界面在感知持久性方面的评分都显著高于基准，表明用户感觉到他们的偏好在不同会话中得到了更好的记忆。
- 价值观异质性： 定性分析揭示了截然不同的用户偏好。一些用户重视 SELECT 提供的显式控制，而另一些用户则更喜欢 LEARN 带来的无缝、低认知负荷的体验。CALIBRATE 因其精确性和节省时间而被认可，但也因如果校准步骤未能捕捉到细微偏好而受到批评。

意义与主张
本文声称引入了一种新的 LLM 个性化范式，将偏好表达的负担从自然语言提示词转向了对模型内部的直接操纵。作者认为，激活转向提供了一种资源高效的微调替代方案，因为它不需要重新训练模型权重，且仅需轻量级的向量。

本研究将 LLM 个性化重新定义为一个交互设计问题，证明了暴露一个线性转向因子可以有效地使 LLM 输出与冷启动场景下的潜在用户偏好保持一致。作者强调，不存在单一的“最优”界面；相反，用户对于代理性（控制 vs. 自动化）和流动性（静态 vs. 自适应）的价值观决定了哪种设计最为适用。他们得出结论，可控聊天机器人为创建可直接操纵的个性化 AI 助手提供了一种极具前景且计算高效的机制，尽管他们也承认了关于低保真原型和将复杂偏好简化为单一维度的局限性。

类似论文