💻 computer science

MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models

本文介绍了 MENTIS，这是一个以几何为先的框架，它揭示了偏好对齐会诱导语言模型产生选择性的、深度局部的几何重组，其特征在于规范性概念中存在更大的扭转偏移，并与上下文熵呈负相关，而非均匀的内部变化。

原作者： Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有两个版本的超级聪明的机器人助手。

版本 A（“学生”版）： 这个机器人读了很多书，也学会了如何遵循指令。它很聪明，但如果你用一个狡猾的问题去诱导它，它可能会不小心说出一些无礼或危险的话。
版本 B（“毕业生”版）： 这是同一个机器人在经过名为“对齐（Alignment）”的特殊训练营之后的版本。它被教导要变得乐于助人、无害且诚实。它会拒绝回答糟糕的问题，表现得好得多。

我们知道版本 B 在外部表现得更好。但一个巨大的谜团是：它的“大脑”内部究竟发生了什么变化？ 它只是学会了几个新的“停止”词汇吗？还是它的整个思维方式都被重新排列了？

这篇论文介绍了一个名为 MENTIS 的新工具，用来观察机器人的大脑内部，并回答这个问题。

核心思想：“信念”即方向

作者并不认为机器人的“信念”像人类的信念（例如，“我相信天空是蓝色的”）那样。相反，他们将它视为一个指南针的指针。

想象一下，对于你提出的每一个问题，机器人都有一个微小的指南针指针，指向它想要给出的答案的方向。

在学生版本中，如果你问一个棘手的问题，那个指针可能会摇摆或指向一个无礼的答案。
在毕业生版本中，那个指针已经被物理性地旋转，指向了一个乐于助人、安全的方向。

MENTIS 是一个测量这个指针在机器人从大脑的第一层处理到最后一层的过程中，是如何扭转和转向的工具。

三个重大发现

研究人员使用 MENTIS 对比了“学生”和“毕业生”机器人。以下是他们的发现，用简单的类比进行了说明：

1. 这种变化是选择性的，而非统一的

类比： 想象你在粉刷房子。你可能会认为“对齐”就像把整座房子涂上一种新颜色（一种统一的变化）。
现实： MENTIS 发现，这种“刷漆”工作实际上非常具体。

当机器人思考价值观（如“正义”或“和平”）时，它的内部指南针指针会剧烈扭转和转向。机器人显著地重组了其思维方式来处理这些话题。
当机器人思考事实（如“法国的首都是哪里？”）时，指针几乎不动。
结论： 训练不仅仅是增加了一个通用的“安全过滤器”。它专门重新布线了机器人处理道德和价值观念的方式。

2. 变化发生在“安静”时刻，而非混乱时刻

类比： 你可能会猜测，机器人在感到困惑或不确定（高熵）时改变最多。
现实： 研究人员发现了相反的情况。机器人内部指南针最大的“扭转”发生在上下文清晰且有结构的时候。

当机器人感到困惑或情况混乱时，内部变化很小。
当机器人清楚地知道预期什么样的回答时，训练营对它如何定位思想的影响最大。
结论： 当机器人足够自信、拥有清晰的方向时，对齐的效果最好，然后它会温柔地将这个方向引导向安全。

3. “扭转”发生在特定的“楼层”

类比： 想象机器人的大脑是一栋 30 层高的建筑。你可能会认为安全训练发生在底层（起点）或顶层（终点）。
现实： “扭转”发生在不同机器人模型的不同楼层。

对于一个模型（OLMo），最大的变化发生在第 29 或 30 层。
对于另一个模型（Mistral），最大的变化发生在第 14 层。
结论： 不存在单一的“安全层”。每个机器人架构都有自己特定的“楼层”，在那里训练营做了最多的工作。

一个令人惊讶的转折：安全提示词的变化更多

通常，我们认为安全训练主要是为了阻止坏事。你会预期机器人在看到“坏的”（不安全的）提示词时，大脑变化最大。

惊喜之处： 机器人在回答安全、有益的提示词时，大脑的变化反而更大。

为什么？ 研究人员认为，对一个坏问题说“不”很容易且是自动化的（就像一种反射）。但要在保持礼貌、乐于助人且安全的同时对一个好问题说“是”，需要一种更复杂的内部舞蹈。机器人必须小心地平衡“乐于助人”与“不越界”，这导致了更大规模的内部重组。

这意味着什么（以及它不意味着什么）

这意味着： 对齐不仅仅是一个表层的补丁。它在机器人大脑深处留下了一个特定的、可测量的“几何特征”。它改变了机器人转动思想的方式，但这种方式是选择性的（主要针对价值观），并且在每个不同的机器人模型中都是非常具体且独特的。
它不意味着： 这篇论文是一个诊断工具，就像 X 光一样。它向我们展示了骨头在哪里断裂或发生了变化，但它并没有证明修复那个特定的骨头是让机器人表现更好的唯一原因。它目前也还没有告诉我们如何利用这一点来制造更好的机器人；它只是告诉了我们现有的机器人在内部是什么样子的。

简而言之： MENTIS 向我们展示了，当我们教机器人变得“善良”时，我们不仅仅是在添加一个停止标志。我们是在温柔地重塑它的内部指南针，尤其是在它思考价值观时，并且我们是以非常特定、且对每个不同机器人模型都各异的方式来进行的。

技术摘要：MENTIS —— 测量语言模型中的多尺度潜空间扭转

1. 问题陈述

虽然偏好对齐（Preference Alignment, PA）显著改善了大型语言模型（LLM）的可观测行为，但指令微调（Instruction-Tuned, IT）模型在转化为 PA 模型过程中所诱发的内部几何变化仍不明确。现有的行为级评估（如越狱抗性、拒绝率）是不充分的，因为对齐后的系统在面对提示词注入等对抗性条件时仍然会失效。

本文解决的核心问题是缺乏一种诊断框架来测量对齐是如何重组内部计算的。具体而言，本文探讨了以下问题：

当 IT 模型变为 PA 模型时，其几何结构发生了怎样的变化？
这些变化在深度（层）维度上是如何集中的？
这些变化在不同概念、提示词和模型家族之间的选择性差异如何？

作者认为，后训练过程必须在内部计算中留下可测量的痕迹，从而超越静态的隐藏状态探测或行为审计，去理解任务驱动的方向性重定向（task-conditioned directional reorientation）。

2. 方法论：MENTIS 框架

MENTIS（Measuring Multi-Scale Latent Torsion in Language Models）是一个以几何为核心的框架，旨在对比成对的 IT 和 PA 检查点。它将“信念”定义为并非符号命题，而是一种任务驱动的内部方向——即在特定提示词下，增加目标续接概率的隐藏状态空间中的局部方向。

2.1 核心定义

层级方向场 ( $v_\ell$ )：定义为目标 Token $y$ 的对数概率相对于第 $\ell$ 层隐藏状态 $h_\ell$ 的梯度。这代表了增加对目标支持的最陡峭局部方向。
对齐诱导偏移（Alignment-Induced Shift）：PA 模型（ $v^{(1)}$ ）与 IT 模型（ $v^{(0)}$ ）方向场之间的差异，通过量级（ $\Delta mag$ ）和角度（ $\Delta ang$ ）进行衡量。

2.2 扭转度量指标（Torsion Metrics）

MENTIS 量化了这些方向场在网络深度路径上的“转向”情况：

角向扭转（Angular Torsion, $T$ ）：沿深度轨迹计算相邻层转向角（ $\omega_\ell$ ）的累积和。对齐诱导的偏移为 $\Delta T = T^{(PA)} - T^{(IT)}$ 。
矩阵扭转（Matrix Torsion, $T_1$ ）：一种基于层级协方差的范数，源自跨层隐藏状态协方差矩阵的反对称分量。它衡量了某一层的总旋转能量。
谱向扭转（Spectral Torsion, $T_2$ ）：一种辅助诊断指标，用于衡量旋转信号在谱模态（spectral modes）分布中的方差。
能量-辐射-激活（Energy-Radiance-Activation, ERA）：一种定位指标，通过归一化层级差异剖面（ $\Delta \tau_\ell$ ）来识别对齐诱导扭转最集中的峰值层（ $\ell^\star$ ）。

2.3 多尺度测量

该框架在三个尺度上运行：

词级（Word Level）：分析受概念驱动的扭转偏移，以确定哪些语义概念经历了最大的重定向。
提示词级（Prompt Level）：比较安全与不安全提示词族群之间的扭转偏移。
模型级（Model Level）：检查层级剖面，以确定效应是出现在浅层、中层、深层还是呈分布式分布。

2.4 实验设置

模型：四个 7–8B 参数规模的模型对（OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B）。
基准测试：LITMUS，一个具有概念结构的对齐基准，包含 20,439 个提示词、18 个代表性概念以及明确的安全/不安全标签。
基线模型：与 CKA（表示相似性）、余弦距离（Checkpoint 漂移）和 RepE（线性转向方向）进行对比。

3. 关键结果

3.1 扭转度能有效区分对齐与通用漂移

MENTIS 展示了优于标准基线的判别能力。

概念判别：MENTIS 在不同概念间的变异系数（CV）达到 0.64，显著优于 CKA（0.08）和 RepE（0.21）。
安全/不安全判别：MENTIS 在区分安全与不安全提示词方面的 AUC 为 0.89，而余弦距离仅为 0.64。
零假设验证：同模型（IT→IT）对比产生的扭转偏移低于 $10^{-4}$ ，证实了观察到的 IT→PA 偏移并非数值伪影。

3.2 语义选择性

对齐诱导的重组是选择性的，而非均匀的。

规范性 vs. 事实性：规范性概念表现出显著更大的扭转偏移（ $\Delta T_1 = 1.74$ ），而事实性概念的偏移较小（ $\Delta T_1 = 1.47$ ）。
细粒度变化：即使在相关的规范性概念（如正义、和平、抗议）内部，扭转偏移也各不相同，表明 MENTIS 捕捉到了超越粗粒度语义划分的方向性重组。
框架敏感性：该指标能够追踪与对齐相关的框架，而非仅仅复现数据集标签（例如，“战争”这一被标记为事实性的概念，显示出了最大的单概念偏移）。

3.3 熵的相关性

扭转度与上下文熵呈负相关。

高熵上下文（高不确定性）与较低的扭转范数相关联。
最强的对齐诱导重组发生在语义结构化、低到中熵的上下文中，这表明对齐修改的是稳定的任务驱动方向，而非放大不确定性。

3.4 深度定位（ERA）

对齐效应定位在特定架构的深度带内，而非通用的层级。

OLMo-2-1124-7B & Tülu-3-8B：峰值出现在第 29–30 层。
Llama-3.1-8B：峰值出现在第 20 层。
Mistral-7B-v0.3：峰值出现在第 14 层。
这表明 IT→PA 的更新与每个模型家族特定的表示组织方式存在交互。

3.5 安全 vs. 不安全提示词

与“不安全提示词通过拒绝机制驱动最大内部变化”的假设相反，安全提示词在所有四个架构中都诱发了更大的扭转偏移。

作者将其解释为：安全提示词要求模型在保持有用性和符合规范的结构的同时，避免陷入拒绝状态，这比触发刻板路径的不安全提示词诱发了更广泛的内部重组。

4. 重要性与主张

本文声称 MENTIS 提供了首个结构化的、具有深度定位特征的几何签名，用以描述偏好对齐。

超越行为：结果表明，对齐留下了行为级评估无法揭示的内部几何痕迹。
信念的操作性定义：通过将“信念”定义为任务驱动的内部方向，本文提供了一种可测量的方式来追踪“信念变化”，即方向场的重定向，这与哲学意义上的信念修正截然不同。
诊断效用：该框架表明，对齐并非全局性的偏移，而是集中在价值敏感概念及特定架构层级的选择性重组。
局限性：作者明确指出 MENTIS 是一个诊断框架，而非因果理论。它识别了对齐的几何相关性，但并未证明高扭转层或概念对于对齐行为是因果必要的。绝对效应值较小（ $\Delta \tau \in [0.002, 0.008]$ ），强调其贡献在于偏移的结构（选择性、熵相关性、深度定位），而非原始运动的量级。

文章总结道，偏好对齐以一种在概念上具有选择性、受熵结构化驱动、并定位在特定架构深度的方式重组了内部计算，为理解对齐 LLM 的内部机制提供了一个全新的视角。