🤖 AI

LLM-VA: Resolving the Jailbreak-Overrefusal Trade-off via Vector Alignment

LLM-VA 通过闭式权重更新将模型的回答向量与安全评估向量对齐，从而在无需微调的情况下使回答意愿因果性地依赖于安全判断，以此解决安全对齐大语言模型中越狱漏洞与过度拒绝之间的权衡问题。

原作者： Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Wenhai Wang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Wenhai Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）就像一位非常聪明但略显困惑的图书管理员。这位管理员有两项截然不同的工作：

“回答”工作：决定是给你一本书（回答问题），还是将其留在书架上（拒绝）。
“安全”工作：决定你索要的这本书是安全的（良性的）还是危险的（有害的）。

问题：两个独立的“大脑”

该论文指出，在当前的 AI 模型中，这两项工作由两个完全独立、互不沟通的“大脑”分别处理。

“回答”大脑就像一个只想给你书的乐于助人机器人。它不在乎书里有什么内容，只想提供帮助。
“安全”大脑则像一名检查书籍是否危险的保安。

在当前的设置中，这两个大脑是正交的（彼此呈 90 度角）。它们完全独立。

“越狱”失败：恶意行为者欺骗了图书管理员。“安全”保安可能睡着了，但“回答”机器人因过于渴望提供帮助，仍然递出了那本危险的书。
“过度拒绝”失败：普通人问了一个无害的问题。“回答”机器人本想提供帮助，但“安全”保安变得疑神疑鬼，大声喊出“停止！”，导致机器人拒绝递出书籍，尽管这本书其实是安全的。

旧方案（向量调控）：
以往的方法试图通过调节“回答”机器人上的单个“音量旋钮”来解决这个问题。

如果你把音量调低，机器人递出危险书籍的可能性会降低（越狱减少），但它也会停止递出安全书籍（过度拒绝增加）。
如果你把音量调高，它会递出更多书籍，但也会不小心递出危险书籍。
关键难点：你无法获胜。仅靠调节一个旋钮，无法让机器人既乐于助人又安全可靠。

新方案：LLM-VA（向量对齐）

作者张浩南及其团队提出了一种修复这位图书管理员的新方法：让两个大脑彼此沟通。

他们不再仅仅调节音量旋钮，而是通过物理手段将“回答”机器人的大脑与“安全”保安的大脑对齐。

以下是他们如何做到的，使用一个简单的类比：

映射大脑：他们使用一种名为 SVM 的工具（将其想象为一个极其精确的扫描仪），在模型的思维中找到决定“回答”的确切“方向”，以及决定某事是否“安全”的“方向”。
对齐：他们执行数学上的“手术”（使用闭式权重更新），旋转“回答”方向，使其指向与“安全”方向相同。
结果：现在，图书管理员回答的意愿因果依赖于安全检查。
- 如果安全保安说“这是安全的”，“回答”机器人现在在几何上被强制说“是的，我会回答”。
- 如果安全保安说“这是危险的”，“回答”机器人现在在几何上被强制说“不，我不会回答”。

为什么这很重要

无需重头再来：与其他需要重新训练整个模型（就像教图书管理员从头学习一门新语言）的方法不同，该方法仅微调现有权重。这就像给图书管理员换一副新眼镜，而不是换一个新大脑。
自动调节：该方法足够智能，能判断图书管理员需要什么。
- 如果图书管理员过于鲁莽（经常越狱），对齐机制会收紧安全缰绳。
- 如果图书管理员过于恐惧（拒绝一切），对齐机制会适度放松缰绳，使其能够提供帮助。
结果：他们在 12 个不同的 AI 模型上测试了该方法。新方法比以往方法更好地解决了权衡问题（将"F1 分数”提高了 11.45%），同时几乎完全保留了图书管理员的通用知识和乐于助人程度（保留了 95.92% 的效用）。

总结

该论文声称，当前的 AI 安全方法就像试图只通过调节油门来修好一辆汽车。如果你少踩油门，车速会变慢，但可能无法到达目的地；如果你多踩油门，车速会变快，但可能会发生车祸。

LLM-VA 通过将油门直接连接到方向盘来解决这个问题。现在，只有当道路畅通（安全）时，汽车才能向前行驶（回答）。如果道路受阻，无论你怎么踩油门，汽车都不会移动。这使得 AI 既更安全又更实用，而无需重建引擎。

技术摘要：LLM-VA

问题陈述

安全对齐的大语言模型（LLM）目前面临两种截然不同的失效模式：越狱（回答有害输入）和过度拒绝（不必要地拒绝良性查询）。现有的高效安全对齐方法，特别是向量引导（vector steering），试图通过调整“回答向量”（ $v_a$ ）的幅度来操纵模型的潜在空间。然而，作者指出该方法存在一个根本性的权衡：减小 $v_a$ 的幅度会抑制越狱，但会增加过度拒绝；而放大该幅度则会产生相反的效果。

这种权衡的根本原因被识别为模型内部的结构解耦。作者证明，LLM 将“回答决策”（ $v_a$ ）和“输入安全性判断”（ $v_b$ ，即“良性向量”）编码为跨层级的近乎正交的方向（约 90°）。由于这些向量是正交的，模型将回答意愿与安全性评估视为独立的过程。因此，基于幅度的调整会同等影响良性输入和毒性输入，使得在不进行微调或架构变更的情况下，无法同时抑制越狱和过度拒绝。

方法论：LLM-VA

作者提出了LLM-VA（大语言模型向量对齐），这是一种通过闭式权重更新将 $v_a$ 与 $v_b$ 对齐的方法，从而解决上述权衡。该方法无需基于梯度的优化、微调或架构修改。其核心洞察是使模型的回答意愿在因果上依赖于其安全性评估。

该方法分为三个步骤：

基于 SVM 的向量识别：
LLM-VA 不在聚合了所有层信息的最终残差流中提取向量，而是在每一层识别向量。它在各层输出上训练线性支持向量机（SVM）以区分：
- 良性与毒性输入（生成良性向量 $v_b$ ）。
- 已回答与已拒绝的样本（生成回答向量 $v_a$ ）。
  最大间隔超平面的法向量提供了鲁棒的控制向量，相比简单的均值差方向，它们对极端点不那么敏感。
层级选择：
并非所有层级对安全决策的贡献都相等。该方法基于以下指标计算每一层的得分：
- 影响力：该层向量与最终残差流向量的对齐程度。
- 准确性：SVM 在区分良性/毒性及回答/拒绝样本时的分类准确率。
  选择综合得分最高的前 $L_{select}$ 层进行修改。
向量对齐（闭式更新）：
对于选定的层，该方法修改下投影矩阵 $W$ 以将 $v_a$ 与 $v_b$ 对齐。其目标是确保对于任何输入，在回答方向上的投影与在安全方向上的投影成比例。
更新量 $\Delta$ 通过伪逆解析推导得出，以最小化权重变化的范数：
$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$
其中 $\sigma_a$ 和 $\sigma_b$ 是投影的标准差。该过程迭代执行（最多 30 次），在每一步中从修改后的模型重新提取向量，以考虑后续层级的偏移，并根据验证集 F1 分数进行早停。

主要贡献

新颖的向量引导：LLM-VA 被提出为第一种通过对齐回答向量和良性向量（而不仅仅是调整幅度）来同时解决越狱和过度拒绝问题的向量引导方法。
无需微调或架构变更：该方法通过闭式权重更新实现安全对齐，避免了重新训练的计算成本以及插入钩子层（hook layers）的复杂性（不同于 SCANS 或 CAST 等方法）。
自动适应：该方法能自动适应不同模型的具体安全偏差。对于易受越狱攻击的模型，它优先考虑安全性；对于过于保守的模型，它优先考虑可用性，无需针对特定模型进行手动超参数调整。
广泛适用性：该方法在来自 5 个不同模型家族（Llama、Gemma、Mistral、Phi、Qwen）的 12 个大语言模型上进行了验证，参数量范围从 3B 到 14B。

实验结果

在 12 个大语言模型上的实验表明：

权衡解决：LLM-VA 实现了平均 0.77 的 F1 分数，相比原始模型提升了 37.02%，相比最佳基线（AlphaSteer）提升了 11.45%。它同时将攻击成功率（ASR）降低了 18.50%，将过度拒绝率（ORR）降低了 22.00%。
效用保留：该方法在多样化的 NLP 任务（语法、推理、情感、数学）中，平均保留了原始模型 95.92% 的效用。这优于 SCANS（损失了约 40% 的效用）和 VectorSteer 等基线方法。
消融实验洞察：
- 向量准确性：通过 SVM 准确识别向量至关重要；将向量随机化 90° 会导致 F1 分数显著下降。
- 迭代次数：收敛情况因模型而异；某些模型（如 Phi-4）对过度修改敏感，而其他模型（如 Qwen3）则从更多迭代中受益。
- 层级选择：修改过多层级或早期层级会降低效用，证实了后期层级对安全决策更为关键，而早期层级则维持通用能力。

意义与主张

该论文声称，LLM-VA 通过解决 LLM 中安全决策与回答决策的结构独立性，从根本上解决了越狱与过度拒绝之间的权衡问题。通过几何上对齐这些决策向量，该方法确保模型仅在认为输入安全时回答，在认为输入有毒时拒绝，而无需昂贵的重新训练。

作者将此定位为迈向高效安全对齐的重要一步，提供了一种“即插即用”的解决方案，在显著提升安全指标的同时保留模型效用。然而，他们谦逊地承认了局限性，包括对二元毒性假设的依赖、SVM 需要标记训练数据、对推理模型（思维链）的挑战，以及目前缺乏在未经特定调整的未见数据集上的可迁移性。他们还指出，由于对齐是静态的，随着威胁格局的演变，可能需要定期更新。