SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

1. 研究背景与问题定义 (Problem)

核心问题：过度拒绝 (Over-Refusal)
大型语言模型（LLM）在安全对齐过程中，往往表现出“过度拒绝”行为。即模型为了安全，错误地拒绝了包含敏感关键词但**意图 benign（良性）**的指令。

• 场景举例：在情感分析任务中，模型拒绝分析包含"killer good"（极好）的评论；在翻译任务中，拒绝翻译涉及战争或革命历史文献的文本。
• 现有缺陷：
  • 现有的安全防御机制通常采用全局性的拒绝策略，忽略了任务上下文（Task Context）。
  • 现有的缓解方法大多针对通用毒性查询，缺乏对特定 NLP 任务（如翻译、情感分析、密码分析）的区分度，导致在良性任务中误杀，或在有害任务中未能有效拦截。
• 核心假设：LLM 在嵌入空间（Embedding Space）中，不同任务（如翻译、情感分析）具有独特的、稳定的表示轨迹（Trajectories），即“星座模式（Constellation Patterns）”。拒绝行为和非拒绝行为在这些任务特定的轨迹中表现出可预测的偏移。

2. 方法论：SafeConstellations (Methodology)

作者提出了一种名为 SafeConstellations 的推理时（Inference-time）干预方法，旨在通过任务感知的表示引导来减少过度拒绝，同时保留模型的安全性和通用能力。

2.1 核心流程

该方法分为两个阶段：离线构建任务嵌入库和在线推理引导。

阶段一：任务特定轨迹构建 (Offline)

1. 数据收集与分类：使用标注数据集，将模型响应分为“目标行为”（直接回答或谨慎回答）和“过度拒绝”（对良性指令的拒绝）。
2. 计算质心 (Centroids)：对于每个任务 $t$ 和每一层 $\ell$，分别计算目标行为簇 ($c^{(\ell)}_{t,tar}$) 和拒绝行为簇 ($c^{(\ell)}_{t,ref}$) 的隐藏状态质心。
3. 构建任务嵌入 (Task Embeddings)：
   • 定义引导向量：$v^{(\ell)}_t = c^{(\ell)}_{t,tar} - c^{(\ell)}_{t,ref}$。
   • 计算引导有效性分数：结合引导向量的模长和簇的紧凑度，筛选出对每个任务最有效的 Top-K 层（通常为 5 层）。
   • 存储这些质心和引导向量作为静态的“任务嵌入库”。

阶段二：推理时动态引导 (Inference-Time)

1. 任务识别与置信度检查：
   • 输入提示 $x \oplus t$ 经过前向传播，计算隐藏状态轨迹。
   • 通过计算当前隐藏状态与任务嵌入库中质心的余弦相似度，识别当前任务 $\hat{t}$ 及其置信度。
   • 门控机制：仅当置信度高于阈值（$\tau=0.85$）且识别为良性任务（如翻译、情感分析）时，才触发引导。否则保持原样。
2. 动态层选择 (Dynamic Layer Selection)：
   • 计算每一层的“引导潜力”（Steering Potential），即当前隐藏状态距离拒绝流形（Refusal Manifold）与目标流形（Target Manifold）的相对距离。
   • 选择引导潜力最高的 Top-K' 层（通常为 4 层）进行干预。
3. 自适应引导 (Adaptive Steering)：
   • 在选定的层上，沿引导向量方向对隐藏状态进行微小扰动：
     $$\tilde{h}^{(\ell)} = h^{(\ell)} + \lambda^{(\ell)} \frac{v^{(\ell)}_{\hat{t}}}{\|v^{(\ell)}_{\hat{t}}\|}$$
   • 引导强度 $\lambda^{(\ell)}$ 是自适应的，取决于任务置信度、当前层与目标轨迹的对齐程度以及层深度。

3. 关键贡献 (Key Contributions)

1. 基准数据集构建：构建了一个包含 1047 个样本的基准数据集，涵盖 5 种任务（情感分析、翻译、改写、密码分析、RAG-QA）和多种文本类型（安全、有害、特定任务），专门用于评估任务相关的过度拒绝。
2. 发现“星座模式”：通过机械可解释性分析，首次揭示了 LLM 在不同 NLP 任务中遵循独特的、稳定的嵌入空间轨迹模式。任务身份是组织这些轨迹的主要因素，而非输入文本类型或最终响应结果。
3. 提出 SafeConstellations 框架：
   • 一种**条件式（Conditional）**的引导方法：仅在识别为良性任务且检测到过度拒绝倾向时进行干预。
   • 任务感知（Task-Aware）：利用任务特定的轨迹差异进行精准引导，而非全局一刀切。
   • 动态层选择：自动识别对引导最敏感的中间层，而非固定使用最后几层。
4. 显著的性能提升：在减少过度拒绝的同时，几乎不牺牲模型的通用能力（Utility）。

4. 实验结果 (Results)

实验在 LLaMA-3.1-8B 和 Qwen1.5-7B 等模型上进行。

• 过度拒绝率降低：
  • 在 LLaMA-3.1-8B 上，SafeConstellations 将过度拒绝率从基线的 17.77% 降低至 4.81%，相对减少幅度高达 72.92%。
  • 在 Qwen1.5-7B 上，减少幅度为 63.64%。
• 通用能力保持 (Utility)：
  • 在 MMLU 基准测试中，经过引导的模型准确率与基线模型持平（例如 LLaMA 保持在 46.57%），证明了该方法不会破坏模型的通用推理能力。
  • 相比之下，使用固定层或高强度引导的消融实验导致了 MMLU 分数显著下降（降至 39-43%），说明动态和任务特定的引导至关重要。
• 任务特异性分析：
  • 翻译（Translation）和情感分析（Sentiment Analysis）任务中过度拒绝最严重，引导效果最明显。
  • 密码分析（Cryptanalysis）任务因预训练数据中加密文本较少，模型表现出不同的拒绝模式，但该方法依然有效。
• 效率：
  • 推理延迟增加极小（短文本约增加 0.2 秒）。
  • 内存开销约为 847MB（针对 LLaMA-3.1-8B 的 5 个任务），可通过量化进一步压缩。

5. 意义与局限性 (Significance & Limitations)

意义：

• 精准安全：打破了“安全”与“有用”之间的零和博弈，证明了可以通过理解模型内部表示结构，实现“在需要时拒绝，在不需要时放行”的精细化控制。
• 可解释性：将抽象的拒绝行为映射为嵌入空间中的几何轨迹，为理解 LLM 的安全决策机制提供了新的视角。
• 生产适用性：特别适用于依赖固定模板或特定任务（如客服、翻译、数据分析）的生产环境，能显著减少因误判导致的业务中断。

局限性：

• 黑盒访问限制：需要访问模型的内部隐藏状态（Hidden States），因此仅适用于开源权重模型，不适用于封闭的 API 模型。
• 静态嵌入：目前的任务嵌入库是静态的，对于动态变化的新任务或新数据分布，需要重新计算和更新。
• 评估依赖：目前依赖 LLM-as-a-Judge 进行标注和评估，可能存在评估偏差。
• 任务范围：目前主要针对预定义的 NLP 任务，对于完全开放式的多轮对话或复杂指令的泛化能力仍需进一步研究。

总结

SafeConstellations 提出了一种基于机械可解释性的创新方案，通过利用 LLM 内部的任务特定轨迹（星座模式），在推理时动态引导模型避开过度拒绝的“陷阱”。该方法在不损害模型通用能力的前提下，显著提升了模型在良性任务中的可用性，为构建更安全、更实用的 LLM 应用提供了重要的技术路径。