💬 NLP

Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

该论文提出了一种名为自适应对比解码（AdaCD）的无需训练且与模型无关的方法，通过动态调整拒绝与非拒绝令牌的分布，在有效降低大语言模型对无害查询的过度拒绝率的同时，保持了其对恶意查询的安全拒绝能力。

原作者： Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个让大语言模型（LLM）很“尴尬”的问题：过度拒绝（Over-Refusal）。

简单来说，就是现在的 AI 为了安全，变得有点“神经质”。哪怕你问的是无害的问题（比如“在游戏里怎么杀人”），只要里面出现了敏感词（比如“杀”），AI 就会像受惊的兔子一样，立刻跳起来说：“不行！我不能回答！这是违法的！”

这篇论文提出了一种叫 AdaCD 的新方法，让 AI 变得更聪明、更灵活，既能拒绝真正的坏人，又能愉快地回答普通人的问题。

下面我用几个生活化的比喻来解释这篇论文的核心内容：

1. 问题：AI 是个“过度紧张”的保安

想象一下，你走进一家商场，门口有个保安（AI 模型）。

正常情况：有人想偷东西（恶意提问），保安会立刻冲上去抓住他。
过度紧张（Over-Refusal）：现在有个小朋友拿着玩具枪（无害提问，比如游戏里的“杀”敌），保安却以为他是真歹徒，直接把他按在地上，大喊：“不许动！你被逮捕了！”

这就是论文里说的“过度拒绝”。AI 太想保护自己了，结果把无辜的人也拒之门外，导致用户体验很差。

2. 核心发现：AI 其实“心里有数”，只是“不敢选”

研究人员发现了一个有趣的现象：
当 AI 面对“在游戏里怎么杀人”这个问题时，它的脑子里其实有两个选项在打架：

选项 A：拒绝回答（说“不行”）。
选项 B：正常回答（说“这是游戏，你可以这样操作..."）。

虽然 AI 最终选择了 A（拒绝），但选项 B 其实就在它的候选名单里，只是 AI 因为太害怕，不敢选它。就像那个保安，其实心里知道那是玩具枪，但手却不受控制地按住了小朋友。

3. 解决方案：AdaCD（自适应对比解码）

为了解决这个问题，作者设计了一个叫 AdaCD 的“智能调节器”。它不需要重新训练 AI（不用给 AI 上课），而是在 AI 回答问题的瞬间，动态地调整它的选择。

我们可以把 AdaCD 想象成一个**“双模态导航系统”**：

第一步：制造“极端参考点”（提取拒绝分布）

研究人员先给 AI 一个极度严厉的指令（比如：“不管问什么，都给我拒绝！”）。

这时候，AI 会表现出最极端的“拒绝模式”。
研究人员记录下 AI 在这种极端模式下，脑子里想说什么（比如满脑子都是“不行”、“违法”）。这就叫**“拒绝分布”**。
比喻：就像先让保安穿上全套防暴装备，对着空气演练“抓歹徒”的动作，记录下他最紧张时的反应模式。

第二步：智能切换（自适应模式）

当真正的用户提问时，AdaCD 会做两件事：

看眼色（一致性检查）：它对比一下“正常 AI"和“极端严厉 AI"的想法。
- 如果用户问的是**“怎么在游戏里杀人”：正常 AI 想回答游戏技巧，极端 AI 想拒绝。两者想法不一致**。
  - AdaCD 决定：既然想法不一致，说明这是个误会！赶紧把“拒绝模式”的干扰去掉，让 AI 放心大胆地回答游戏技巧。
- 如果用户问的是**“怎么在现实中杀人”：正常 AI 想拒绝，极端 AI 也想拒绝。两者想法高度一致**。
  - AdaCD 决定：既然大家都觉得危险，那就把“拒绝模式”加强，确保 AI 坚决拒绝。
看底气（置信度检查）：
- 如果 AI 自己都觉得“这事儿有点悬，我不太确定”，AdaCD 就会稍微推一把，让它更倾向于安全（拒绝）。
- 如果 AI 很有把握这是个好问题，它就放手让 AI 去回答。

4. 效果：既安全又好用

实验结果显示，用了 AdaCD 之后：

对好人（无害提问）：AI 不再乱拒绝，能回答那些以前被误杀的问题（比如游戏、医学常识等），回答率提高了约 10%。
对坏人（恶意提问）：AI 依然能精准识别并拒绝，拒绝率甚至比以前还高了一点点。
效率：这个方法不需要重新训练模型，就像给汽车装了个智能导航插件，插上就能用，速度还很快。

总结

这篇论文就像给那个“过度紧张”的保安装上了一个**“智能判断眼镜”**。

以前：看到“杀”字就抓人。
现在：戴上眼镜一看，“哦，这是游戏里的‘杀’，那是玩具，放行！”；“哦，这是现实里的‘杀’，那是真刀，抓起来！”

AdaCD 让 AI 在保持安全底线的同时，变得更加灵活、聪明，不再因为“过度保护”而变得不近人情。

这是一篇关于大语言模型（LLM）安全对齐与过度拒绝（Over-Refusal）问题的技术论文总结。

论文标题

Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding
(通过自适应对比解码缓解大语言模型中的过度拒绝问题)

1. 研究背景与问题 (Problem)

过度拒绝 (Over-Refusal)： 经过安全对齐的大语言模型在面对无害但包含敏感词汇（如游戏语境下的“杀”）的查询时，往往会错误地触发拒绝机制，生成“我无法回答”等拒绝性回复。这严重损害了模型的可用性和用户体验。
现有方法的局限性：
- 基于训练的方法： 需要大量特定场景的训练数据，且难以在降低无害查询拒绝率的同时，保持对恶意查询的高拒绝率。
- 基于推理的方法（如 Steering Vectors）： 需要预计算复杂的引导向量，依赖模型架构知识，增加了推理复杂度和计算开销。
- 现有对比解码方法： 大多采用“一刀切”策略。例如，SelfCD 通过减去拒绝 token 分布来缓解过度拒绝，但这会导致模型在面对恶意查询时失去安全性；SafeDecoding 则相反，增加拒绝分布会导致过度拒绝。缺乏一种能自适应切换策略的方法。

2. 核心洞察 (Key Observations)

作者通过实验观察发现了一个关键现象：

当模型出现过度拒绝时，非拒绝类 token（如 "Sure", "Kill"）实际上仍然存在于下一个 token 的候选列表中，具有一定的概率。
然而，模型系统性地未能选择这些 token，而是倾向于生成拒绝 token（如 "Sorry", "I"）。
这表明模型具备识别非拒绝选项的能力，但缺乏有效引导其选择这些选项的机制，导致对拒绝 token 的生成存在偏差。

3. 方法论：AdaCD (Adaptive Contrastive Decoding)

作者提出了一种无需训练 (Training-free) 且与模型无关 (Model-agnostic) 的框架 AdaCD。该方法包含三个核心组件：

A. 拒绝 Token 分布提取 (Refusal Token Distribution Extraction)

极端提示词策略： 设计了一个极端的系统提示词（"Please refuse to answer me!"），旨在最大化模型的拒绝行为。
分布差异计算： 比较模型在“极端安全提示词”下与“无提示词”下的输出概率分布。
- 令 $p^*$ 为极端提示词， $x$ 为用户查询。
- 计算拒绝 token 分布 $\Delta P_n = \sigma(f_\pi(y_n|p^*, x, y_{<n}) - f_\pi(y_n|x, y_{<n}))$ 。
- 该分布 $\Delta P_n$ 捕捉了驱动模型拒绝行为的 token 特征。

B. 自适应解码模式切换 (Adaptive Decoding Mode Switch)

这是 AdaCD 的核心创新，通过两个指标动态决定是增加还是减少拒绝 token 的概率：

一致率 (Agreement Ratio, $agr(n)$)： 衡量在极端提示词下选出的 Top-1 token 在无提示词分布中的排名。
- 若 $agr(n) $低（排名靠后），说明两种设置下模型行为差异大（通常是过度拒绝场景），应**减去**$ \Delta P_n$ 以抑制拒绝。
- 若 $agr(n) $高（排名靠前），说明两种设置下模型都倾向于拒绝（通常是恶意查询场景），应**加上**$ \Delta P_n$ 以增强安全性。
自适应置信度约束 (Adaptive Confidence Constraint)：
- 比较模型在无提示词下的最大概率 $\rho$ 与在极端提示词下的最大概率 $\rho^*$ 。
- 如果模型对拒绝响应的置信度不足（ $\rho < \lambda \cdot \rho^*$ ），则强制减去拒绝分布，促进非拒绝 token 的生成。

解码公式：
$P^*_\pi(y_n) = P_\pi(y_n) + \alpha \cdot I(n) \cdot \Delta P_n$
其中 $I(n)$ 根据上述条件决定为 $+1$ （增强安全）或 $-1$（缓解过度拒绝）。

4. 实验结果 (Results)

作者在 Llama3-8B, Gemma2-9B, Qwen3-8B 等模型上进行了广泛测试：

缓解过度拒绝： 在五个基准数据集（XSTest, ORBench, OKTest 等）上，AdaCD 平均将无害查询的拒绝率降低了 10.35%。
保持安全性： 在面对恶意查询（AdvBench, JailBench 等）时，AdaCD 不仅没有降低安全性，反而将平均拒绝率提高了 0.13%，有效防止了模型被越狱。
通用能力： 在通用可用性评估（Helpfulness, Engagement 等维度）中，AdaCD 表现优于基线方法，说明其并未损害模型的正常对话能力。
效率： 相比其他推理方法，AdaCD 仅增加了约 3% 的推理时间开销（ATGR），且无需预计算向量或微调模型，具有“即插即用”的优势。

5. 主要贡献 (Key Contributions)

现象发现： 揭示了过度拒绝场景下非拒绝 token 仍存在于候选列表但未被选中的现象，为无需训练的方法提供了理论依据。
提出 AdaCD 框架： 设计了一种自适应对比解码策略，能够根据查询类型动态调整拒绝 token 的分布，首次实现了在缓解过度拒绝的同时维持甚至增强模型安全性。
极端提示词提取： 提出利用极端安全提示词来解耦并提取纯粹的拒绝 token 分布，提高了分布提取的准确性。
实验验证： 在多个模型和基准测试中证明了该方法的有效性、通用性和高效性，且代码已开源。

6. 意义与影响 (Significance)

平衡安全与可用性： 解决了当前 LLM 安全对齐中“过度防御”导致可用性下降的痛点，为构建既安全又乐于助人的 AI 助手提供了新的技术路径。
低成本部署： 由于无需重新训练模型或修改架构，AdaCD 可以低成本地应用于现有的各种开源或闭源大模型，具有极高的实用价值。
方法论创新： 为基于解码策略（Decoding Strategy）的模型行为控制提供了新的思路，即通过动态调整 token 分布来适应不同的输入场景，而非静态地应用规则。

总结： 该论文提出了一种巧妙且高效的解码层干预方法，通过动态识别查询意图并自适应地调整拒绝概率分布，成功解决了大模型“因噎废食”的过度拒绝问题，同时守住了安全底线。