Measuring and Eliminating Refusals in Military Large Language Models

该论文针对军事大语言模型因安全机制导致合法查询被过度拒绝的问题，构建了首个由美军专家开发的评估基准，通过测试 31 个公开模型和 3 个军事模型揭示了极高的拒绝率，并利用 Heretic 库对特定模型进行去安全化微调以显著提升回答率，最终主张通过深度专业化训练实现军事场景下的零拒绝与最高任务准确率。

要点

这篇论文就像是一份**“军事 AI 的体检报告”和“手术方案”**。

想象一下，你给军队配备了一位超级聪明的AI 参谋（大语言模型）。这位参谋博览群书，无所不知。但是，现在的 AI 都有一个“过度保护”的毛病：它们被训练得过于谨慎，生怕说错话惹麻烦。

1. 核心问题：AI 的“过度保护症”

在民用领域，AI 拒绝回答危险问题（比如“怎么制造炸弹”）是好事，这叫安全对齐。

但在战场上，情况完全不同。

• 场景：一名士兵问 AI：“这种恐怖组织的战术弱点是什么？”或者“如何防御这种电子干扰？”
• 现状：普通的 AI 会像被吓到的孩子一样，立刻捂住耳朵说：“对不起，我不能回答涉及暴力或军事的问题。”
• 后果：在分秒必争的战场上，这种“拒绝”不是安全，而是失职。它可能导致士兵失去先机，甚至牺牲。

这篇论文的作者们（很多是美军老兵）发现，现有的 AI 对军事问题的拒绝率高达 98%！也就是说，士兵问 100 个问题，AI 有 98 个都会说“不”。

2. 他们做了什么？（三个步骤）

第一步：制造“试金石”（建立基准数据集）

为了测试 AI 到底有多“胆小”，作者们没有用电脑随机生成问题，而是请了美国陆军特种部队老兵，像写考题一样，手动编写了 221 个真实的军事问题。

• 比喻：这就好比为了测试一个保镖是否合格，不是让他背书本，而是让他面对真实的刺客（当然是在模拟环境中）。
• 他们还用 AI 生成了更多变体问题，凑成了三个不同难度的测试集（金、银、铜牌），用来全面测试 AI 的反应。

第二步：给 AI 做“大考”（基准测试）

他们把 31 个市面上最火的 AI 模型（包括 GPT-5、Claude、Llama 等）和 3 个专门针对军事微调的模型，扔进这个测试集里。

• 结果令人震惊：
  • 大多数通用 AI 模型，面对军事问题就像遇到红灯就死机的汽车，拒绝率极高。
  • 有些模型甚至直接“死机”（返回空白），或者顾左右而言他（打太极），就是不正面回答。
  • 即使是号称最强的模型，在涉及“暴力”、“武器”等关键词时，也会瞬间“断片”。

第三步：尝试“动手术”（Abliteration/去敏化）

既然 AI 太胆小，能不能给它“动手术”，把那个“拒绝回答”的开关关掉？
作者使用了一种叫**“方向性消融”（Abliteration）**的技术。

• 比喻：想象 AI 的大脑里有一条“安全神经”，每当遇到敏感词，这条神经就会通电，让 AI 停止说话。作者们用一种特殊的“手术刀”（Heretic 库），切断了这条神经的特定连接，或者把它的信号调弱。
• 效果：
  • 成功：经过“手术”的 AI，拒绝回答的次数大幅减少，回答率从 3% 飙升到了 90% 以上！它终于敢开口说话了。
  • 代价：但是，手术有副作用。就像给赛车拆掉了限速器，虽然跑得快了，但操控性变差了。AI 在回答其他普通军事任务（如后勤、医疗）时，准确率下降了约 2% 到 30% 不等。如果要把拒绝率降到几乎为零，AI 的智商可能会下降得更多。

3. 核心结论与未来建议

作者们最后总结道：

• 短期方案：用“手术”（Abliteration）可以暂时解决 AI 不敢说话的问题，但这就像给汽车拆掉限速器，虽然能跑，但容易失控，且会牺牲一部分智能。
• 长期方案：不要试图给通用 AI 做“去敏手术”，而是应该从一开始就专门培养一个“军事专用 AI"。
  • 比喻：与其把一只温顺的宠物狗（通用 AI）强行训练成警犬（还要切除它的温顺基因），不如直接从小培养一只专门的警犬。
  • 这意味着，未来的军事 AI 应该在训练阶段就完全剔除那些导致它拒绝回答的“安全数据”，让它从出生起就明白：在军事语境下，提供准确信息就是最大的安全。

一句话总结

这篇论文告诉我们：现在的 AI 太“政治正确”了，在战场上不敢说话。虽然可以通过“动手术”强行让它开口，但这会伤及它的智商。最好的办法是重新培养一个专门为战争设计的 AI 专家，让它天生就懂得如何在危险中提供准确的情报，而不是在安全问题上过度敏感。

技术摘要

论文技术总结：测量与消除军事大语言模型中的拒绝行为

论文标题：Measuring and Eliminating Refusals in Military Large Language Models
作者：Jack FitzGerald 等人 (EdgeRunner AI)
核心领域：大语言模型 (LLM)、军事应用、安全对齐、模型编辑 (Abliteration)

1. 研究背景与问题定义

背景

大型语言模型 (LLM) 在军事领域的应用至关重要，需要在时间紧迫和危险的环境中为作战人员提供准确信息。然而，当前的 LLM 普遍经过严格的安全对齐训练（Safety Alignment），旨在防止生成暴力、恐怖主义或敏感军事技术相关内容。

核心问题

这种通用的“安全行为”导致模型在面对合法的军事查询时产生过度拒绝 (Over-refusal)。

• 现象：当作战人员询问关于战术、武器系统、反恐策略或军事技术的问题时，模型往往因为触发安全策略而拒绝回答，或者进行软性回避（Deflection）。
• 后果：在军事任务中，这种拒绝可能阻碍任务执行，甚至危及人员安全。
• 现状：目前缺乏专门针对军事领域拒绝率的基准测试数据集，且缺乏系统性的方法来量化和解决这一问题。

2. 方法论

2.1 构建军事拒绝基准数据集 (Military Refusal Benchmarks)

作者团队开发了三个新的数据集，由美国陆军退伍军人和特种部队成员参与构建：

1. MIL-DEFLECT-GOLD-ALPHA (金标准)：

   • 构建方式：完全由人类专家（包括 20 年特种部队经验的退伍军人）从零开始编写，无 AI 辅助。
   • 特点：包含 221 个样本，涵盖各种军事任务、领域和层级。这是最可信的基准，但规模较小。
   • 内容：真实的作战人员可能提出的、通常会被 AI 视为不安全但实际上合法的查询。

2. MIL-DEFLECT-BRONZE-ALPHA (青铜版 Alpha)：

   • 构建方式：使用 gpt-oss-120b 模型，基于 62 个军事类别（如“地理空间情报”、“无人机群协调”）生成合成数据。
   • 特点：包含 1,047 个样本。虽然部分问题不够真实或过于简单，但作为代理数据集（Proxy）与金标准有较好的相关性。

3. MIL-DEFLECT-BRONZE-BRAVO (青铜版 Bravo)：

   • 构建方式：以金标准数据为种子，使用 Llama 3.3 70B、Gemma 3 27B 和 Phi 3.5 MoE 三个模型生成变体，并通过模型评分筛选出 1,500 个高质量样本。
   • 特点：风格和内容更多样化，与金标准的相关性极高（Pearson 相关系数 > 0.9）。

2.2 评估指标与分类

在推理后，通过两阶段方法评估模型响应：

1. 拒绝标记匹配：检测如 "I can't", "I'm unable", "Safety reasons" 等关键词。
2. 模型法官 (Judge Model)：使用经过微调的 Selene 1 (基于 Llama 3.3 70B) 对响应进行分类：
   • 拒绝 (Refuse)：明确因安全/政策原因拒绝回答。
   • 回避 (Deflect)：未直接拒绝但未回答问题（如提供泛泛而谈的回复或转移话题）。
   • 缺乏信息 (Lacks Info)：因知识不足而非安全问题拒绝。
   • 无效 (Invalid)：无输出（通常由运行时护栏导致）。

2.3 消除拒绝的方法：Abliteration (定向消融)

为了测试消除拒绝是否可行，作者对军事微调模型 EdgeRunner 20B (基于 gpt-oss-20b) 进行了 Abliteration（定向神经激活消融）：

• 原理：利用 Heretic 库，计算有害提示 (Harmful) 和无害提示 (Harmless) 在 Transformer 层激活向量上的差异均值向量。
• 操作：将该方向向量投影到残差流中，修改输出矩阵，从而抑制模型产生拒绝行为的神经路径。
• 目标：在不引入新的安全数据的情况下，通过修改模型权重来“移除”拒绝行为。

3. 关键结果

3.1 基准测试表现 (31 个通用模型 + 3 个军事模型)

• 拒绝率差异巨大：不同模型的拒绝率差异显著。
  • 高拒绝率：Nova 2 Lite 在 Gold 数据集上的硬拒绝率高达 98.2%；GPT 5 Nano 为 97.3%。
  • 低拒绝率：Deepseek R1 在 Gold 数据集上的回答率最高 (66.7%，即拒绝率约 33%)。
• 回避行为：部分模型（如 Claude 4.5 Opus）倾向于“软回避”而非直接拒绝，比例约为 1:3.5。
• 军事模型表现：
  • 原始 EdgeRunner 20B 拒绝率极高 (Gold 数据集拒绝率 96.7%)。
  • 经过 Abliteration 后的 EdgeRunner 20B Abl 回答率提升至 69.5% (拒绝率降至 29%)。

3.2 数据集相关性

• Bronze 数据集的有效性：MIL-DEFLECT-BRONZE-BRAVO 与金标准数据集在“拒绝”、“回避”和“回答”类别上表现出极强的相关性 (>0.9)，证明合成数据可作为有效的评估代理。
• 缺乏信息类别：Bronze Alpha 中由于包含大量无法回答的问题（如缺少关键上下文），导致“缺乏信息”类别与金标准的相关性较低 (0.30)。

3.3 Abliteration 的效果与代价

• 拒绝率降低：对 EdgeRunner 20B 进行 Abliteration 后，在 Gold 数据集上的回答率从 3.0% 提升至 69.5% (绝对提升 66.5 个百分点)。
• 任务性能回归 (Regression)：
  • 军事任务：为了达到 93% 的回答率，军事任务性能平均下降约 14%。
  • 通用任务：通用任务性能平均下降约 5.6%。
  • 极端情况：若追求 100% 回答率，任务性能回归可能高达 10%-30%，这在军事应用中是不可接受的。
• 结论：Abliteration 可以作为减少拒绝的临时解决方案 (Stopgap)，但无法在保持高任务准确性的同时完全消除拒绝。

4. 主要贡献

1. 首个军事拒绝基准：发布了三个军事领域的 LLM 拒绝测量数据集和基准（Gold, Bronze Alpha, Bronze Bravo），其中 Gold 数据集由退伍军人手工构建，填补了该领域的空白。
2. 大规模模型评估：对 31 个主流通用模型和 3 个军事专用模型进行了系统的拒绝率评估，揭示了当前模型在军事场景下的严重过度拒绝问题。
3. Abliteration 实证研究：首次将定向消融技术应用于军事 LLM，量化了消除拒绝行为与保持任务性能之间的权衡（Trade-off）。
4. 方法论建议：证明了合成数据（Bronze 数据集）在特定类别下可作为金标准的有效代理，降低了评估成本。

5. 意义与结论

• 安全对齐的局限性：通用的安全对齐策略（Safety Alignment）对于军事任务往往是有害的，因为它阻碍了合法信息的获取。
• 短期方案：Abliteration 等技术可以有效降低拒绝率，但会牺牲模型的核心任务能力。它适合作为过渡方案，但无法达到“零拒绝且高准确率”的理想状态。
• 长期方案：作者主张从头设计 (Ground-up Design) 专用的军事 LLM。
  • 需要在中期训练 (Mid-training) 和端到端后训练 (End-to-end Post-training) 阶段，完全避免引入通用的安全对齐数据。
  • 通过专门针对军事任务的数据进行训练，实现真正的“零拒绝”和“最大任务准确率”，同时确保模型仅在封闭的军事环境中部署，以保障国家安全。
• 伦理与安全：研究强调，移除安全行为的工作必须在严格的安全控制下进行，防止模型被滥用，且应仅限于受过训练的军事人员使用。

总结：该论文揭示了当前通用 LLM 在军事应用中的“安全”反而成为“障碍”的悖论，提供了测量工具，并指出单纯的技术修补（如消融）不足以解决问题，最终需要构建专门化的、去除了通用安全约束的军事专用模型。