Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

技术摘要：衡量与缓解多语言刑事法庭中大语言模型的过度对齐问题

问题陈述
大语言模型（LLMs）在法律领域（特别是刑事法庭）的部署面临一种特定的失效模式，这种模式不同于一般的幻觉或偏见，即：过度对齐（over-alignment）。虽然法院利用 LLMs 处理翻译和总结敏感法律文件等高风险任务，但标准的安全性对齐机制在处理涉及暴力或性犯罪的正当案件文件时，往往会触发不当的拒绝行为或未经请求的内容警告（免责声明）。

在瑞士联邦最高法院的背景下，法官助理经常需要处理涉及性虐待和暴力的详细描述，这些安全触发机制损害了正当的工作流程。现有的过度拒绝基准测试（如 XSTest、OR-Bench）并不适用，因为它们：

1. 侧重于与法律工作无关的仅限英语的对抗性提示词。
2. 仅衡量“硬拒绝”（hard refusals），忽略了“软”过度对齐，即模型完成了任务但附加了说教式的免责声明。
3. 未能考虑到法律体系的多语言特性（法语、德语、意大利语、英语）以及语言组合如何影响安全触发。

方法论：TF-RefusalBench
为了解决这些差距，作者引入了 TF-RefusalBench，这是一个源自 100 段敏感的瑞士联邦最高法院判决书摘录的多语言基准测试。

• 数据构建：

  • 来源： 从 16,000 份公开刑事判决书中，筛选出包含 LDNOOBW 列表（淫秽/暴力词汇）且长度大于 1,000 字符的段落。
  • 严重程度选择： 由一个由三名多样化 LLM 评审组成的专家组进行成对比较，按内容严重程度（图形化细节、暴力、剥削）对摘录进行排序。最终选择了前 100 个最严重的摘录，导致数据集中有 89% 的内容涉及性犯罪/未成年人，11% 涉及肢体暴力。
  • 增强： 为了平衡语言分布（原为 71 德语，29 法语），使用具有较弱安全限制的模型（Grok-4.3）生成了合成翻译，以创建法语、德语、意大利语和英语的平行语料库。
  • 提示词生成： 从 400 个源段落中，通过改变任务（翻译 vs. 总结）和语言槽位（源语言 $S$、目标语言 $T$ 和指令语言 $P$），为每个段落生成了 13 个提示词变体。这产生了 5,200 个唯一的提示词（通过 3 次重复，共计 15,600 个查询）。

• 评估指标：

  • 拒绝（Refusal）： 模型是否出于伦理/内容原因拒绝执行任务？
  • 免责声明（Disclaimer）： 模型在完成任务的同时，是否附加了警告或限制性说明？
  • 评审（Judging）： 三个不同的 LLM 评审员（MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash）通过多数投票对输出进行评分。评审员之间在拒绝判定上的符合度很高 ($\kappa \approx 0.98$)，在免责声明判定上具有实质性一致性 ($\kappa \approx 0.75\text{--}0.80$)。

关键结果
本研究评估了五种开源权重模型（Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4），并揭示了过度对齐是多维且具有模型特异性的：

1. 超越拒绝： 仅关注拒绝率是不够的。虽然 Qwen3 显示为 0% 的拒绝率和免责声明率，但 Gemma 4 和 Apertus 很少拒绝，却在高达 25.5% 和 20.4% 的输出中添加了免责声明。
2. 语言不对称性： 安全触发高度依赖于输出语言。例如，Llama 在生成法语时的拒绝率（13.6%）远高于德语（1.9%）；而 Gemma 的免责声明率在英语中达到峰值（41.2%）。这表明安全微调在不同语言之间的应用是不均匀的。
3. 提示词-语言一致性： 使用与敏感源文本相同的语言进行指令（一致性）会显著增加拒绝率，相比之下，使用目标语言（不一致性）则不会。对于 Llama，一致性指令使拒绝概率增加了 1.6 倍；对于 GPT-OSS，增加了 2.6 倍。
4. 随机性： 过度对齐并非确定性的。方差分解显示，约 27% 的拒绝/免责行为差异是由采样随机性引起的，这意味着相同的提示词在多次运行中可能产生不同的结果。

缓解策略
论文研究了两种缓解 Llama 3.3-70B 模型过度对齐的方法：

1. 系统提示词（System Prompting）：

   • 一个将用户识别为“法院助手”的简短系统提示词将拒绝率降低了一半。
   • “授权”提示词（明确允许敏感内容）在抑制免责声明方面比抑制拒绝更有效。
   • 使系统提示词语言与请求语言匹配，进一步降低了拒绝率。

2. 消融化（Abliteration）：

   • 作者应用了消融化技术（通过正交化移除模型激活中的拒绝方向），使用了 Heretic 实现。
   • 有效性： 该方法完全消除了拒绝（从 6.8% 降至 0%），并减少了免责声明（从 7.9% 降至 5.1%）。
   • 代价： 虽然任务质量（忠实度）几乎保持不变（在 5 分制量表上下降 <0.1），但该干预显著增加了对有害请求的脆弱性。在 HarmBench 上，攻击成功率从 14.5% 上升到 55.5%，TruthfulQA 得分下降了 7.1 分。

意义与主张
论文声称，在法律语境下的过度对齐是一种独特的、可衡量的现象，无法通过标准的仅限英语的拒绝基准来解决。其主要贡献包括：

• TF-RefusalBench： 一个受限访问的基准测试，旨在诊断模型在多种语言下处理合法、敏感法律工作的行为。
• 诊断洞察： 证明了“软”过度对齐（免责声明）对法律工作流的损害程度与“硬”拒绝相当，并且对语言组合高度敏感。
• 实际缓解方案： 表明虽然系统提示词提供了部分缓解，但消融化是消除拒绝的最有效方法，前提是机构接受其降低通用安全性能力的权衡。

作者强调，他们的方法是针对瑞士联邦最高法院这一特定机构背景的，即在受控的本地部署环境中，管理安全性与处理合法刑事法律文件能力之间的权衡。他们并不声称这些方法在公共部署中是普遍安全的，而是认为对于刑事法律中高风险的 LLM 应用效用而言，这些方法是必要的。