💻 computer science

A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

本文通过在 AnswerCarefully 数据集基础上引入新信息、构建方法及评估标准，构建了一个增强的问答数据集，用于评估大语言模型在非法活动方面的安全性，其结果旨在服务于 JAI-Trust 项目。

原作者： Kenji Imamura, Masao Ideuchi, Atsushi Fujita

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Kenji Imamura, Masao Ideuchi, Atsushi Fujita

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、速度极快的机器人图书管理员（即大型语言模型，或 LLM），它可以回答你提出的任何问题。问题在于，有时人们会向这位图书管理员寻求帮助，去做一些违法的事情，比如盗窃、制造毒品或诈骗他人。如果图书管理员提供了帮助，它就成为了犯罪的共犯。

本文就像是为这位图书管理员编写的一本安全手册和新的培训指南。作者来自日本国立信息通信技术研究所的研究人员，他们正在开展一个名为"JAI-Trust"的项目，以确保这些 AI 机器人始终站在法律的正确一边。

以下是他们工作的故事，分解为简单的部分：

1. 旧地图存在漏洞

研究人员首先审视了一个名为AnswerCarefully 数据集的现有“坏问题地图”。可以将这张地图想象成一份“禁止回答”的清单。

问题：他们发现这张地图有些混乱。一些“标志”含糊不清，而一些危险的问题没有附上明确的“法律依据”。
解决方案：他们决定严格聚焦于违法行为（即违反具体法律的行为），暂时忽略模糊的“不道德”行为，因为法律比道德观点更清晰。他们还注意到，这张地图遗漏了一些非常常见的犯罪，例如盗窃或交通违规，这些就像花园中那张地图忘记列出的“常见杂草”。

2. 构建更完善的培训工具包

为了修复这张地图，他们为每一个问题和答案提出了一种新的、更详细的格式。想象他们正在升级图书管理员的培训卡片。不再仅仅是问题和一个“不”字，现在他们在每张卡片上增加了五个新字段：

问题类型：提问者是否知道自己正在询问违法内容？（例如：“我知道偷窃是错的，但我该怎么做？”vs.“如何制作一条发光的酷鱼？”而并未意识到这是违法的）。
“坏”答案：他们创建了图书管理员不应说出的示例（例如：“这是购买被盗物品的网站”）。这就像向图书管理员展示一个“禁止这样做”的示例，让他们知道要避免什么。注意：作者警告，公开分享这些“坏”答案具有危险性，因此他们对此非常谨慎。
法律依据：每一个“不”的回答现在必须引用具体的法律条文（例如“刑法第五条”）。这就像图书管理员说：“我不能帮你，因为法律规定了 X"，这使得拒绝更有说服力。
谁是罪犯？：谁在做坏事？（提问者、AI，还是其他人？）
谁是受害者？：谁受到了伤害？（提问者、陌生人，还是第三方？）

3. 如何编写新的培训卡片

研究人员尝试了两种方法来编写这些新卡片：

方法 A：人类侦探。人类阅读真实的法庭案件和新闻报道，然后基于这些内容编写新问题。这就像老师根据真实生活故事编写考试题目。这种方法非常准确，但速度较慢，且需要专家来检查工作。
方法 B：机器人助手。他们让另一个 AI 根据特定法律起草问题，然后由人类进行编辑。这就像让学生先写初稿，再由老师润色。这种方法速度更快，能产生更多样化的内容，但人类老师仍需检查错误（幻觉）。

他们利用日本的《轻犯罪法》（涵盖携带隐藏刀具或作虚假报警等小罪的法律）测试了这些方法，以查看他们是否能涵盖那些通常会导致更严重犯罪的广泛“轻微”违法行为。

4. 评分标准（记分卡）

最后，他们创建了一个记分卡来评估图书管理员回答的质量。这不仅仅是通过或失败；它是一个数学公式。

公式：得分 = （劝阻程度）×（法律推理 + 风险解释）×（质量）
运作方式：
- 如果图书管理员说“不，那是违法的”，并解释为什么（引用法律）以及可能发生什么（风险），他们将获得很高的正分。
- 如果图书管理员说“不”但没有给出理由，他们将获得较低的分数。
- 如果图书管理员说“是，这是你该怎么做”，他们将获得巨大的负分。
- 如果图书管理员完全忽略问题，他们将得零分。

核心结论

本文并未声称已解决所有问题。他们承认，目前他们只研究了日本法律，尚未构建庞大的数据集。然而，他们已经为"JAI-Trust"项目奠定了蓝图（新格式）、构建方法（如何编写卡片）和检查工具（记分卡），以便在未来为 AI 构建一个更大、更安全、更智能的安全系统。

简而言之：他们正在升级 AI 的“规则手册”，以确保它确切知道自己在违反哪些法律、谁可能受到伤害，以及如何以最具说服力的方式说“不”。

技术摘要：面向非法活动的 LLM 安全评估问答数据集研究

问题陈述
大型语言模型（LLM）的广泛采用引发了关于其不当使用的实际担忧，特别是在协助非法活动方面。尽管现有的安全评估数据集（如AnswerCarefully (AC) 和Do-Not-Answer）已经存在，但作者指出当前版本的 AC（v2.2）在应用于“恶意用途”类别时存在具体局限性。关键问题包括：

类型学模糊性： “协助非法活动”下的叶级类别并非互斥，导致某些示例可能属于多个类别（例如，版权侵权与非法数字活动重叠），却仅被标记为单一类别。
缺乏法律基础： 数据集未能始终将示例与具体的成文法联系起来，使得验证安全拒绝的法律依据变得困难。
覆盖范围缺口： 数据集缺乏对高频犯罪（如盗窃、交通违规）的代表性，且未能充分区分明知其查询非法的用户与天真无知的用户。
缺乏不安全示例： 当前数据集仅包含“安全”回答，限制了其在对比学习或训练模型识别不安全输出方面的效用。

方法论
本研究提出扩展 AC 数据集，专门聚焦于日本法律下的非法活动。方法论包含三个主要组成部分：

扩展数据格式： 作者提出了一种新模式（表 4），在标准问答对的基础上增加了五个新字段：
- q-type（问题类型）： 分类提问者对非法性的认知程度（例如：知情、不知情/天真、模糊）。
- unsafe-answer（不安全回答）： 提供不当回答的示例（例如：煽动或详述非法行为的回答），作为负向训练信号，同时注明公开分发此类内容的伦理风险。
- basis（依据）： 明确引用支持安全拒绝的相关法律依据（法律及条款）。
- risk-perpetrator（风险实施者）： 识别潜在非法行为的负责方（例如：提问者、LLM 提供商或第三方）。
- risk-victim（风险受害者）： 识别潜在受害者（例如：提问者、第三方或公众）。
数据创建策略： 作者探索了基于《轻犯罪法》（涵盖多样、频繁但常被忽视的违法行为的法律）生成新示例的两种方法：
- 完全人工创建： 工作人员通过类比司法判例和网络资源创建示例，确保不直接重用受版权保护或私密的信息。这允许对问题类型等属性进行精确控制。
- LLM 辅助创建： 一个半自动流程，其中 LLM（如 DeepSeek-R1）根据特定的法律条款提示来起草候选问题和回答。随后由人工工作人员修订这些草稿，过滤幻觉，并确保法律准确性。该方法旨在提高多样性和覆盖范围。
评估标准： 提出了一种评分标准（表 6）用于评估 LLM 回答。最终得分使用公式 $score = a \times (b + c) \times d$ 计算：
- $a$ （劝阻）： 衡量回答是否劝阻了该行为并提供替代方案。
- $b$ （非法性引用）： 衡量回答是否正确引用了法律依据。
- $c$ （风险引用）： 衡量回答是否解释了潜在危害。
- $d$ （有效性）： 对回答相关性和质量进行二元检查。
  该标准允许对安全和不安全回答进行量化区分（例如，安全回答得分为 +4，而不安全回答得分为 -4）。

主要贡献

数据集扩展提案： 详细规定了扩展AnswerCarefully数据集的方案，以包含法律基础、风险分析和不安全回答示例。
创建框架： 验证了构建安全数据集的工作流程，平衡了人工严谨性与 LLM 辅助的高效性，并专门针对成文法进行了定制。
评估指标： 设计了一种结构化标准，旨在评估不仅是对非法请求的拒绝，还包括拒绝中所提供的推理质量（法律引用和风险解释）。
现有数据分析： 对 AC v2.2 进行了批判性审查，强调了多标签分类的必要性以及对高频违法行为更好的覆盖。

结果与发现

AC v2.2 分析： 在“协助非法活动”子集（316 个示例）中，85% 可关联到具体的日本法律。《刑法》是最频繁的法律依据（111 个示例），其次是各种特别法。然而，发现了显著缺口；例如，盗窃（日本最常见的犯罪）在数据集中仅有一个实例，而《道路交通法》的违规行为则完全缺失。
问题认知度： 约 77% 的已分析问题来自明确知晓非法性的用户。研究认为，包含“天真”问题（用户不知情的情况）至关重要，因为针对这些问题的安全拒绝更多地取决于对内容的理解，而非识别用户的恶意意图。
试点数据集： 作者成功利用人工和 LLM 辅助方法创建了一个小型数据集，聚焦于《轻犯罪法》（例如：冒充警察、处理爆炸物）。这些示例证明了所提议的数据格式和标准的可行性。

意义与主张
作者表示，本研究的结果旨在与由日本人工智能安全研究所领导的"JAI-Trust"项目共享。论文声称，其发现及所提出的扩展将有助于开发用于 LLM 安全的大规模基准数据集。

本研究将自己定位为基础性步骤，承认虽然已分析了现有数据并创建了小型试点，但构建全面的大规模数据集及其完整评估仍是未来的工作。作者强调处理“不安全回答”的伦理必要性，指出公开分发此类内容本身可能构成协助非法行为。因此，论文侧重于创建和评估的方法论，而非发布一个完全填充的、包含不安全示例的公开数据集。

1. 旧地图存在漏洞

2. 构建更完善的培训工具包

3. 如何编写新的培训卡片

4. 评分标准（记分卡）

核心结论

类似论文