想象一下，你正在评判两名新保安中谁更擅长阻止入侵者。你设计了一项测试，向保安们发送一系列“棘手问题”，看看他们是否会不小心放坏人进来。
本文认为，目前我们测试大语言模型（LLM）安全性的方式，就像是用一个破碎、不一致且设计拙劣的测试来考核那些保安。由于测试本身存在缺陷，我们无法真正判断谁才是更优秀的保安，导致在提升 AI 安全性方面的进展陷入停滞。
以下是用简单类比对本文主要观点的拆解：
1. 测试题目太少且重复（数据集）
想象你在测试一名保安识别小偷的能力。你没有给他们展示 1,000 种不同类型的小偷，而只展示了50 张图片，其中 40 张看起来完全一样。
- 问题所在：本文指出，当前的安全测试使用的“恶意提示词”列表非常小（通常只有 100 到 500 个）。由于列表太小，结果充满了“噪声”（即随机运气）。如果你用另一组略有不同的 50 张图片测试同一位保安，得分可能会剧烈波动，导致无法判断他们是否真正安全。
- “子采样”问题：有时研究人员会从庞大的问题列表中只挑选一小部分随机样本进行测试。这就像老师仅凭 100 道题考试中的三道题来给学生打分。这使得很难公平地比较不同的学生，因为每个人参加的都是不同且微小的测试版本。
- “仅限英语”的盲点：大多数测试仅使用英语。但如果一名保安只会说英语，他可能会在西班牙语测试中失败。本文指出，安全知识往往随语言而变化，因此仅用英语测试会给人带来虚假的安全感。
2. 游戏规则令人困惑（算法）
想象两名保安正在接受测试，但其中一人被允许使用手电筒，而另一人则被迫在黑暗中工作。或者，一名保安使用运行过快的秒表进行测试，而另一人使用运行过慢的秒表。
- 隐藏设置：本文指出，测试执行方式中微小且不可见的细节会极大地改变结果。例如，计算机如何处理单词之间的“空格”，或者使用何种“聊天模板”，都可能使保安的成功率改变 14% 甚至更多。
- “目标”陷阱：许多攻击试图迫使 AI 说出特定的短语，如“当然，这里是……"，以证明其已突破防线。但如果 AI 被训练为回答“没问题！”而不是该短语，攻击就会失败。这并非因为 AI 是安全的，而是因为攻击者使用了错误的“钥匙”。这使得 AI 看起来比实际更安全。
- 不公平的比较：一些研究人员在测试其攻击方法时使用无限的计算能力，而另一些人则使用极少的计算能力。将它们进行比较，就像让一名专业运动员与一名拥有起跑优势的短跑选手进行比赛。
3. 裁判存在偏见且不一致（评估）
在保安回答完棘手问题后，一名“裁判”必须决定：“他们失败了吗？”
- 碎片化的陪审团：AI 安全领域没有单一的“最高法院”。一些研究人员使用一个 AI 来评判答案，另一些使用不同的 AI，还有一些使用人类。这些“裁判”经常彼此意见不一。对于完全相同的答案，一名裁判可能认为回复是安全的，而另一名则认为它是危险的。
- “贪婪”错误：大多数测试迫使 AI 给出最可能的单一答案（就像一个总是选择第一个想到的事物的机器人）。但在现实世界中，AI 就像一个人，可能会根据心情或询问次数的不同而说出不同的话。仅测试“最可能”的答案，会让我们错过 AI 在“思考”方式不同时可能意外说出危险内容的那些情况。
- “过度拒绝”盲点：一名优秀的保安不应只阻止坏人，也不应阻止好人。如果一名保安因为某人看起来可疑而拒绝让无害的人进入，这就被称为“过度拒绝”问题。本文指出，大多数测试忽略了这一点。它们只检查保安是否阻止了坏人，而不检查他们是否对好人过于刻薄。
“反对观点”（现状为何如此）
本文也听取了另一方的声音。一些研究人员认为：
- 小规模测试更便宜：大规模测试成本高昂且耗时。小规模测试让研究人员能够快速尝试新想法。
- 完美是不可能的：语言是混乱的。我们永远无法拥有一个能理解人类对话每一个细微差别的完美“裁判”。我们只能不断改进手头最好的工具。
- 进展依然会发生：即使测试混乱，该领域仍在向前发展。即使记分牌不完美，新想法仍会被发现。
解决方案：更好的规则手册
作者并非建议停止测试。他们表示，我们需要修复规则手册，让所有人遵循相同的规则。他们建议：
- 使用更大、更好的问题列表，以确保结果不仅仅是运气。
- 标准化设置，让每个人使用相同的“手电筒”和“秒表”。
- 使用多名裁判，并由人类对结果进行双重检查，以发现偏见。
- 测试双方：检查 AI 是否阻止了坏人，同时也检查它是否放行了好人。
简而言之：本文声称，目前我们正试图用一把不断改变自身长度的尺子来衡量 AI 的安全性。在修复这把尺子之前，我们无法确定我们是否真的取得了进展。
技术摘要：LLM 安全评估缺乏稳健性
问题陈述
本文指出，当前关于大语言模型（LLM）安全与对齐的研究，因不可靠的评估流程而受到严重阻碍。尽管模型能力取得了快速进步，但该领域仍受困于“交织的噪声源”，包括数据集规模过小、方法论不一致以及评估设置存在缺陷。这些问题阻碍了攻击与防御策略之间的公平比较，掩盖了真实的进展，并延缓了稳健安全措施的开发。作者将这一情况与计算机视觉对抗鲁棒性领域的历史困境相类比，指出在那一领域，有缺陷的评估产生了误导性的反馈，从而延缓了真正解决方案的问世。
方法论
作者对 LLM 安全评估流程进行了系统分析，将其分解为三个主要阶段：数据集构建、优化策略（算法）和响应评估。
- 数据集分析：本文考察了现有安全和过度拒绝数据集（如 AdvBench、XSTest、HarmBench）的规模、多样性和构成。研究应用统计建模（Clopper-Pearson 区间）来证明小样本量（通常为 100–500 个提示）所引入的不确定性。
- 算法案例研究：作者调查了引入偏差的具体实现细节，重点关注：
- 分词与空白字符：分析空白字符令牌（如 SentencePiece 下划线令牌）处理不当如何影响优化。
- 聊天模板与系统提示：比较不同模板配置（Meta 默认与 HuggingFace 默认）下的攻击成功率（ASR）。
- 量化与过滤：评估精度（BF16 与 Int8）和特殊令牌过滤对攻击有效性的影响。
- 评估生态系统分析：该研究比较了不同的“裁判”模型（例如 HarmBench 的 Llama-2-13B 分类器与 StrongREJECT 的 Gemma-2B 裁判）以及生成策略（贪婪解码与分布采样）。
- 统计验证：作者对近期高影响力论文（如 Guan 等人，2024）的公开结果进行 z 检验，以确定在所使用的数据集规模下，所报告的改进是否具有统计显著性。
主要贡献与发现
1. 数据集局限性
- 样本量过小：当前数据集通常太小（100–500 个提示），无法产生可靠的统计结果。作者证明，当 n=150 且成功率为 50% 时，成功概率的 95% 置信区间很宽（[0.417,0.583]），使得无法区分性能差异较小的方法。
- 碎片化与子采样：该领域依赖碎片化的数据集，研究人员常因计算资源限制而对其进行子采样。这导致了评估环境的不一致，复现结果需要在特定子集上重新实现基线，从而增加了工程成本。
- 缺乏多样性：数据集主要为单语（英语）、单轮次且重复性高。这造成了盲点，使得朴素攻击（例如过去时态攻击或翻译攻击）在更复杂、多轮次或多语言的实际场景中本应失败的情况下却能成功。
- 歧义性：许多数据集包含模糊的提示（例如在某些司法管辖区合法但在其他管辖区非法），这与普遍的伤害定义不一致，在比较不同开发者的模型时引入了噪声。
2. 算法不一致性
- 实现敏感性：微小的实现细节会极大地改变攻击成功率（ASR）。例如，作者发现，对空白字符令牌处理不当导致针对 Llama-2 的 GCG 攻击成功率降低了 28%。同样，更改聊天模板或量化级别导致针对 Llama-3.1 的同一攻击的 ASR 在 71% 到 85% 之间波动。
- 预算不一致：攻击很少在受控的计算预算下进行比较。某些方法通过使用过量的计算资源来最大化 ASR，而其他方法则在次优工作点进行评估，导致误导性的比较。
- 有偏的优化目标：大多数攻击针对僵化的目标字符串（例如"Sure, here..."）进行优化。如果模型的自然肯定回复与该模板不同，攻击看起来就不如其实际有效；或者，基于这些特定目标训练的防御在面对具有不同目标的自适应攻击时会失效。
3. 评估缺陷
- 贪婪解码偏差：贪婪解码的普遍使用未能捕捉 LLM 输出的分布特性。在贪婪生成下看似稳健的模型，在更现实的采样策略（例如温度设为 1）下可能会频繁产生有害内容。
- 裁判碎片化与偏差：自动化裁判生态系统是碎片化的。作者的大规模研究（520 万次生成）显示，不同的裁判（HarmBench 与 StrongREJECT）针对特定攻击的 ASR 分歧可达 25%，跨模型的分歧可达 24%。
- 缺乏人工验证：自动化裁判针对特定模型或防御的假阳性率（FPR）往往很高，导致结果过于乐观。作者表明，仅依赖自动化裁判可能导致将统计上不显著的声明报告为高度显著。
- 忽视权衡：防御措施很少全面报告安全与过度拒绝之间的权衡。许多防御在提高安全指标的同时，显著降低了模型回答良性提示的能力，这是一种常被忽视的关键失效模式。
结果与证据
- 统计显著性：对 Guan 等人（2024）的重新分析显示，虽然其内部结果是稳健的，但仅凭公共数据集的结果在 α=0.05 水平上对于过度拒绝的改进并不具有统计显著性，突显了依赖小型公共基准的风险。
- 实现影响：实验表明，标准化聊天模板和令牌过滤可将 ASR 改变高达 14%。不正确的空白字符处理导致 ASR 下降了 28%。
- 裁判差异：在 520 万次生成上比较两个流行的裁判发现，其中一个裁判（StrongREJECT）报告的 ASR 始终低于另一个（HarmBench），但差异幅度随具体攻击和受害模型的不同而剧烈变化，这使跨论文比较变得复杂。
意义与主张
本文认为，由于这些评估缺陷，LLM 安全领域目前无法生成易于比较的结果或取得可衡量的进展。作者主张，解决这些问题不仅仅是技术上的完善，而是该领域科学严谨性的先决条件。
核心建议：
- 数据集：优先采用更大规模、高质量的基准测试，避免临时的子采样。如果必须进行子采样，请使用一致且预定义的划分（例如，在全基准测试之外使用开发集划分）。
- 实现：标准化并记录关键细节，如量化、分词、聊天模板和空白字符处理。
- 公平比较：控制攻击的努力程度（计算预算）或成功率。防御措施必须一致地报告安全和过度拒绝指标。
- 评估：从贪婪生成转向分布评估。使用多个裁判模型，并包含人工验证以检测特定裁判的偏差。
- 激励机制：审稿人和会议组织者必须将这些可复现性要求编入强制性指南，以确保作者遵守最佳实践。
本文总结道，虽然不完善的基准测试历史上曾允许其他机器学习领域取得进展，但 LLM 安全独特的复杂性和高风险要求一个更严谨、透明和标准化的评估流程，以确保安全声明是稳健且可靠的。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。