🤖 AI

Efficient Safety Benchmarking via Item Response Theory

本文表明，将项目反应理论应用于安全基准测试，能够通过恢复可解释的能力估计，并利用自适应或固定项目选择策略，在保持高排名准确度的同时，将计算成本降低高达 99.9%，从而实现对语言模型的高效评估。

原作者： Fabio Spagliardi, Mírian Silva, Ayan Datta, Aiden Zhou, Vamshi Bonagiri, Diogo Cruz

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabio Spagliardi, Mírian Silva, Ayan Datta, Aiden Zhou, Vamshi Bonagiri, Diogo Cruz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图给一群学生（AI 模型）评定“安全性”等级的老师。传统做法是给每个学生完全相同的 5,000 道题目的考试。你统计他们答对了多少题，以此作为他们的分数。

问题在于：这极其昂贵且浪费。

“天花板”问题： 许多顶尖的学生在简单的题目上能拿到 99% 或 100% 的正确率。如果每个人在前 4,000 道题上都拿到了满分，你就无法分辨出谁才是真正最“安全”的。你需要通过难题来区分差异，但如果你一直在问那些简单的题目，就是在浪费时间。
“一刀切”问题： 有些题目很难区分学生（所有人要么全对，要么全错），而另一些题目则非常擅长识别优秀学生与卓越学生之间的区别。把每一道题都视为同等重要，就像是用大锤去砸坚果一样，大材小用。

这篇论文提出了一种更聪明的方法来评分，使用了被称为**项目反应理论（IRT）**的方法。把它想象成一个“测试 GPS”。

核心理念：智能 GPS

这种方法不是给每个人提供相同的地图，而是像一个根据你的位置自动调整路线的 GPS。

地图（基准）： 研究人员研究了六种不同的“地图”（安全基准），其中包含了数千个关于有害请求、越狱攻击和危险知识的问题。
校准： 首先，他们分析了这些题目，以观察哪些题目是“难”的（大多数模型都会失败），以及哪些题目具有“区分度”（即非常擅长区分安全模型与有风险的模型）。
自适应路线（动态测试）： 想象一个测试会向你提问。如果你回答正确，下一题会变得更难；如果你回答错误，题目会变得更容易。系统只会询问那些难度恰好符合你当前水平的问题，从而精准判断你的实际水平。
- 结果： 他们发现，对于某些基准测试，他们可以将所需问题的数量减少 99.9%（从 5,000 道减至仅 6 道），且依然能得到完全相同的模型安全性排名。
静态路线（速记表）： 有时，你并不想为每个学生定制专属路线，而是想要一个适用于所有人的简短标准测试。研究人员还创建了一个“固定子集”，即精选的最佳题目。
- 结果： 他们发现，即使使用一份极小的、预先选定的题目清单，在对任何模型进行测试时，依然能产生与完整的 5,000 道题考试完全相同的排名。这节省了高达 99.8% 的精力。

为什么这很重要（“那又怎样？”）

该论文声称，通过使用这些心理学测试方法（IRT），我们可以停止浪费金钱和计算能力。

效率： 我们不再需要运行成千上万次昂贵的测试，而是可以只运行极小的一部分。
精准度： 它有助于区分那些在标准得分上看起来几乎一致的模型（例如，两者的安全性得分都是 99%），通过找到那些能将它们区分开来的特定难题。
成本： 它将一个庞大、昂贵的评估过程转变为一个快速且廉价的过程，让开发者能够更频繁地测试安全性。

局限性（代价）

论文指出，这种方法在题目难度差异较大时效果最好。如果测试过于简单或过于统一（即所有人的得分都一样），那么这个“智能 GPS”就没有太多的操作空间。此外，这种方法最适合随时间进行的重复测试，而不一定适用于设置过程可能过长的单次测试。

简而言之： 论文认为，我们不需要向每个 AI 询问每一个问题就能知道它有多安全。通过以正确的顺序询问正确的问题，我们可以节省几乎所有的精力，同时获得相同（甚至更好）的结果。

技术摘要：通过项目反应理论实现高效的安全基准测试

问题陈述

当前的语言大模型（LLM）安全基准测试依赖于静态评估范式，即每个模型都必须针对同一组固定的项目进行测试。这种方法假设所有项目对所有模型都具有同等的解释力，但这一假设忽略了安全项目的异质性以及模型能力的差异。因此，全量基准测试需要巨大的计算资源（通常达 $\sim 10^5$ 次响应），然而其中很大一部分响应几乎不提供排名信号，因为模型在某些特定项目上要么普遍通过，要么普遍失败。只有在模型表现出现分歧的项目上，才携带区分安全性能的有意义信息。这种低效现象掩盖了模型之间细微的差异（特别是在安全得分接近天花板，如 >0.95 时），并浪费了评估预算。

方法论

作者将**项目反应理论（IRT）和计算机化自适应测试（CAT）**从能力评估领域迁移到了安全领域。核心方法论包括：

IRT 模型（2PL）： 作者将二参数逻辑（2PL）IRT 模型拟合到安全基准测试中。与 1PL（Rasch）模型不同，2PL 模型估计两个项目参数：
- 难度 ( $b_j$ )： 模型有 50% 概率做出安全响应时的潜在能力水平。
- 区分度 ( $a_j$ )： 该项目在多大程度上能锐利地区分不同安全能力的模型。
- 潜在能力 ( $\theta_m$ )： 通过最大后验（MAP）估计得到的模型单维潜在安全能力的估计值。
自适应项目选择（流体基准测试）： 基于流体基准测试（Fluid Benchmarking）框架，作者实现了一个动态选择循环（算法 1）。对于每个模型，根据**最大费舍尔信息量（Maximum Fisher Information, MFI）**顺序选择项目。该算法选择能使关于模型当前能力估计值 ( $\hat{\theta}$ ) 的信息增益最大化的项目，从而减少冗余，并将评估重点放在模型不确定或易于失败的区域。
静态子集选择： 为了提供一种适用于所有模型的、可重复使用的更具信息量的固定项目集作为替代方案，作者提出了几种方法：
- 总费舍尔信息量（Total Fisher Information）： 根据所有训练模型中费舍尔信息量的总和对项目进行排序。
- 边际费舍尔信息量（Marginal Fisher Information）： 通过贪婪算法选择能使所有训练模型能力估计的标准误之和最小化的项目。
- 边际费舍尔（b-四分位数约束）（Marginal Fisher (b-quartile constrained)）： 与上述方法类似，但确保在难度四分位数范围内实现分层覆盖。
- 适配基准（Adapted Baselines）： 对 Anchor Points 和 DISCO 进行了简化版本适配，以适用于安全评估中的仅二进制（binary-only）场景，因为在该场景下无法获得类条件概率。
评估指标： 子集选择方法的性能通过**一致性（Agreement）**来衡量，即子集产生的排名与全量基准测试产生的排名之间的 Spearman's $\rho$ 相关系数。

核心贡献

本文对实现更高效的安全评估做出了三个主要贡献：

恢复可解释的结构： 作者证明了 IRT 成功恢复了安全基准测试中可解释的结构。拟合的项目参数能够追踪经验性的响应行为，且潜在能力估计值 ( $\theta$ ) 解决了在原始安全指标饱和（即在天花板附近）时模型间的差异问题（例如，当标准得分饱和时）。
自适应效率： 他们展示了自适应项目选择（流体基准测试）可以在减少至少 80% 评估成本的情况下，逼近全量基准测试的排名结果（在可实现高相关性 $\rho > 0.90$ 的情况下）；而在 AIR-Bench 2024 上，成本降低甚至高达 99.9%。
静态子集效用： 他们提出了一种提取固定且具有信息量的项目子集的实用程序，该子集可跨模型重复使用。这种静态方法提供了自适应选择的替代方案，在保持高排名保真度的同时，在 AIR-Bench 2024 上实现了高达 99.8% 的节省。

结果

研究涵盖了六个安全基准测试（AIR-Bench 2024, Anthropic Red Team, HarmBench, SafetyBench, SimpleSafety, WMDP-Bio），这些基准涵盖了多样化的威胁模型和响应格式。

IRT 拟合情况： 2PL 模型在所有基准测试中均恢复了秩次序，Spearman's $\rho \in [0.97, 1.00]$ 。至关重要的是，IRT 能力估计在原始安全得分饱和的地方提供了精细的分辨率（例如，在 Anthropic Red Team 上，67/77 个模型得分 >0.95，但 IRT 将它们分布在 1.19 到 6.06 的 $\theta$ 范围内进行区分）。
项目区分度： 基准测试表现出不同程度的项目区分度方差（通过变异系数 CV 衡量）。高 CV 基准测试（如 AIR-Bench 2024, CV=0.92）包含一个高度区分性的稀疏尾部，自适应方法能有效利用这一点。低 CV 基准测试（如 SimpleSafety, CV=0.46）则显示出更均匀的项目信息量，限制了自适应选择带来的收益。
效率提升：
- 自适应选择： 在 AIR-Bench 2024 上，流体基准测试仅使用 6 个项目（总量的 0.1%）就达到了与全量基准测试 90% 的一致性，这意味着 99.9% 的成本削减。
- 静态选择： 静态方法（如 Marginal Fisher）同样通过小型子集实现了高一致性。例如，在 AIR-Bench 2024 上，静态子集在实现 90% 一致性的同时，实现了 99.8% 的节省。
- 对比： 在较小的子集规模 ( $k$ ) 下，基于 IRT 的方法始终优于随机基准。非 IRT 方法（Anchor Point, DISCO）和随机基准需要更多的项目才能达到同等的排名保真度。
- 基准测试方差： 效率提升的幅度与项目区分度的异质性相关。具有高区分度方差（高 CV）的基准测试带来了最大的成本削减。

重要性与主张

本文主张，心理测量学方法（特别是 IRT 和自适应测试）能够在不牺牲排名质量的前提下，实现整个安全评估流水线中具备基准感知能力的评估成本缩减。

可行性： 结果表明，安全评估可以变得更加廉价和频繁，这对于模型开发的快速迭代周期至关重要。
诊断价值： 除了降低成本外，拟合的 IRT 参数还可作为基准测试冗余度和排名分辨率的诊断工具，帮助开发者理解哪些项目驱动了特定模型群体之间的差异。
适用性： 作者认为，这些方法在需要重复进行的、高成本的评估（例如需要人类评判员或 API 调用）中最为有价值，因为这类场景下校准项目参数的前期成本会被摊薄。他们承认，对于一次性评估或项目较少的基准测试，其开销可能并不划算。
审慎性： 作者指出，安全可能并不构成单一的潜在特质，且目前的流程将序数判断二值化了，这可能会丢失严重性信息。他们认为这些结果并非对安全基准测试的最终定论，而是证明了心理测量学方法是使安全评估更具针对性和高效性的一个可行且有用的方向。