SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

技术摘要：SafetyRepro——对齐基准上的配置条件排名不稳定性

问题陈述
本文针对大语言模型（LLM）对齐基准的可复现性中存在的一个关键缺口。尽管文献中将成对比较（例如“模型 A 比模型 B 更安全”）视为定量裁决，但它们所依赖的评估框架却未能充分规定关键的配置选择。评估者必须选择提示模板、解码设置、少样本层级、评分规则和量化方案。作者认为，这些选择虽然在基准论文中看似合理，却往往规定不足，导致缺乏可复现性：同一对模型会根据评估框架配置的不同而产生相互矛盾的排名。

方法论
作者构建了一个“提交时间戳”评估协议，以测试成对排名在有限配置范围内的稳定性。

• 实验网格：本研究评估了三个 7–9B 的开源指令微调模型（Qwen-2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 和 Yi-1.5-9B-Chat），涵盖五个与对齐相关的基准：TruthfulQA、BBQ、ToxiGen、CrowS-Pairs 和 XSTest。
• 配置范围：对 612 个单元格的网格进行了扫描，针对每对（模型，基准）变化四个维度：
  1. 提示模板：四个层级（极简、角色设定、详细、思维链）。
  2. 解码：三个层级（贪婪解码、T=0.3、T=0.7）。
  3. 少样本：三个层级（0、3、5 次）。
  4. 评分：两个层级（自由格式正则表达式提取 vs. 对数概率 argmax）。
• 约束：网格固定为 NF4 量化（模拟 16 GB 消费级硬件），并针对每个基准固定项目子集，以将框架方差与数据子采样方差隔离开来。
• 指标：
  • 操作员可控的成对分歧率（$\rho_{flip}$）：定义为 $\min(N_+, N_-) / |C_b|$，其中 $N_+$ 和 $N_-$ 分别是模型 A > 模型 B 和模型 B > 模型 A 的配置数量。该指标衡量在给定范围内是否存在严格的排名反转。
  • 排名一致性（$\tau_R$）：诱导出的三模型排名的平均肯德尔 $\tau$。
  • 方差归因：采用四向 II 型方差分析（ANOVA），将方差在模型身份与实现维度（模板、解码、少样本）之间进行划分。
• 案例研究：单独分析重新运行了一个名义上的锚定配置（Qwen2.5-7B-Instruct），跨越三个主流评估包（lm-evaluation-harness、HELM-lite、Inspect AI），以证明实现的不等价性。

主要发现

1. 普遍排名不稳定性：在测试的每个基准上，仅凭配置选择就足以翻转模型之间的成对裁决。所有基准的 $\rho_{flip}$ 指标均非零，表明在测试范围内无法识别出严格的排序。
2. 最大不稳定性：
   • XSTest：波动性最大的基准；在完整范围内，三个模型的所有六种可能排序均可达到。即使在“核心层级”（排除压力层级的思维链和多样化解码）中，仍有 6 种排序中的 5 种可达。
   • TruthfulQA：显示出最高的成对分歧率（完整范围 $\rho_{flip} \approx 47.9\%$，核心层级 $\approx 40.7\%$）。
   • BBQ 和 ToxiGen：也表现出显著的不稳定性，$\rho_{flip}$ 值分别约为 43.8% 和 35.4%。
3. 实现主导与模型主导：方差划分显示，在四个自由格式基准中的三个（BBQ、ToxiGen、XSTest）上，实现主效应解释的总方差与模型身份相当或更多。仅 TruthfulQA 由模型主导。交互效应很大（41–54%），表明这种划分更多是定性方向而非精确比例。
4. 评分路径敏感性：在自由格式正则表达式解析与对数概率 argmax 评分之间切换会产生实质性的分数差异（在跨包研究中，BBQ 上高达 22.7 个百分点，TruthfulQA 上为 21.7 个百分点），证实不同的评分路径测量的是不等价的候选对象。
5. 跨包不等价性：在三个不同的评估包中运行相同的名义配置，产生的分数差异高达 22.7 个百分点。这归因于实现的不等价性（不同的候选对象、提示模板和真值映射），而非单一维度的包效应。

贡献

1. 指标：引入了操作员可控的成对分歧率（$\rho_{flip}$），这是一种配置条件指标，用于量化在定义的实践衍生范围内存在严格排名反转的程度。
2. 数据：一个可发布的 612 单元格评估网格，涵盖 15 对（模型，基准），并附带提交时间戳的配置规则。
3. 证据：一项案例研究证明了三个主要评估包之间的实现不等价性，表明仅披露配置不足以在不同框架间实现分数复现。
4. 工具：一个研究级披露模板（GRID 卡片），用于在记录分数的同时记录框架配置，承认虽然这提高了透明度，但并未解决声明者利用配置邻域进行博弈的问题。
5. 稳健性检查：对保守核心子范围（4 种配置）和跨家族规模探测（7B 与 32B/34B）的分析，排除了单一家族混淆因素，但并未声称存在通用的缩放定律。

意义与主张
本文主张，将模型 A 排在模型 B 之上的基准分数排名是（模型，框架）对的属性，而非模型本身的属性。作者断言，如果不披露模型和具体的框架配置，此类排名无法复现。

其意义在于通过提供一个单行测试（命题 1）来关闭“理论–基准循环”，以判断给定的配置网格上是否存在无严格反转的成对排名。作者强调，他们的发现是有边界的：他们并未声称测量了作为总体的"LLM 评估可复现性”，也未声称解决了可复现性问题。相反，他们证明在刻意限定的、实践衍生的范围内（消费级硬件、特定模型大小、固定项目子集），“严格排序”这一原语无法识别出稳定的真理。本文结论指出，认证哪些已发表的排名是可识别的，既不需要新理论也不需要新算力，而是需要应用这种配置条件测试。