技术摘要：有限样本模型选择中的协议依赖性分辨率

问题陈述

本文探讨了标准模型选择实践中一个关键的脆弱性：即假设在留出验证集上得分略高的模型确实更优的假设。作者认为，排名失败不仅仅是由分布偏移或过拟合引起的罕见事件，而是有限预算评估的一种系统性限制。

一个核心且常被忽视的变量是最大生成长度（解码参数）。论文证明，这单个参数可以逆转一组检查点（checkpoints）表现为“可区分”还是“不可区分”。具体而言，较短的生成限制会截断思维链（chain-of-thought）推理，从而压缩检查点之间的方差，并为最小可检测效应（minimum detectable effect）制造假阴性。因此，如果评估流水线说明不完整（例如省略了生成长度），则模型比较的结论将变得无法解释。

方法论

$\Delta_{min}$ 诊断框架

作者提出了一个预实验诊断工具 $\Delta_{min}$，该工具源自经典的功效分析（特别是两比例 z 检验）。与事后显著性检验不同，$\Delta_{min}$ 在投入资源之前，用于确定评估预算（$N$）是否足以支持具有统计学意义的可区分比较。

• 定义： $\Delta_{min}$ 代表 50% 功效下的最小可检测效应（$MDE_{50}$）。它作为分辨率的一个保守下界。
• 公式： 对于独立近似（用于预实验筛选），其阈值计算如下：
  $$\Delta_{min}^{(indep)} = z_{\alpha/2} \cdot \sqrt{\frac{2\bar{p}(1-\bar{p})}{N}}$$
  其中 $\bar{p}$ 是预期准确率，$N$ 是评估预算。
• 配对与独立： 虽然在同一测试集上评估的检查点是配对的（允许使用更严谨的 McNemar 阈值），但建议使用独立公式进行预实验筛选，因为它提供了一个保守的上界。
• 标度律： 该框架建立在 $N \propto 1/\delta^2$ 的基础上；若要将可检测差距减半，则需要将预算增加到四倍。对于多次比较（$m$ 个候选模型），阈值会进一步收紧（例如通过 Bonferroni 校正）。

实验设计

作者通过受控实验验证了协议依赖性的分辨率特性：

1. 模型： Qwen2.5-7B 和 Mistral-7B-Instruct-v0.3。
2. 训练： 在 GSM8K、CodeAlpaca 和 Dolly 上进行 LoRA 微调（rank 16），共 500 步。
3. 变量：
   • 生成限制： 对比 128 token 与 256 token 的最大长度。
   • 预算： 从完整的 GSM8K 测试集（$N=1319$）下采样至 $N=200$。
   • 种子： 使用三个随机种子（42, 43, 44）来评估轨迹特定效应。
4. 协议： 区分“few-shot prompting”与“training-format prompting”，以隔离协议效应。

决策规则：Soup-vs-Argmax

论文推导出了一个决策规则（决策规则 1），用于决定是选择单一最佳模型（argmax）还是候选模型的均匀平均值（soup/模型汤）。

• 条件： 当“模型汤增益”（$\kappa$）超过分辨率阈值的一个比例时，均匀平均法在弱意义上优于 argmax 选择：$\kappa \geq \frac{m-1}{m}\Delta_{min}$。
• 启示： 在低分辨率机制下（即观测到的准确率范围低于 $\Delta_{min}$ 时），采用平均法是更安全的默认选择。

关键结果

1. 协议依赖性的分辨率

最重要的发现是，最大生成长度决定了分辨率的判定。

• Qwen2.5-7B： 从 128 增加到 256 tokens 使观测到的准确率范围变化了 2.3 倍。
• 隐藏趋势： 在 128-token 限制下，三个种子中的两个未显示出显著趋势。而在 256-token 限制下，同样的这些种子揭示了强烈的负向趋势（过拟ment/过拟合），其中一个种子的 Spearman $\rho = -0.77$ ($p=0.009$)。较短的限制压缩了检查点间的方差，从而掩盖了性能退化。
• 判定反转： 生成长度的变化导致跨种子的成对分辨率判定发生了反转。

2. 预算退化与稳定性

• 小预算 ($N=200$)： 分辨率阈值 ($\Delta_{min}$) 上升至 9.8 个百分点 (pp)。观测到的范围（8.0 pp）低于此阈值，导致排名在统计学上无法解析。Bootstrap 分析显示，“最佳”模型仅在 44% 的重采样中被选中（熵为 0.717），表明具有高度不稳定性。
• 全额预算 ($N=1319$)： 即使使用完整的 GSM8K 测试集，观测到的范围（3.0 pp）仍低于 $\Delta_{min}$ 的 3.8 pp。因此，即使是标准的基准测试也可能不足以区分微调后的检查点。

3. 泛化与失效模式

• Mistral-7B： 该模型在 $N=200$ 时表现出可解析的范围（11.0 pp），且对 token 截断的敏感度较低，这可能是由于其思维链推理较短所致。
• 失效案例（接近底限）： 在一个准确率极低（$\bar{p} \approx 0.03$）的 Qwen2.5-1.5B 实验中，$\Delta_{min}$ 公式错误地暗示了可解析性（3.4 pp vs 3.5 pp 的范围）。作者指出这是正态近似失效的模式（当 $N\bar{p} < 5$ 时），精确检验（Fisher's exact test）显示并无显著性。
• 连续指标： 该框架通过 Delta 方法扩展到连续指标（如交叉熵损失），尽管作者指出直接比较指标需要仔细考虑效应量相对于单样本离散度的关系。

4. 文献综述

对 50 篇近期微调论文的调查显示，没有任何一篇报告了最大生成长度参数，尽管本文已证明该参数可以决定分辨率的判定结果。

意义与主张

本文定位并非提出一种新的显著性检验，而是一种预实验诊断工具，旨在防止在效能不足的评估上浪费资源。

• 可解释性： 作者声称，如果评估流水线的说明不完整（特别是关于生成长度），那么任何模型比较的结论都是不可解释的。
• 可复现性： 本文强调了一种“诊断失效模式”，即未被计入的参数（如生成长度）会造成对过拟合的假阴性和模型间不可区分性的假象。
• 实际效用： 本文提供了一个 $\Delta_{min}$ 的“从业者快速参考表”以及九个诊断陷阱目录（如未报告的协议、接近底限的准确率、相关的评估项），以指导稳健的模型选择。
• 研究范畴： 作者明确指出 $\Delta_{min}$ 是用于筛选的“保守下界”，而非保证足够的功效（达到更高功效需要更高的阈值，例如 80% 功效）。他们承认，即使排名是可解析的，如果多个候选模型聚集在顶端附近，单一最佳模型的身份仍可能存在不确定性。

总而言之，本文认为模型选择受限于评估预算，正如统计估计受限于样本量一样；忽略协议细节（如生成长度）从根本上破坏了有限样本模型比较的有效性。