技术摘要：经验交互传播 (Empirical Interaction Propagation, EIP)

1. 问题陈述

当前的大语言模型 (LLM) 基准测试过度依赖于特定主题类别内的聚合准确率指标（例如 MMLU-Pro, MATH）。这种方法隐含地将所有评估项视为具有同等信息量，未能区分问题的难度差异。因此，基准测试无法有效区分常规模式匹配与高级推理能力。一个简单的算术事实与一个多步微积分推导过程往往被赋予相同的权重，这导致当易题与难题的混合比例发生变化时，排名可能会发生翻转。作者认为，必须在题目层面显式地对难度进行建模，以实现对模型能力的细粒度、具备难度感知能力的比较。

2. 方法论：经验交互传播 (EIP)

EIP 是一个非参数化框架，旨在通过迭代、双向的得分传播过程，共同估计问题难度和模型能力。

核心直觉

该框架基于以下原则运行：

• 当模型正确回答一个问题时，模型获得能力得分 (competency score)。
• 当一个问题挑战了模型（即导致模型失败）时，该问题的难度得分 (difficulty score) 增加。
• 解答一道难题对于能力证明具有更高的证据权重，而未能解答一道易题则对问题的难度贡献了更多的权重。

图论公式化

EIP 构建了一个有向二分图 $G = (V, E)$，其中顶点代表模型 ($M$) 和问题 ($Q$)。

• 能力边 ($E_{Comp}$): 从问题指向模型的有向边 ($q \to m$) 表示回答正确。
• 难度边 ($E_{Fail}$): 从模型指向问题的有向边 ($m \to q$) 表示回答失败。

得分传播机制

该系统将交互建模为各态历经的马尔可夫链。它定义了两个行随机转移矩阵：

1. 能力转移 ($P_{Q \to M}$): 通过解决该问题的模型数量 ($S(q)$) 进行归一化。
2. 难度转移 ($P_{M \to Q}$): 通过模型失败的问题数量 ($F(m)$) 进行归一化。

系统使用阻尼因子 $\alpha \in (0, 1)$ 迭代更新得分，以确保收敛到唯一的平稳分布（由 Perron-Frobenius 定理保证）。更新方程为：
$$\pi^{(t+1)}_Q = \alpha P^\top_{M \to Q} \pi^{(t)}_M + (1 - \alpha)\frac{1_Q}{Q}$$
$$\pi^{(t+1)}_M = \alpha P^\top_{Q \to M} \pi^{(t+1)}_Q + (1 - \alpha)\frac{1_M}{M}$$
其中 $\pi_Q$ 代表问题难度，$\pi_M$ 代表模型能力。该过程渐近收敛至唯一得分。

扩展

• 连续得分： EIP 通过允许响应矩阵取值于 $[0, 1]$ 而非二进制 $\{0, 1\}$，将其扩展到具有部分得分的基准测试中。
• 预处理： 被普遍解决或被普遍失败的问题会被排除在外，以确保图的连通性并避免平凡解。

3. 主要贡献

本文做出了三个主要贡献：

1. 一种新的评估框架： EIP 引入了一种具备难度感知的非参数化方法，能够共同估计问题难度和模型能力，超越了扁平化的准确率指标。
2. 全面的实证验证： 该框架在涵盖六个基准测试（BBH, GPQA, GSM8k, HellaSwag, MATH, MMLU-Pro）的 35,550 个问题及 30 个模型上进行了评估。
3. 新见解： 研究揭示了不同的数据集难度剖面、跨模型规模的一致性家族级模式，以及开源权重和混合规模模型池在产生稳定难度估计方面的可靠性。

4. 实验结果

与人类判断的一致性

• EIP 在 20 名评估者对问题难度的判断上达到了 90% 的一致性。
• 这显著优于包括简单排名 (Simple Rank) 和各种项目反应理论 (IRT) 模型（1PL, 2PL, Multi-IRT）在内的基准，后者的表现仅在 50% 到 62.9% 之间。
• 研究发现，多样化的模型池（混合规模）至关重要；同质化模型池（例如仅包含小型或仅包含大型模型）会导致较低的一致性（38.6%–64.3%）和更高的偏差。

排名区分度

• 虽然 EIP 得分与准确率相关（Kendall's $\tau = 0.8492$），但它经常重新排列相邻模型的顺序。
• 示例： Qwen2-0.5B（准确率 20.2%）的排名高于 DeepSeek-Chat-Lite（准确率 30.49%），因为 Qwen2-0.5B 解答了更高比例的难题（5.5% 对比 2.4%）。
• 模拟： 在一个具有地面真值排名的受控模拟中，EIP 是唯一能够正确恢复真实排名顺序的方法，而基于准确率和基于 IRT 的方法都无法区分具有相同总准确率但不同难度分布的模型。

稳定性与鲁棒性

• 模型扰动： 移除高达 50% 的模型池（30 个模型中的 15 个）后，问题难度排名的 Spearman 相关系数为 0.9382，模型能力排名的 Spearman 相关系数为 0.9934（与全量模型池相比）。
• 数据集扰动： 排名在数据集扰动下保持稳定（$\rho > 0.99$）。

效率与可扩展性

• 时间复杂度： $O(tQM)$，其中$t$ 是迭代次数（通常为常数）。
• 性能： 在消费级硬件（Intel i7）上，EIP 处理 30 个模型和 35,550 个问题仅需 0.00597 秒。
• 对比： 这比 IRT 基准（例如 1PL-IRT 耗时约 1782 秒）快了数个数量级。
• 可扩展性： 在交互计数达到 $2 \times 10^9$ 时观察到线性扩展。

数据集与模型见解

• 数据集剖面： MATH 和 MMLU-Pro 显示出适合高级推理的更宽难度尾部，而 GSM8k 和 HellaSwag 则偏向于较容易的问题。
• 模型家族： 规模化主要改变的是绝对准确率，而非改变相对难度结构；同一家族内的模型（如 Llama-3 变体）保留了相似的特定难度回答分布。
• 开源权重模型： 仅由开源权重模型得出的难度估计与全量模型池的结果显示出强相关性（Spearman 为 0.96），足以媲美私有模型池。

5. 意义

论文声称 EIP 提供了一种实用、可扩展且符合人类认知逻辑的 LLM 评估替代方案。通过量化问题难度，它实现了：

• 更细粒度的比较： 区分擅长硬核推理的模型与依赖模式匹配的模型。
• 鲁棒性： 即使在模型池或数据集动态变化时也能保持稳定的排名。
• 高效性： 提供了一种计算轻量级的解决方案，适用于大规模、持续性的评估（如排行榜），无需像 IRT 等参数化模型那样承担沉重的校准成本。

作者强调，EIP 并非要取代更广泛的对齐评估，而是通过提供关于模型能力相对于任务难度的更细致视角来对其进行补充。