💬 NLP

How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework

本文介绍了 ArxivRoll，这是一个受一次性密码本加密启发的动态评估框架，它利用基于近期 ArXiv 论文生成的半年度自动化基准，以量化并缓解由数据污染和训练偏差导致的语言模型高估问题。

原作者： Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《大型语言模型在评估中作弊的程度有多大？》的解释。

核心问题：“开卷考试”

想象你是一位老师，试图测试学生的聪明程度。你给他们一份标准的数学试卷。但是，学生们偷偷从网上找到了一份包含该特定试卷答案的复习指南，并背了下来。

当他们参加测试时，在那些背下来的题目上得了满分。但如果你问他们一道新的、从未见过的数学题，他们可能会不及格。

这正是大型语言模型（LLMs）（就像你正在对话的 AI）所发生的情况。

作弊行为：许多 AI 模型是在包含流行测试（基准测试）答案的数据上进行训练的，这些测试用于衡量它们的智能。
结果：它们实际上并没有在“学习”或“推理”；它们只是在复述以前见过的答案。这使它们看起来比实际更聪明，导致不同 AI 公司之间的比较变得不公平。

解决方案：ArxivRoll（“一次性密码本”测试）

来自香港理工大学的研究人员创建了一个名为ArxivRoll的新系统来揪出这些作弊者。他们的灵感来自密码学中的一个概念，即**“一次性密码本”**。

类比：一次性秘密密钥
在密码学中，“一次性密码本”是用于加密消息的秘密密钥。规则是：使用一次，然后丢弃。 如果你使用同一个密钥两次，秘密就会泄露。

ArxivRoll 将这一规则应用于测试：

新鲜素材：他们不再使用旧的、静态的测试题，而是利用ArXiv（科学家发布最新未发表工作的网站）上的全新研究论文，每六个月生成新的测试。
“未见”测试：因为这些论文非常新，没有任何 AI 在训练过程中见过它们。这就像给学生出一份基于昨天刚印刷的书籍的试卷。
用完即弃：测试结束后，答案会公开以便大家核查，但具体的测试题目会被标记为“已过期”，永不再用。这确保了未来的 AI 无法背下它们。

测试如何运作：“填空题”游戏

为了自动生成这些测试（无需人类撰写成千上万道题目），他们使用了一种称为SCP（排序、完形填空和预测）的方法。这可以看作是高级版的“疯狂填词”或拼图游戏：

排序（Sequencing）：AI 会收到一段打乱顺序的段落，就像一副洗乱的牌。它必须将句子按正确顺序排列。
完形填空（Cloze）：AI 会收到一段缺失了一些句子的段落（被遮盖）。它必须从选项列表中选出正确的句子来填补空白。
预测（Prediction）：AI 阅读一个故事，然后必须猜出下一句话是什么，从四个不同的选项中进行选择。

由于这些问题是从新鲜文本中随机生成的，AI 无法仅仅“记忆”模式；它必须真正理解逻辑。

成绩单：“抗干扰分数”

这篇论文提出了一种评估这些模型的新方法，称为抗干扰分数（Rugged Scores, RS）。想象你在评判一名跑步者：

公开分数：他们在练习过的跑道上跑得多快（旧的、被污染的测试）。
私有分数：他们在一条全新的、未知的山路上跑得多快（ArxivRoll 测试）。

抗干扰分数衡量的是这两者之间的差距。

低抗干扰分数：跑步者在两条跑道上的表现相似。他们确实身体素质很好。
高抗干扰分数：跑步者在练习跑道上跑得飞快，但在新山路上却跑得慢。这意味着他们通过记忆练习跑道在“作弊”。

他们的发现

研究人员使用这个新系统测试了许多流行的 AI 模型（如 Llama、Qwen、GPT 和 Claude）。

“高估”是真实的：许多在公开排行榜上看起来像天才的模型，在新鲜、私有的 ArxivRoll 测试中排名显著下降。
部分模型“过度训练”：他们发现，有些模型是专门针对特定类型的问题（如数学或金融）进行微调以取得高分的，但在其他问题上却惨败。这就像一个只复习了历史期末考试的学生，却在科学测验中不及格。
差距巨大：对于某些模型，其“公开分数”和“私有分数”之间的差异非常巨大，证明其报告的智能中很大一部分实际上只是记忆。

总结

该论文认为，我们一直被 AI 基准测试所误导。通过使用一个不断用全新的、未见过的研究（ArxivRoll）刷新其问题的系统，并衡量新旧测试之间的差距（抗干扰分数），他们可以看出 AI 的“智能”有多少是真实的，有多少只是作弊。这是一种确保当我们说 AI 很聪明时，它确实是聪明的，而不仅仅是擅长记忆测试题的方法。

技术摘要：ArxivRoll——基于一次性密码本框架的过估计基准测试

1. 问题陈述

大型语言模型（LLM）的评估面临一个关键挑战：由于数据污染和偏差性过度训练，导致对其能力的过估计。

数据污染：来自公共基准测试（如 MMLU、GSM8K）的测试样本，往往被无意或有意地包含在 LLM 的预训练或微调数据集中。这使得模型能够“死记硬背”答案，而非展示真正的推理能力，从而导致性能指标虚高。
偏差性过度训练：开发者可能会策略性地针对特定基准测试领域优化模型，而忽视其他领域，从而营造出一种能力全面的假象。
现有方案的局限性：当前的缓解策略，如由第三方维护的私有基准测试（例如 Chatbot Arena）或符号格式基准测试（例如 GSM-Symbolic），存在缺乏透明度、可复现性或领域覆盖狭窄的问题。此外，现有方法未能量化过估计的程度，仅提供通过/失败的二元结果或单一性能分数，而无法区分真实能力与作弊行为。

2. 方法论：ArxivRoll 框架

作者提出了ArxivRoll，这是一个受密码学中**一次性密码本（OTP）**加密原理启发的动态评估框架。正如 OTP 使用唯一且保密的密钥仅使用一次以确保完美保密性一样，ArxivRoll 利用唯一且私有的基准测试，这些基准测试“仅使用一次”随后即失效，以防止污染。

核心组件

该框架包含两个主要机制：

A. SCP（排序、完形填空与预测）

为了生成 LLM 在训练期间未曾见过的全新、保密的测试用例，作者利用了在特定近期窗口（例如过去六个月）内发布的ArXiv 预印本。由于这些论文对于基于旧数据训练的模型而言在概念上是未见的，它们可作为安全的评估数据来源。SCP生成器通过三项客观任务自动化生成测试用例：

排序（Sequencing）：打乱文本片段中的句子；模型必须选择正确的顺序。
完形填空（Cloze）：掩蔽片段中的特定句子；模型必须从候选集中选择正确的句子来填补空缺。
预测（Prediction）：给定上下文和正确的后续序列，模型必须在干扰项中识别出正确的下一个序列。

此过程确保了基准测试具有保密性（训练期间未见）、高难度（灵活且复杂，非固定模式）、客观性（多项选择）和全面性（涵盖八个领域：计算机科学、经济学、地球与空间科学、数学、物理、生物、金融、统计学）。

B. 崎岖分数（Rugged Scores, RS）

为了量化过估计，该框架引入了崎岖分数，用于衡量模型在公共基准测试与私有基准测试之间表现的“崎岖度”或差异。

RSI（绝对崎岖分数）：衡量同一领域内模型在公共基准测试（ $T_p$ ）与其对应的私有基准测试（ $T_c$ ）之间的性能差距。高 RSI 表明存在显著的数据污染或对公共基准测试的过拟合。
$RSI = \frac{M(m, T_p) - M(m, T_c)}{M(m, T_p) + M(m, T_c)}$
（其中 $M$ 为性能指标）。
RSII（偏差性过度训练分数）：衡量模型在不同私有基准测试之间表现的方差。高方差表明模型在特定领域过度训练，而在其他领域表现不佳。
$RSII = \sqrt{\sum (M(m, T_c) - \bar{M})^2}$

工作流程

生成：SCP 从近期的 ArXiv 论文中生成新的私有基准测试（ArxivRollBench）。
评估：对 LLM 在公共基准测试和新私有基准测试上进行评估。
评分：计算崎岖分数以量化过估计。
发布与失效：私有基准测试在评估后向公众发布以确保可复现性，但被标记为“已失效”，以防止其用于未来的评估，从而维持“一次性”的安全属性。

3. 主要贡献

新颖的基准构建策略（SCP）：一种从 ArXiv 生成高质量、高难度且全新测试用例的自动化方法，确保了保密性并降低了数据污染的风险。
过估计的量化（崎岖分数）：这是第一项提出明确测量过估计比例和偏差性过度训练指标（RSI 和 RSII）的研究，超越了简单的性能排名。
动态评估框架（ArxivRoll）：一个整合私有基准测试和崎岖分数的系统，为 LLM 提供系统化、透明且可复现的评估，包括一个考虑过估计因素的排行榜。

4. 实验结果

作者使用ArxivRollBench2024b对广泛的开源和闭源 LLM（包括 Llama、Qwen、Phi、GPT、Claude 和 Gemini 系列）进行了大量实验。

基准质量：元评估证实，SCP 生成策略是稳定的（不同随机种子间的标准差低），并且与 Chatbot Arena 等已建立的私有基准测试表现出高度相关性（Spearman $\rho \approx 0.76$ ），验证了其可靠性。
性能与过估计：
- 开源与闭源：一些开源模型（如 Kimi-K2）在私有基准测试上取得了与专有模型相当甚至更优的性能。
- 过估计检测：研究揭示了多个模型存在显著的过估计。例如，Qwen和Phi系列在某些情况下的 RSI 值超过了 100%，表明其公共基准测试分数受到数据污染的严重虚高。
- 偏差性过度训练：像Llama-3.1-Nemotron-70B这样的模型显示出较高的 RSII 分数，表明其在不同领域间表现不均，而这被其较高的平均公共分数所掩盖。
- 小语言模型（SLMs）：像 Phi-3-mini 这样的模型尽管声称具有高能力，但在私有基准测试上表现不佳，表明其公共分数可能被夸大。

5. 意义与主张

该论文声称，ArxivRoll通过以下方式解决了当前 LLM 评估的根本局限性：

确保新鲜度：通过采用“一次性密码本”方法结合动态的、有时限的基准测试，有效降低了数据污染的风险。
提供透明度：与“黑盒”私有排行榜不同，ArxivRoll 在评估后发布基准测试，允许完全复现。
量化完整性：它将关注点从“模型表现有多好”转移到“有多少表现是真实的”，从而对模型能力提供更诚实的评估。

作者总结道，虽然存在各种稳健的评估方法，但 ArxivRoll 提供了动态生成、透明度和量化过估计指标的独特组合，为数据污染普遍存在时代下 LLM 的公平可靠评估提供了必要的工具。