💬 NLP

Anticipatory Evaluation of Language Models

本文介绍了 PRECOG，一个包含任务描述和性能指标的语料库，旨在证明大语言模型可以仅根据任务描述和实验配置来预测评估结果，从而为克服当前人工智能研究中的评估瓶颈提供一条途径。

原作者： Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在策划一道复杂新菜肴的大厨。通常，为了知道这道菜是否会大受欢迎，你必须买齐所有食材、切好、煮熟、品尝，然后再询问你的宾客反馈。这个过程既昂贵又耗时，而且需要大量的尝试与错误。

这篇论文介绍了一个“神奇的试吃员”，它声称甚至在你在购买任何一种食材之前，就能准确告诉你你的菜肴会被评定为多少分。

以下是研究人员所做工作的拆解，使用了简单的类比：

问题：“试吃”瓶颈

在人工智能领域，研究人员不断构建新的“测试”（基准测试）来观察他们的计算机模型有多聪明。但构建这些测试是一项艰苦的工作。你必须编写问题、收集数据并在其上运行 AI。通常，研究人员花费数月时间构建一个测试，却发现它太简单了（AI 拿到了 100% 分数，从而没学到任何东西）或者太难了（AI 只得了 0%，导致测试毫无意义）。

论文称之为“评估瓶颈”。你必须在知道这项工作是否值得之前，先完成这项工作。

解决方案：“水晶球”（PRECOG）

研究人员问道：我们能否仅通过阅读“食谱”来预测分数？

他们创建了一个庞大的库，叫做 PRECOG。你可以把这个库想象成一个巨大的“食谱卡片”收藏库（即 AI 测试的描述），并配有这些测试最终获得的“分数”。

输入： 他们并没有向 AI 输入实际的测试题目，而只是向它输入了测试的文本描述。例如：“这是一个针对大学生的数学测试。每个问题有 20 个多项选择选项。AI 必须在不使用计算器的情况下进行回答。”
输出： AI 尝试猜测分数（例如：“我预测这个 AI 将获得 62% 的正确率”）。

他们是如何构建这个库的

他们并没有编造虚假的测试。他们从一个名为 arXiv 的数据库中抓取了数千篇真实的科学论文。

他们从论文中提取了“食谱”（任务描述）。
他们从论文中提取了“分数”（结果）。
他们确保隐藏了测试的名称，以免 AI 通过直接背诵答案来作弊；它必须真正理解描述中的“难度”。

他们最终得到了大约 2,300 对描述与分数的配对，涵盖了从阅读理解到逻辑推理的所有内容。

结果：并不完美，但表现出色

他们测试了这个“神奇的试吃员”（一个非常先进的 AI 模型，称为 GPT-5）以观察它是否能猜中分数。

它比瞎猜要好： 如果你只是对所有情况都按平均分进行猜测，你的误差会大约在 23 分左右。而该 AI 的平均误差仅为 14.6 分。
信心很重要： 当 AI 说“我对这个预测非常有信心”时，它的表现甚至更准确，误差能控制在 10 分以内。
它胜过了人类： 他们邀请了人类专家（了解 AI 的教授和学生）根据同样的描述来猜测分数。人类的误差大约在 19.6 分，而 AI 的误差仅为 13.6 分。AI 在猜测难度方面比专家更胜一筹。
它适用于新事物： 他们在 AI 训练之后发表的新论文上进行了测试。AI 依然表现良好，证明它并非仅仅通过背诵旧答案来作弊。

这为什么重要（根据论文所述）

论文指出，这个工具可以成为研究人员的“规划助手”。

在研究人员投入资金和时间构建大规模数据集之前，他们可以询问 AI：“如果我把选项从 4 个增加到 20 个，测试会变得太难吗？”
AI 可能会说：“基于类似的描述，这会导致分数显著下降。也许尝试 10 个选项会更好。”
这有助于研究人员决定哪些想法值得追求，哪些想法可能是在浪费时间，而这一切都发生在他们编写第一行代码或标注第一个数据点之前。

核心结论

论文并不声称这能取代实际的测试。你仍然需要运行真实的测试才能得到真实的答案。但它声称，阅读“食谱”现在是一种获取“草稿版”结果的强大方式，有助于研究人员在开始之前，避免构建过于简单或过于困难的测试。

技术摘要：语言模型的预期评估

问题陈述

大型语言模型（LLM）的进展正日益受到评估瓶颈的制约。传统的基准测试需要构建数据集、运行实验，并在获得结果后才进行迭代。本文研究了是否可以在进行任何实验之前预测评估结果。具体而言，作者定义了一个纯文本性能预测任务：仅给定一个拟议任务的自然语言描述、数据集来源和实验配置（无需访问数据集实例或种子测量值），预测预期的性能指标，并将其归一化到 0–100 的量程。

这一设定不同于以往的性能预测工作，以往工作通常依赖于部分实验结果、小型试点运行或结构化的观测数据表。其目标是通过在标注或投入资源之前估计难度和判别能力，来支持早期阶段的实验规划。

方法论

数据策展：PRECOG 语料库

为了进行系统性研究，作者策展了 PRECOG，这是一个由 1,519 篇 arXiv 论文衍生的 2,290 个“描述–性能”对组成的语料库。

来源： 从科学文献中提取实验记录，将“结果论文”（报告分数）与“数据集论文”（描述任务）进行配对。
构建： 使用 LLM (GPT-5-mini) 提取了对齐模式且经过身份掩码的描述 ( $x_i$ )，总结了任务定义、数据来源、评估协议、难度线索和提示策略。
目标值： 报告的分数被归一化为 0–100 量程 ( $y_i$ )，以处理异构指标（例如 Accuracy, F1, BLEU, ROUGE, EM）。
泄露控制： 该语料库包含了一组在被评估模型知识截止日期（2025年）之后发表的论文测试集，确保预测并非基于记忆的训练数据。此外还建立了流式设置，使模型能够在论文被搜索引擎索引前，对新发布的论文进行预测。

任务公式化

该问题被建模为一个回归任务，其中模型 $f_\theta$ 在给定 $x_i$ 的情况下预测 $\hat{y}_i \in [0, 100]$ 。

输入： 基准设计和实验设置的自由文本规范。
输出： 数值性能估计和一个自报告的置信度分数。
检索： 模型可以可选地使用工具增强方法（ReAct 风格）来查询受时间限制的文献库以获取证据，尽管主要的信号源自于描述本身及其内部知识。

评估指标

性能通过以下方式衡量：

平均绝对误差 (MAE)： 数值越低越好；衡量异构指标下的绝对准确度。
皮尔逊相关系数 ( $r$ )： 数值越高越好；评估预测是否保留了任务的相对排序。

关键结果

模型性能

可行性： 纯文本预测具有挑战性但可行。GPT-5 在受泄露控制的 2025 年测试集上取得了最佳综合表现，MAE 为 14.6，显著优于文本嵌入基准模型（例如 E5-Mistral + XGBoost，其 MAE 约为 21.4）。
推理能力： 启用推理模式（思维链）提升了性能。处于推理模式下的 GPT-5 优于其非推理变体以及开源模型如 Qwen3-32B (reasoning) 和 Qwen2.5-72B。
置信度校准： 自报告的置信度是一个有用的信号。当针对高置信度预测进行过滤时，GPT-5 的 MAE 降至 9.9，这表明该模型能够可靠地识别其预测何时可能准确。
流式评估： 在实时预测尚未被搜索引擎索引的新发布 arXiv 论文的设置下，GPT-5 实现了 14.0 的 MAE 和 0.78 的皮尔逊相关系数，与离线表现高度一致。

人类对比

在一项涉及 NLP 专家（研究生和一名教授）的研究中，人类预测者在准确率预测的子集上的 MAE 为 19.6。GPT-5 在同一子集上的 MAE 为 13.6，这表明当前的推理 LLM 在这一特定零样本预测任务中可以超越人类专家。

消融实验与分析

指标异构性： 预测误差随指标而异。Accuracy 和 Exact Match (EM) 的预测误差适中，而 Recall 和 Precision 的误差较高，这可能是由于语料库中这些特定指标的训练样本较少。
数据集迁移： 性能在“既有”数据集（结果论文与数据集论文不同）和“新”数据集之间保持稳定，表明预测器能很好地泛化到未见的基准测试。
检索影响： 虽然检索工具略微提升了 GPT-5 的性能，但并未显著帮助 Qwen3-32B。作者指出，大多数预测信号来自于对策划描述的推理及其预训练知识，而非检索特定的来源论文。

意义与主张

本文声称，预期评估为机器学习界提供了一种实用的、轻量级的规划工具。通过预先预测难度，研究人员可以：

优先考虑实验： 在投入大规模标注之前，识别哪些基准设计可能过于简单（饱和）或过于困难（退化）。
优化资源： 更高效地指导试点研究的设计和基准选择。
辅助设计： 在不运行初始实验的情况下，回答有关设计选择的“假设”问题（例如，将多选题选项从 5 个增加到 20 个的影响）。

作者强调，这种方法并非旨在取代经验基准测试。相反，它作为迈向开放式、数据高效型实验设计的第一步，旨在支持更智能的资源分配，应对评估成本日益上升的时代。PRECOG 语料库及相关代码的发布旨在促进预测性评估方法的进一步研究。