FlavourBench: Ranking Frontier Language Models with Executable Culinary Ground Truth
FlavourBench 通过利用一个版本化系统来为所有可能的食材组合生成可执行的基准真相得分，从而消除评判偏差和数据缺失，并为 27 个模型提供统计学上稳健的比较，由此引入了一种用于对前沿语言模型进行烹饪任务排名自动化基准测试的方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，研究人员面临着一个持久的挑战：如何衡量一个计算机程序是真的理解了一项复杂的任务，还是仅仅猜中了正确答案。多年来，标准方法一直是让一个语言模型为另一个模型的作品评分，或者依靠人类评判者从一组回答中选出最佳答案。这种方法存在一个根本性的缺陷；这就像是让一名学生给自己的作业打分，或者依靠一个人的口味来评判整个城市的菜肴。评分者可能会有偏见、会疲劳，或者干脆就是错误的，且结果往往取决于谁在进行评判。为了解决这个问题，科学家们开始构建“可执行”的基准测试，在这里，答案不是一种观点，而是一个可验证的事实，就像一个计算机程序要么运行正确，要么崩溃一样。在烹饪领域，这意味着从关于风味的主观争论转向一个可以通过数学精度计算出食材组合质量的系统。
这就是 FlavourBench 的基础，这项新研究将烹饪推理视为一个需要解决的逻辑谜题，而非一场辩论艺术。研究人员构建了一个名为 Epicure 的专门数字厨房环境，其中包含近 1,800 种食材，每种食材都由一组描述其风味、质地以及与其他食材搭配能力的独特数据点来表示。这个系统充当了一个公正的裁判。它没有观点；它只是根据关于饮食需求、地域传统和风味和谐的严格规则，为任何食材组合计算得分。通过使用这个系统，研究人员创建了一个基准测试，其中的“正确”答案不是一道完美的菜肴，而是给定场景下得分最高的特定三件食材组合。
该研究对世界上 27 个最先进的语言模型进行了测试。每个模型都被呈现了 534 个不同的挑战。在每一个挑战中，模型都会收到一份包含八种食材的列表，并被要求从中选择最好的三种以组成一个凝聚的组合。任务的难度各不相同：有些要求模型为缺失的食材寻找替代品，有些要求模型为特定的食物寻找最佳伴侣，而第三组则要求模型应对严格的饮食限制，例如避免高度加工食品。在模型看到问题之前，Epicure 系统已经计算了从八种选项中选取三种食材的所有可能组合的得分。这意味着对于每个问题都有 56 个潜在答案，每个答案都有一个预先确定的、范围在零到一百之间的分数。模型并不知道这些分数；它们必须依靠自身对食物的理解来做出最佳选择。
结果显示了人工智能之间清晰的等级制度。一个名为 Grok 4.6 的模型取得了最高平均分，获得了 65.1 分（满分 100 分）。紧随其后的是来自 Google 和 OpenAI 的模型，得分在 65.0 到 64.2 之间。在另一端，一个名为 Command R+ 的模型得分为 47.9。研究人员仔细指出，虽然存在排名，但许多顶级模型之间的差异很小，在统计学上是无法区分的。事实上，在所有 27 个模型的两两组合中，只有 101 对表现出了明显的、显著的性能差异。这表明，虽然某些模型在处理这种特定类型的烹饪逻辑方面比其他模型更好，但顶尖模型与优秀模型之间的差距很窄。
这项研究之所以特别重要，是因为它处理了不确定性。研究人员并没有呈现一份简单的赢家和输家名单，而是使用了严谨的统计方法来展示哪些差异是真实的，哪些可能只是随机噪声。他们发现，表现最好的模型形成了一个紧密的群体，它们的相对顺序无法被明确建立。例如，虽然 Grok 4.6 的得分最高，但统计分析显示，它的真实表现可能会与几个其他顶级模型发生重叠。这种方法防止了在数据表明它们都处于相似的高水平时，还声称某个模型绝对是“第一名”的这种虚假精确性。研究还证实了结果的一致性；当研究人员在第二组使用不同任务 ID（来自另一组的 89 个任务家族）的任务面板上运行相同的模型时，排名保持不变，两组结果之间存在强相关性。
研究还强调，高总分并不代表全部。有些模型擅长寻找契合的食材，而另一些模型则更擅长遵循严格的饮食规则。一个模型可能是搭配风味的专家，但在被要求避免某些类型的加工食品时却表现挣扎。这种细微差别在仅显示单一数字的简单排行榜中会丢失。通过将性能分解为不同的类别，研究人员展示了这些模型具有不同的优势，就像人类厨师可能擅长烘焙但在烧烤方面技术稍逊一样。数据还显示，这些模型并非仅仅是在死记硬背答案；它们是在根据提供的信息做出真正的决策，因为事实证明它们经常选择不同的食材组合，但这些组合仍然能获得高分。
研究人员向公众开放了他们所有的数据、提示词和评分工具，允许任何人验证结果或使用该系统训练新模型。这种透明度是该研究贡献的关键部分。通过提供一个“地面真相”（ground truth）是固定且可执行的系统，他们创建了一个可以用来改进人工智能的工具，而不依赖于人类的意见。研究结论指出，尽管这些模型在处理复杂的推理任务方面正在变得更好，但仍有提升空间。即使是表现最好的模型也只得到了 65 分（满分 100 分），这一事实表明，当前的人工智能与完美的烹饪推理理想之间仍存在显著差距。这个差距代表了一个机会，可以教导这些系统如何做出更加复杂且细致的决策。
最终，FlavourBench 提供了一种看待人工智能能力的新方式。它将对话从关于哪个模型听起来更像人类的主观辩论，转向了关于模型如何解决定义问题的客观测量。通过使用数字厨房作为试验场，研究人员展示了以公平、透明且可重复的方式评估复杂推理是可能的。这项研究并不声称已经解决了人工智能问题，但它为理解这些系统能做什么以及不能做什么提供了一个清晰、可衡量的进步步骤。随着技术的不断进步，像这样的基准测试对于追踪进展并确保下一代模型能够真正处理现实世界的复杂性将是至关重要的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。