How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs
本文通过证明解析器回退、分母选择偏差以及格式不合规人为地夸大了原有的结果，同时还揭示了所声称的架构边界无法区分用于计算的模型，从而在复现了大型语言模型中存在有界约束追踪能力的同时，使此前报道的幂律缩放指数失效。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一个计算机程序可以阅读一系列规则并完美地执行它们，无论这些规则列表有多长。这就是现代人工智能，特别是被称为“大语言模型”的一种系统的承诺。这些程序在海量文本上进行训练，能够回答问题、编写故事或解决问题。随着这些系统变得越来越庞大，拥有更多的内部组件和更多的数据，它们通常在处理复杂任务时表现得更好。科学家们长期以来一直想知道，单个模型在其“大脑”中同时能容纳多少条独立的指令，是否存在一个硬性极限。如果你给一个模型十条规则去遵循，它能做到吗？二十条呢？遵循规则的能力是随着模型的增大而稳步增长，还是会突然崩溃？
最近的一项研究声称已经找到了这个问题的精确答案。该研究表明，随着模型的增大，它们追踪多条规则的能力会按照特定的数学模式（如一条可预测的曲线）增长。研究人员提出，小型模型可能在仅遵循几条规则后就会失败，而大型模型则可以处理更多规则，并且这种关系遵循一条严格的定律。这个想法令人兴奋，因为它提供了一种方法，可以根据机器的大小来精确预测未来的机器将具备怎样的能力。然而，一项新的调查仔细检查了原始数据和获取这些数据的方法，并讲述了一个不同的故事。这项新工作发现，虽然存在极限的基本概念是真实的，但描述该极限如何增长的具体定律却并未得到证据的支持。
这项调查始于对原始数据日志（即模型在响应测试时实际书写内容的记录）的重新审查。研究人员构建了一种更严格的新方式来读取这些响应。在原始研究中，用于评分的计算机程序有一个“安全网”：如果它在响应中找不到足够的清晰答案，它就会再次扫描整个文本，寻找“是”或“否”这两个词出现在任何地方。如果它找到了，它就会将这些词计为正确答案，即使模型从未打算将它们作为对特定问题的回答。这个安全网在近四分之一的测试中触发了。它本质上是在为模型“填补空白”，将模型无意中写出或作为句子一部分的词也计入得分。
当新研究人员移除了这个安全网，并强制要求计算机只统计格式清晰且正确的答案时，结果发生了变化。这种现象（极限的存在）依然存在。同一个家族中的小型模型确实会挣扎并最终无法遵循许多规则，而大型模型表现得好得多。这证实了核心观察结果是真实的：模型确实有容量极限，而且规模很重要。然而，描述这种容量如何随规模增长的具体曲线却消失了。原先关于遵循规则的能力会随着模型变大而以可预测的方式翻倍或增加到三倍的说法，其实是一种由计数方式造成的幻觉。
研究人员随后将这种修正后的方法测试在范围更广的模型上，包括通过在线服务提供的八个不同系列的系统。他们发现，原始的数学定律并不成立。在一种类型的任务中，模型并没有表现出预期的增长；相反，它们遇到了一个天花板，即无论模型规模多大，都无法处理超过一定数量的规则。在另一种任务中，模型似乎完美地遵循了所有规则，但这仅仅是因为它们只是在一段长段落中重复指令，而不是在实际追踪每一条规则。在好几种情况下，模型的失败并非因为缺乏遵循规则的智能，而是因为它们没有遵循要求的严格格式。它们写下了长篇、深刻的文章，而测试要求的是简单的列表，评分系统将此视为完全失败。
调查还研究了用于解释模型行为表现的理论。原研究认为，限制是由模型的特定架构特征（一个从其内部结构计算出的数值）决定的。新的审计发现，用于证明该理论的两个模型在该特征上的数值完全相同，但它们的表现却迥异。这意味着该理论实际上无法解释它们之间的差异。所提出的解释过于宽泛，以至于无法发挥作用，因为它允许任何结果出现，因此无法预测观察到的具体结果。
最终结论是，这些机器追踪多重约束的能力是真实且可衡量的，但声称描述它的精确数学定律尚未得到支持。最初的发现是真实发现与测量误差的混合物。误差源于一种常见的、隐形的、关于计算机如何读取答案的选择，这种选择无意中填充了缺失的数据，并创造了一个虚假的模式。研究人员强调，这并不意味着模型是完美的，也不意味着我们完全了解它们的极限。它仅仅意味着，关于可预测缩放定律的具体说法是建立在不稳固的基础之上的。要向前迈进，未来的研究必须使用更严格的答案读取规则，将每一个缺失的答案都计为失败，并在宣布某种普遍定律之前，测试更多的模型。理解这些机器的路径是清晰的，但它要求我们在没有那些会掩盖真相的“安全网”的情况下观察数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。