🤖 AI

A robust association between LLM use and scientific productivity: Assessing stopping-time selection

本文通过多种稳健的设计证明，观察到的关联依然显著，且无法由所识别出的人工制品来解释，从而反驳了停止时间选择偏差会使“大语言模型使用与科学生产力之间存在正向联系”这一发现失效的说法。

原作者： Keigo Kusumegi, Xinyu Yang, Paul Ginsparg, Mathijs de Vaan, Toby Stuart, Yian Yin

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Keigo Kusumegi, Xinyu Yang, Paul Ginsparg, Mathijs de Vaan, Toby Stuart, Yian Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

伟大的论文计数谜题

想象一下，科学世界就像一座巨大且繁忙的图书馆，研究人员在那里不断撰写新的书籍。几十年来，衡量一名研究人员成功与否的方法很简单：计算他们写了多少本书。但最近，一个新工具登场了：大语言模型（LLMs）。你可以把它们想象成超级聪明的数字副驾驶，可以帮助作者起草文本、构思创意并润色句子。现在大家都在问一个大问题：这些数字副驾驶究竟是帮助科学家写出了更多的书，还是仅仅是一个华丽的干扰项？

为了回答这个问题，研究人员必须玩一场棘手的“找不同”游戏。他们需要弄清楚科学家究竟是从何时开始使用 AI 的，然后计算他们在那个时刻前后的产出。然而，在这个游戏中隐藏着一个狡猾的陷é——“停止时间选择”（stopping-time selection）。想象一下，你正在测量一名跑步者在喝了某种特殊的能量饮料后速度提升了多少。如果你决定在跑步者跨过第一场比赛终点线的那一瞬间按下秒表，你就制造了一个奇怪的问题。在那一刻之前的那场比赛可能是一个表现糟糕、速度缓慢的日子，这会让跑步者在喝完饮料后看起来立刻变成了超级英雄。在科学论文的世界里，如果一名研究人员的第一篇 AI 辅助论文被检测器标记出来，那么该标记前的一个月可能会因为统计上的偶然性而显得异常缓慢。这可能会误导我们，让我们以为是 AI 导致了产量的激增，而实际上那只是一个统计上的巧合。

侦探工作：这种爆发是真实的还是幻觉？

这篇论文是对一群批评者（我们称之为“怀疑论者”）的回应。这些“怀疑论者”指出，原研究中发现的——即 AI 让科学家变得更高效——可能只是由那个“标记前的糟糕月份”造成的错觉。他们认为，如果你观察随机的、毫无意义的标记，你会看到同样的虚假“爆发”模式，从而证明 AI 其实并没有起到任何特殊作用。

这篇论文的作者们是一群数据侦探，他们决定对这一说法进行测试。他们没有仅仅进行辩解，而是运行了一系列巧妙的实验，以观察当他们消除了“时间陷阱”时，“AI 爆发”是否依然存在。

首先，他们修复了“假标记”测试。
怀疑论者曾使用随机标记来展示这种模式，但作者意识到那些随机标记太弱了。这就像试图通过对比自行车来测试一台新引擎一样，这种比较是不公平的。作者重新校准了测试，使随机标记触发的频率与真实的 AI 检测器完全一致。即使在这样的“公平竞争”下，真实的 AI 检测器所显示的生产力提升也远高于随机标记。怀疑论者预测的“虚假爆发”确实存在，但它微乎其微——就像一个小小的涟漪——而真实的 AI 效应则是一波巨大的浪潮。

其次，他们尝试了四种不同的不带陷阱的测量方法。
为了绝对确保万无一失，作者设计了四个新的实验，使得“标记前的糟糕月份”无法干扰结果：

“时空旅行者”测试： 他们不再进行月度对比，而是观察 AI 使用前的一整年与使用后的一整年。这跳过了那个奇怪的“第一个月”。结果显示，使用 AI 的科学家仍然比之前多产出了约 17.3%（在较低的置信水平下）和 25.1%（在更严格的置信水平下）的工作量。
“未来用户”对照组： 他们不仅将当前的 AI 使用者与从不使用 AI 的人进行比较，还将其与那些将来会使用 AI 的人进行比较。这创造了一个更公平的基准。即使在这种保守的设置下，AI 使用者仍显示出正向的提升，比对照组高出 0.05 到 0.13 个对数点。
“强度”检查： 他们没有选择一个特定的开始日期，而是观察了一名科学家在一个季度内使用了多少 AI。他们发现，在之前的三个月里，一位科学家使用的 AI 越多，他在当前月份写出的东西就越多。当他们在 AI 出现之前的时期运行相同的测试时，这一模式消失了。
“顶端 vs 底端”竞赛： 他们将 AI 使用强度最高的论文与 AI 使用强度最低的论文进行比较，同时保持被标记论文的总数不变。AI 强度高的论文始终优于随机概率基准，而低 AI 强度的论文表现则较差。

结论
论文得出结论：怀疑论者识别出的“停止时间”缺陷确实存在，但它太小了，不足以解释生产力的巨大飞跃。这就像是在汽车上发现了一个小划痕，虽然它能解释一个凹痕，但凹痕本身其实是由一次更大的撞击造成的。当作者移除了这个时间技巧时，AI 与科学产出之间的正向联系并没有消失；它依然强劲。

然而，作者也谨慎地表示，他们并未声称已经“解决”了关于这背后的原因（即 为什么 会发生这种情况）或 AI 是唯一原因的谜团。他们承认，选择使用 AI 的科学家本身可能在其他方面就与众不同。但他们已经成功证明了“AI 爆发”并非仅仅是由糟糕的时机导致的统计幻觉。这种关联是真实的，方向是正向的，并且其效应足够强大，能够经受住最严苛的审查。

技术摘要：评估 LLM 生产力研究中的停止时间选择问题

问题陈述
本文旨在回应 Renault、Bergeaud 和 Bosquet (RBB) 对作者最初关于大语言模型 (LLM) 使用与科学生产力之间关联研究的批评。RBB 指出，原研究的方法论——将 LLM 的采用日期定为作者的第一篇摘要被检测器标记的月份——引入了“停止时间选择 (stopping-time selection)”偏差。具体而言，由于在第一次被标记之前的月份在定义上必须不包含被标记的论文，因此它代表了一个人为压低的基准（被系数 $1-p$ 缩减，其中 $p$ 是标记率）。将随后的月份与这个被压低的参考值进行比较，即使在不存在因果生产力效应的情况下，也可能产生正向的事件研究路径。作者承认这种机制在数学上是合理的，但认为这并不构成对零效应（null effect）的证明。核心问题在于：这种人工痕迹是否解释了观察到的关联强度，或者一旦考虑到该人工痕迹后，真实的正向关联是否依然存在。

方法论
作者采用了一种多管齐下的策略，旨在将停止时间人工痕迹从真实信号中分离出来，利用了重新校准的安慰剂检验和四种替代识别设计：

重新校准的随机安慰剂： 作者认为 RBB 原有的安慰剂检验存在偏差，因为它们没有匹配检测器的实际标记率。他们构建了一个新的随机安慰剂，其触发频率与经验性的 LLM 检测器完全一致。这创造了一个保守的基准，使得“停止时间”这一机械性人工痕迹保持恒定，从而允许对残差信号进行直接比较。
替代设计 1：分段时期（前后对比）： 为了完全消除被压低的参考月份，作者在一个年份（2023年）确定采用日期，并测量随后一个非重叠时期（2024年1月至6月）的产出，将其与前 LLM 时期（2022年1月至6月）进行比较。该设计消除了即时检测后的激增人工痕迹。
替代设计 2：保守控制组（双重差分法）： 作者在 DiD 框架中修订了控制组，将“从未处理”的作者与“尚未处理”的作者相结合。由于“尚未处理”的作者是未来的采用者，他们会经历与处理组相同的机械性选择偏差（即被压低的采用前月份）。这种对称性使得人工痕迹可以被差分抵消，同时由于未来采用者最终会显示出生产力提升，控制组会使估计值向零趋近，从而使控制组保持保守。
替代设计 3：基于强度的规格设定： 作者不再定义离散的采用日期，而是将当前生产力对前一季度的 AI 使用强度进行回归（通过平均检测得分或被标记论文的比例来衡量）。这打破了同期标记与同期产出之间的机械联系。
替代设计 4：基于排名的测量： 在固定标记率 ( $p$ ) 的情况下，作者比较了三种规则：标记检测得分前 $p\%$ 的论文、后 $p\%$ 的论文以及随机伯努利抽取。如果该人工痕迹是唯一的驱动因素，这三种规则应产生完全相同的结果。结果的分歧表明，标记的内容（ $\alpha$ 分数）携带了超越机械计时效应之外的信号。

关键结果

安慰剂基准： 当随机安慰剂被校准到检测器的实际标记率时，经验性的 LLM 检测器路径在处理后期间始终显著高于安慰剂基准。平均超额分别为 0.119 对数点（在 $\alpha > 0.1$ 时）和 0.183 对数点（在 $\alpha > 0.5$ 时）。安慰剂表现出负向的预处理系数，这与真实数据不同，进一步表明真实信号并非仅仅是人工痕迹。
分段时期： 在对比 2024 年产出与 2022 年基准的设计中，作者观察到采用者的生产力增加了 17.3% 至 25.1%。将同一设计应用于 ChatGPT 前的安慰剂数据时，结果为无效（-0.9% 至 0.0%），证实了该人工痕迹在分离定价与测量时期后并不存在。
保守控制： 使用合并控制组后，作者发现了一个持续的正系数（合并估计值：0.068 对数点），且在统计上显著。安慰剂的应用结果显示不显著。由于该设计会削弱估计值，因此该正向结果被解释为下限。
强度与排名： 基于强度的规格设定显示，前期 AI 使用量具有正向且高度显著的系数，而安慰剂数据则显示负向且不显著的系数。同样，基于排名的测试显示，高 $\alpha$ 规则显著优于随机基准，而低 $\alpha$ 规则表现较差，这种模式在安慰剂数据中并不存在。

意义与主张
作者得出结论，RBB 所识别的停止时间选择机制是真实存在的，但其影响是有限的。它无法解释其原始工作中报告的生产力变化模式。四种不同设计的一致性结果——每种设计如果仅由机械因素驱动，都无法产生正向信号——为存在正向关联提供了稳健的证据，即 LLM 的采用与科研产出的增加之间存在正向关联。

至关重要的是，作者保持了其原始主张的谦逊态度：

他们并未声称这些估计值是因果性的。他们明确指出，技术采用（谁在何时采用）中的内生性问题仍未解决。
他们并未声称已经确定了精确且普遍的效应量级。他们认为该量级取决于所研究的具体模型代际和时间窗口。
他们的主要贡献在于确立了关联的方向（正向）在移除特定的定价人工痕迹后依然存在，从而反驳了其效应完全是伪造的假设。

本文作为一项方法论辩护，证明了虽然需要谨慎对待通过观察结果来确定处理日期的事件研究设计，但所识别出的特定人工痕迹并不会使观察到的 LLM 采用与科研产出增加之间的相关性失效。

伟大的论文计数谜题

侦探工作：这种爆发是真实的还是幻觉？

技术摘要：评估 LLM 生产力研究中的停止时间选择问题

类似论文