Placebo Failures in Domain-Stratified Interrupted Time Series of Mean Lexical Diversity on the Post-2022 Web: A Methodological Caution on Common Crawl MATTR/MTLD Break- point Identification (with Secondary LLM-Associated Vocabulary Markers)
这项方法论研究表明，关于 2022 年后英文网络平均词汇多样性下降的说法并不稳健，因为安慰剂检验显示多个领域存在伪断点，而剩余具有统计学意义的分析则由于效能不足而结论不明。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每一种主要的通信技术都会在我们的言语和写作方式上留下痕迹。当印刷机问世时，它标准化了拼写和语法；当互联网普及时，它加速了俚语和短句的传播。现在，一种新的力量进入了对话：能够为我们写作的人工智能。这些大型语言模型不仅是在传输人类语言，它们还在大量生成语言，且往往倾向于选择常见、安全且可预测的词汇，而非罕见或不寻常的词汇。这为人类表达的未来提出了一个简单而深刻的问题：如果机器编写了开放网络上大部分的文本，语言本身是否会变得更加简单、多样性降低且趋于统一？
研究人员长期以来一直怀疑这种情况可能会发生。在受控测试中，计算机生成的文本通常比人类写作使用的不同词汇更少。一些研究表明，随着人们使用这些工具来润色自己的草稿，他们的写作可能会向一种共同的、中间地带的风格漂移，从而失去其独特的复杂性。然而，在真实且混乱的互联网上证明这一点是非常困难的。互联网是一个混乱的地方，新闻周期、广告趋势和平台规则都在不断变化。为了寻找人工智能影响的信号，科学家必须将人工智能引起的真实转变与互联网的自然噪声区分开来。他们需要知道语言是真的发生了变化，还是仅仅看到了光影造成的错觉。
一项新研究试图通过将互联网视为一台“时光机”来回答这个问题。研究人员收集了来自名为 Common Crawl 的公共存档的大规模英文网页，时间跨度从 2020 年初到 2024 年底。这一时间线至关重要，因为它包含了在 2022 年 11 月一款流行的 AI 聊天机器人发布之前和之后的时期，而这个时刻常被视为大规模采用 AI 的起点。团队将网络划分为不同的“社区”，以观察这种效应在不同语境下是否有所不同。他们查看了新闻网站、个人博客、公共讨论论坛和在线商业页面。对于每一个群体，他们测量了两个具体指标：文本中出现了多少种不同的词汇（词汇多样性）以及这些词汇是如何排列组合的。他们还寻找了一组在 AI 模型中变得流行的特定词汇，例如“delve”（钻研/探究）、“tapestry”（织锦/挂毯）和“landscape”（景观/格局），以观察这些标记的频率是否正在上升。
研究人员使用了一种称为“中断时间序列”的方法，这本质上是一种通过追踪随时间变化的趋势线来观察在特定日期是否发生了突发事件的方法。他们预期，如果 AI 正在重塑网络，那么词汇多样性的趋势线会在 2022 年 11 月之后出现剧烈下降。他们还进行了严格的检查，以确保其方法是可靠的。在观察真实数据之前，他们先在过去的虚假日期上测试了系统。如果系统在没有任何事情发生的日期声称发现了突然的变化，则意味着该方法过于敏感，容易产生虚假警报。这一步骤至关重要，因为互联网充满了与人工智能无关的随机波动和起伏。
这项细致调查的结果却出人意料地平淡。当研究人员观察真实数据时，他们并未发现许多人预言的那种具有统计学意义且结论性的词汇多样性下降。事实上，当他们应用严格的判定标准来界定什么是有效的发现时，剩余的证据是不确定的；数据过于嘈岭，无法确认变化，但也无法证明没有发生变化。只有少数几个显示出潜在下降趋势的群体规模很小且在统计学上很弱，这意味着数据噪声太大，无法确定是否发生了变化。该研究明确指出，不存在任何“具有信息能力的无效值”（informative powered null），这意味着它既不能明确排除语言多样性下降的可能性，也无法证实这种下降的存在。甚至连作为对照组的“安慰剂”测试也显示，该方法很容易将随机的互联网噪声误认为真实的趋势。例如，在新闻类别中，系统在 2021 年的一个虚假日期检测到了重大转变，这证明该方法不够稳健，在没有进一步证据的情况下无法信任其实际结果。
研究确实发现了一些与 AI 相关的特定词汇变得稍微普遍了一些，特别是在商业和新闻写作中。然而，这种增长非常微小，并且未能通过用于排除偶然性的严格统计测试。这表明，虽然 AI 可能留下了微弱的风格指纹，但它尚未导致语言变得显著简化或统一到可以被清晰测量的程度。研究人员得出结论，在 AI 工具发布后，通过数据并不支持关于语言复杂度发生突然且广泛下降的观点，但由于数据的局限性，目前尚无法得出明确的结论。在 AI 热潮后的这些年里，网络的语言似乎保留了其多样性，尽管研究无法以绝对的确定性来证实这一点。
这并不意味着人工智能对语言没有影响，而仅仅是其影响比简单的词汇多样性下降更难被检测到。该研究强调了在像互联网这样一个活生生的生态系统中衡量此类变化的难度。研究人员指出，他们的研究受到处理文档数量以及互联网存档采集方式的具体限制。他们强调，他们的发现仅针对所研究的时间段和所考察的网站类型。他们没有找到证明 AI 已经使人类写作同质化的“冒烟的枪”（确凿证据），但也并未证明它永远不会发生。关于 AI 如何改变语言的故事仍在书写之中，而这项研究是一个警示：这些变化可能是微妙、复杂且容易被误认为是数字世界正常噪声的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。