🌀 nonlinear sciences

Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

本研究分析了 2010 年至 2025 年间数百万篇 arXiv 摘要，旨在证明自 2023 年以来大语言模型的广泛采用已微妙地改变了科学文本的涌现复杂度特性，这体现为高频词更迭率的剧增，以及 LLM 相关风格与传统复杂度指标之间关系的趋平。

原作者： R. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： R. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，科学写作的世界就像一座巨大且繁忙的图书馆，数以百万计的人（研究人员）正不断地向书架上添加新的书籍（摘要）。几十年来，这座图书馆完全由人类管理。但从 2023 年开始，一位新型图书管理员来到了这里：大语言模型（LLM），一种通过学习人类写过的所有书籍来生成文本的 AI。

这篇论文提出了一个简单的问题：当人类和 AI 开始共同写作时，图书馆的“氛围”会发生什么变化？

研究人员不仅观察了“写了什么”；他们还观察了单词的数学模式，就像音乐学家通过分析歌曲的节奏来观察新乐器是否改变了节拍一样。

以下是他们的发现，通过简单的概念进行了解析：

1. “风格指纹” (The "Style Fingerprint")

研究人员创建了一个“风格指纹”来识别何时可能涉及 AI。他们注意到，从 2023 年开始，科学摘要开始更频繁地使用某些短语（如 "crucial" 或 "showcase"）和标点符号（如破折号）。这就像是注意到突然间，镇上的每个人都开始戴上某种特定类型的帽子。这证实了 AI 工具在写作中的使用非常广泛。

2. “词汇爆炸” (The "Vocabulary Explosion") —— 好消息？

人们可能会担心 AI 会让写作变得枯燥或重复，就像一张坏掉的唱片。然而，这项研究发现，在这个特定的图书馆里，情况恰恰相反。

研究发现： 在 2023 年之后，这些摘要中使用的独特单词总数实际上增长得更快了。
类比： 想象一个花园。在 2023 年之前，花园里的花朵以稳定的速度生长。2023 年之后，花园开始以惊人的速度长出新的、稀有的花朵。AI 并没有让词汇量变小；它似乎帮助这个“词汇花园”绽放得更加迅速。

3. “热门榜单”的大洗牌 (The "Hot List" Shuffle) —— 重大的变化

这是最有趣的发现。研究人员观察了图书馆每年“前 10 名”或“前 50 名”最热门单词的变化。

2023 年之前： 热门词汇相当稳定。如果 "model" 或 "data" 在 2020 年处于前 10 名，那么它在 2021 年很可能仍在其中。这是一种缓慢、稳定的更迭。
2023 年之后： “热门榜单”开始剧烈洗牌。单词被踢出榜单的速度加快，而新词涌入的速度也变快了。
类比： 想想“百强单曲”排行榜。2023 年之前，同样的几首歌会在榜首停留数月。2023 年之后，排行榜变成了过山车；歌曲进入和离开榜单的位置变得极其迅速。AI 似乎在为这种混合物注入大量的“风味”，导致最受欢迎的单词想法变化得非常快。

4. “扁平化”的关联 (The "Flattening" Connection)

研究人员注意到了一种奇怪的关系变化。

2023 年之前： “AI 风格指纹”与词汇统计数据之间存在很强的联系。随着 AI 风格增强，词汇统计数据的变化呈现出一种可预测的、陡峭的方式。
2023 年之后： 这种联系变得“扁平”了。尽管 AI 风格仍在增强，但词汇统计数据并没有做出同样剧烈的反应。
类比： 想象你在推秋千。2023 年之前，一个小小的推力（AI 风格）就能让秋千荡得很高（词汇变化）。2023 年之后，你必须推得同样用力，但秋千荡起的高度却没那么高了。系统变得更加复杂；AI 的影响确实存在，但人类与 AI 的混合体在反应上变得更加微妙、不再那么容易预测。

核心结论

论文的结论是，我们正生活在一个人类与 AI 共同写作的混合生态系统中。

AI 让写作变得更简单了吗？ 在这个图书馆里，并没有。词汇变得更加丰富了。
AI 让写作变得枯燥了吗？ 没有，但它让“热门单词”改变主意的速度变得更快了。
启示： 人类与 AI 之间的关系正在创造一种新的、复杂的节奏。文本不再仅仅是“人类的”或“AI 的”；它是一个正在以微妙但可测量的方式进化的混合体。科学写作的“节拍”已经改变，变得更加动态和节奏更快，即便整体旋律听起来依然熟悉。

技术摘要：人类–LLM 协作正在改变科学文本中的复杂度度量

问题陈述
大语言模型（LLMs），特别是自 2023 年初广泛采用以来，正成为人类–AI 语言生态系统中不可或缺的贡献者。虽然 LLMs 是基于人类语言训练的，但它们的融入引发了关于它们如何改变语言涌现属性的问题。目前存在两种竞争性的理论视角：一种认为 LLMs 可能通过简化和回收训练数据来降低词汇复杂度（如果未来的模型在 AI 生成的输出上进行训练，可能会导致“模型崩溃”）；另一种则认为，混合的人类–AI 群体可能会通过集体偏见和反馈循环产生新的涌现动态。核心问题在于：LLM 生成或经由 LLM 修改的文本进入科学文献（特别是 arXiv 摘要）的过程，是否会对控制词汇复杂度的统计规律（如齐普夫定律、希普斯定律和词汇更替率）产生可检测的偏移。

研究方法
作者将 2.2023 年起生成式 AI 工具的快速普及视为一次“自然实验”。他们分析了从 2010 年 1 月至 2025 年 9 月的超过 270 万篇 arXiv 摘要，重点关注第一版（v1）提交的内容。

LLM 风格指数构建： 为了量化 LLM 的影响，作者构建了一个综合性的“LLM 相关风格指数”。该指数聚合了已知随 LLM 使用量增加而增加的特定风格标记的标准化月度频率：破折号的使用（连字符、中横线、长破折号）以及特定的词汇标记（如“significant”、“crucial”、“showcase”）。
复杂度度量： 研究追踪了三个主要的词汇结构指标：
- 词汇量（Vocabulary Size）： 唯一词类（types）的数量。
- 希普斯定律指数（Heaps' Law Exponent, $b$ ）： 描述语料库规模与词汇增长之间的关系（ $V(N) = aN^b$ ）。
- 齐普夫定律指数（Zipf's Law Exponent, $\alpha$ ）： 描述单词的秩-频率分布（ $P(r) \propto r^{-\alpha}$ ）。
- Top- $y$ 更替率（Top- $y$ Turnover）： 进入年度排名靠前的实词列表中的新词比例，作为传输偏见（趋同性 vs. 新颖性）的诊断指标。
统计分析：
- 基准测试： 使用 HC3 语料库将人类文本与 LLM 生成的文本（GPT-3.5）进行对比，以建立基准差异。
- 时间趋势： 计算了 2014 年至 2025 年间 arXiv 语料库的月度统计数据。
- 回归模型： 采用多元模型来预测词汇复杂度度量指标，使用变量包括出版年份、LLM 风格指数、2023 年后的指示变量及其交互项。这种方法隔离了 LLM 风格对一般性长期趋势的影响。
- 早期预警信号（EWS）： 分析了滚动滞后-1 自相关、偏度和方差，以检测时间序列中的临界减速或不稳定性。

关键结果

基准差异： 在 HC3 语料库中，LLM 生成的文本表现出略低的希普斯指数（ $b=0.522$ ）和略高的齐普夫指数（ $\alpha=1.741$ ），而人类文本分别为（ $b=0.539$ ， $\alpha=1.681$ ），这表明 LLM 输出的词汇多样性略低且集中度较高，尽管两者的分布仍然相似。
arXiv 中的时间偏移：
- 风格指数： 自 2023 年起观察到 LLM 相关风格指数的剧增，这与 ChatGPT 等工具的广泛采用相吻合。
- 词汇度量： 齐普夫定律和希普斯定律的指数变化较为细微。然而，词汇量和希普斯指数在 2023 年后呈现出适度的加速增长。
- 交互效应： 至关重要的是，LLM 风格指数与词汇复杂度度量之间的关系在 2022 年后发生了变化。风格指数与词汇量、希普斯指数及齐普夫指数的正相关关系在 2023 年后变得更加平缓。回归模型证实，2023 年后的词汇增长超过了仅根据此前时间趋势所预期的水平，这表明存在一种截然不同的动态转变。
- 更替率： 最显著的结构性变化是 2023 年开始，排名靠前的单词更替率大幅上升。更替率相对于列表规模的缩放关系从 2023 年前的略微凹向上（ $b=1.15$ ）转变为 2023 年后的略微凹向下（ $b=0.969$ ），表明有更多新词进入了高频排名。
EWS 诊断： 标准的早期预警信号诊断（自相关、方差）仅显示出适度的变化，表明尽管存在更替率的结构性转变，但系统尚未达到临界点或不稳定的临界状态。

意义与主张
本文声称，LLM 向科学写作的整合正在以微妙但可测量的形式改变语言生态系统的涌现属性。与“LLM 会统一降低词汇多样性”的假设相反，作者发现当前的 LLM 贡献与增加的词汇丰富度和加速的更替率相关联。

LLM 风格与复杂度度量之间关系的平坦化表明，混合的人类–AI 群体的动态与纯人类或纯 AI 生成的动态是不同的。更替率的增加意味着系统的“传输偏见”发生了转变，可能注入了更多的新颖性或改变了科学论述中的趋同动态。

作者总结道，这些转变指向了短期效率与长期信息多样性之间的潜在紧张关系。他们警告说，如果人类生成语言与混合语言的多样性随时间下降，可能会影响未来在这些数据上进行训练的 AI 系统的鲁棒性。该研究将 LLM 不仅仅视为工具，而是将其视为一种新的文化演化反馈机制，其后果堪比文字或市场的出现，因此有必要持续监测人类–AI 协作如何重塑科学知识的复杂度。