Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

技术摘要：组件系统中普遍多样性标度的替代路径

问题陈述
复杂的“组件系统”——从基因组、蛋白质组到语言、乐高（LEGO）结构以及大语言模型（LLM）——都表现出极其一致的多样性统计规律。研究观察到了两种主要的正则性：

1. 希普斯定律（Heaps' Law）： 不同组件的数量（词汇量，$h$）随系统总规模（$m$）呈亚线性增长，通常表现为 $\langle h \rangle \propto m^\nu$，其中 $0 < \nu < 1$。
2. 二次方波动标度（Quadratic Fluctuation Scaling）： 词汇量的方差随其均值呈二次方关系增长（$\sigma_h^2 \propto \langle h \rangle^2$），这表明了非自平均行为。这与简单的采样模型（泊松标度，$\sigma_h^2 \propto \langle h \rangle$）形成了鲜明对比。

虽然这些模式通常被解释为某种底层“创新”（innovation）机制的特征（即随着系统增长，不断发现新组件），但同时产生这两种定律所需的最小要素仍不明确。此外，尚不清楚这些统计规律是否能唯一识别生成机制，或者是否存在替代框架（例如潜在异质性，latent heterogeneity）可以产生完全相同的宏观特征。

方法论
作者采用数学建模方法来比较两种广泛的解释框架：

1. 序列增长模型（创新-复制模型）： 这些模型假设系统通过添加现有组件的复制或新组件的发现（创新）来增加标记（tokens）。作者推导了一类通用模型的解析条件，特别研究了创新概率 $p_n(h, m)$。他们利用连续时间近似和均值场轨迹的稳定性分析，分析了均值和方差的渐近行为。
2. 具有潜在异质性的采样模型： 这些模型假设实现过程是从一个组件频率分布（通常是幂律/齐夫分布）中进行采样的，而该分布因“潜在变量”（例如文本中的主题、基因组中的分类群）而异。作者利用**全方差定律（law of total variance）**将总方差分解为主题内方差和主题间方差。

该研究通过对四个不同数据集进行理论预测验证，验证了上述模型：

• 古腾堡计划书籍与维基百科： 分析了文本语料库中的词汇多样性。
• 乐高（LEGO）结构： 分析了按主题标注的积木类型多样性。
• 蛋白质组： 分析了按分类群标注的细菌基因组中蛋白质结构域家族的多样性。
• 大语言模型（LLMs）： 使用随机提示词生成的 GPT-2 和 Lima-3 的文本。

核心贡献与结果

1. 创新模型的必要条件
作者推导出，若要使通用的创新-复制模型同时重现希普斯定律和二次方波动标度，创新概率必须满足特定的渐近依赖关系：
$$p_n \sim \frac{h}{m}$$
这代表了一种**“多样性产生多样性”**的机制，即发现新组件的概率与当前多样性（$h$）成正比，并与系统规模（$m$）成反比。

• 如果 $p_n$ 仅取决于 $m$（例如标准的 Yule-Simon 模型），系统可以实现亚线性增长，但会被限制在泊松标度内（$\sigma_h^2 \leq \langle h \rangle$），无法捕捉到观察到的二次方波动。
• 作者证明了这种线性依赖是此类模型中的必要条件；其他函数形式无法同时重现经验标度。

2. 大语言模型中标度的涌现
研究测试了“多样性产生多样性”假设在 LLM 中的适用性。通过分析给定随机提示词下 GPT-2 和 Llama-3 的输出词汇量，作者发现有效创新概率确实与当前词汇量呈线性关系（$p_n \propto h/m$）。这表明，尽管 LLM 极其复杂，其生成过程实际上实现了产生所观察到的统计规律所需的特定创新规则。

3. 作为替代路径的潜在异质性
作者证明，在具有潜在变量（如主题）的采样模型中，无需显式的创新机制即可自然产生二次方波动标度。

• 利用全方差定律，他们展示了如果平均词汇量取决于一个潜在变量（例如 $\langle h \rangle_t = k(t)m^\nu$），那么不同实现之间的方差会包含一个与潜在变量方差成比例的项：$\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$。
• 对于足够大的系统规模，二次方项将占据主导地位，从而重现经验标度。
• 至关重要的是，在这种框架下，从数据中推断出的“有效”创新概率（$p_n \approx d\langle h \rangle/dm$）也会收敛于线性形式 $p_n \sim h/m$，这并非因为存在显式的规则，而是作为潜在异质性的统计结果。

4. 经验验证与不可区分性
对基因组（分类群）和乐高套装（主题）的分析表明，基于已知标注进行条件化处理可以将实现过程分为具有不同多样性水平（不同的前因子 $k(t)$）的组，同时保留组内的幂律增长。然而，即使在条件化处理后，残余的二次方波动仍然存在，这表明已知标注仅捕捉到了潜在结构的一部分。

• 结论（关于机制）： 本文得出结论，基于希普斯定律、波动标度和推断的创新概率，两种框架——创新驱动增长与潜在变量采样——在现象学上是不可区分的。两者都导向了相同的宏观统计规律。

意义与主张
本文通过揭示一种概念上的二元性，为理解组件系统的多样性标度提供了更清晰的解释：

• 无唯一识别性： 观察到的统计规律（希普斯定律和二次方波动）并不能唯一确定底层的生成机制。它们既可以源于显式的“富者更富”的创新过程，也可以源于异质潜在状态的统计聚合。
• 统一的统计图景： 作者提出了一个统一的观点，即潜在结构解释了组件频率、平均多样性和多样性波动。在增长模型中观察到的“多样性产生多样性”机制，可能是底层潜在异质性的一种涌现出的有效描述。
• 警示说明： 研究结果提醒人们，不要将多样性标度视为特定创新过程的决定性证据。在像乐高结构或基因表达谱这样不以序列创新为自然描述的系统中，潜在变量提供了一个更简洁的解释。
• 未来方向： 本文指出，需要超越二阶统计量（如高阶相关性）的观测指标，或者研究具有完全表征潜在变量的系统，以区分这些机制。

这项工作连接了复杂系统理论、统计物理学和生物学，表明多样性标度的普遍性可能源于一般的统计原理（如全方差定律），而非特定的动力学规则。