🤖 AI

Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications

本文研究了从玩具领域到现实世界领域中方程发现的增长动态，发现虽然短期增长遵循幂律，但长期轨迹表现出依赖于底物的饱和模式，这些模式最好用饱和幂律函数来建模，且具体动态在不同计算环境之间存在显著差异。

原作者： Fabio Rovai

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabio Rovai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在经营一家为游戏制定新规则的工厂。每天，你的工厂都会尝试发明一条新规则，检查它是否合理，如果合理，就将其加入“规则手册”。

本文研究了这条“规则手册”随时间增长的速度。作者 Fabio Rovai 在三个不同的“游戏世界”（数学、逻辑和列表）中进行了这项实验，并观察了互联网上数学库实际增长的案例。

以下是他们发现的故事，以简明的方式呈现。

1. 事物增长的两种方式

研究人员正在寻找增长的模式。他们发现了两种主要的可能性：

“永恒指数”（纯幂律）： 想象一个雪球滚下山坡。它变得越来越大，而因为它变大了，所以它能以越来越快的速度卷起更多的雪。它永远不会停止加速。这就是你刚刚起步时会发生的情况。
“饱和”曲线： 想象用软管给水桶注水。起初，水位上升很快。但随着水桶快满了，水无处可去。水位上升变慢，最终停止上升，即使你继续开着软管。水桶已达到其极限。

2. 短期与长期的谜团

当研究人员观察短期增长（实验的前几天）时，一切看起来都像是“永恒指数”。规则手册增长迅速，并且完美符合一个简单的数学曲线。

然而，研究人员有一个理论：最终，增长必然会放缓。 为什么？因为在发明完所有新规则之前，你能想出的规则数量是有限的。一旦你找到了所有简单的规则，找到新规则就会变得越来越难。

他们提出了一个新模型：“饱和幂律”。该模型指出：“像雪球一样快速起步，但最终你会撞上天花板并放缓速度。”

3. “一刀切”的陷阱

这里是棘手之处。研究人员试图建立一个“水晶球”，根据工厂设置（例如质量控制有多严格，或者生产线上有多少工人）来预测规则手册的增长速度。

在单个工厂内部： 他们可以非常准确地预测增长速度。如果他们知道设置，他们就知道速度。
在不同工厂之间： 当他们试图用“数学工厂”的设置来预测“列表工厂”的速度时，水晶球彻底失效了。它预测的速度错误得如此离谱，以至于还不如直接猜测平均值。

教训： 增长的规则完全取决于你正在玩的游戏类型。你不能为所有领土使用同一张地图。

4. 现实世界的测试：玩具撒谎了吗？

研究人员在他们的小型工厂中测试了他们的“饱和”理论。

结果： 玩具工厂没有增长足够长的时间以触及“天花板”。它们仍处于“雪球”阶段。
问题： 当他们试图使用“饱和”模型来预测未来时，它失败了。它预测增长会过早停止。简单的“永恒指数”模型实际上更好地预测了未来，因为玩具实际上尚未达到其极限。

类比： 想象观察一个婴儿的成长。如果你只观察第一个月，你可能会认为婴儿会永远以那个速度生长。如果你试图根据那第一个月来预测他们 20 岁时的身高，你会出错。你需要看到他们经历生长突增然后放缓，才能了解模式。玩具工厂只是“婴儿”。

5. 现实世界的证明：数学库

为了验证“天花板”理论是否真实，他们观察了互联网上两个巨大的现实世界数学库：Mathlib（用于 Lean 语言）和Mathcomp（用于 Coq 语言）。

Mathlib（快速增长者）： 该库一直在爆炸式增长。数据显示，它终于开始弯曲。正如“饱和”模型预测的那样，增长正在放缓。它看起来正在触及天花板。
Mathcomp（稳定增长者）： 该库已经存在了几十年。它稳定增长，但尚未触及天花板。对于这一库，“永恒指数”模型仍然最有效。

结论： “饱和”模型是真实的，但你只有在项目老到足以耗尽简单想法时才能看到它。

6. “新颖性过滤器”悖论

研究人员还发现了一个关于他们如何过滤掉不良规则的有趣怪癖。

在简单的游戏（如基础数学）中，保持“新颖”（发现新规则）有助于工厂快速成长。
在复杂的游戏（如高级列表）中，保持“新颖”实际上会扼杀增长。工厂对什么算作“新”变得如此挑剔，以至于它几乎拒绝了所有东西，规则手册停止增长。

总结

本文是对任何试图预测 AI 或数学系统增长速度的人的一个警示故事：

短期增长看起来会永远持续下去。
长期增长最终会撞墙（饱和）。
你不能根据一个系统的速度来预测另一个系统的速度； 它们具有不同的“物理规律”。
“饱和”效应是真实的， 但你只能在成熟的系统（如 Mathlib 库）中看到它，而在年轻的玩具系统中看不到。

作者本质上是在说：“我们发现了一条关于发现系统增长的新定律，但它只有在系统老到足以耗尽简单想法时才会显现。”

技术摘要：等式发现中的饱和缩放定律

问题陈述

本文探讨了确定性符号发现系统（特别是那些通过添加等式重写规则而扩展的系统）是否遵循类似于大型语言模型（LLM）中发现的经验缩放定律。虽然神经模型的缩放定律（Kaplan 等人，2020；Hoffmann 等人，2022）已得到充分确立，但确定性基底（如归纳逻辑编程、等式饱和和程序合成中所使用的基底）是否遵循可比的增长动态，仍是一个未解之谜。作者旨在表征这些系统中增长的 phenomenology（现象学），测试简单的幂律或更复杂的饱和函数是否能更好地描述随时间推移发现规则的积累过程。

方法论

该研究采用了一个受控的实验框架，涉及三个具有递增类型复杂性的“玩具”确定性基底：

算术（arith）： 基于具有加法、乘法和自由变量的类型化语法的等式恒等式。
布尔（bool）： 基于逻辑运算符（and、or、not）的恒等式。
高阶列表（list）： 受 DreamCoder 启发的领域，包含 map、fold 和 cons 等原语。

发现循环：
系统在离散步骤 $t$ 上增长基底 $S$ （一组重写规则）。在每一步：

生成器基于 $S$ 的当前状态提出候选等式（使用随机、组合、频率加权或 MDL 贪婪等策略）。
候选项通过随机实例化测试语义正确性。
接受的配对被泛化（用模式变量替换自由变量）。
可配置的接受过滤器（“任意”或“新颖性”）决定该规则是否被提交至 $S$ 。

数据收集：
作者在上述基底上生成了 592 条独立的发现轨迹，变化了五个架构特征：生成器类型、过滤器严格程度、递归深度、批次大小和随机种子。他们测量了随时间变化的总规则数 $|S(t)|$ 。

建模方法：
作者提出了一种启发式平均场闭包模型，该模型源于均匀覆盖和近似独立性的假设。这导出了一个增长微分方程：
$\frac{dN}{dt} = K \cdot N^k \cdot e^{-\mu N}$
其中 $N$ 是基底大小， $k$ 与生成器的重组深度相关， $\mu$ 代表候选空间的覆盖分数。

短程（ $\mu N \ll 1$ ）： 该方程近似为纯幂律 $N(t) \propto t^b$ ，其中 $b = 1/(1-k)$ 。
长程（ $\mu N \gtrsim 1$ ）： 指数项诱导饱和，由逻辑 - 幂律形式建模。

该研究使用 AIC 进行模型选择，并利用梯度提升回归从架构特征预测指数 $b$ ，将三种候选模型（纯幂律、拉伸指数、饱和幂律）拟合到数据中。

主要贡献与结果

1. 短程幂律动态

在 592 条轨迹中，基底大小 $|S(t)|$ 在短程（最多 30 个 epoch）内的增长始终符合幂律形式 $t^b$ 。指数 $b$ 根据领域和架构的不同，在 0 到 1.15 之间连续变化。

架构敏感性： 在单一基底内，指数 $b$ 对架构选择高度敏感。使用五个架构特征的梯度提升回归器，在算术/布尔和列表领域均能以交叉验证 $R^2 \approx 0.82$ 的精度预测 $b$ 。
跨基底转移失败： 在算术和布尔数据上训练以预测 $b$ 的模型，当应用于列表领域时完全失效（ $R^2 \approx -0.84$ ）。在扁平类型基底中促进复合增长的最佳架构（例如新颖性过滤器）会抑制高阶类型基底中的增长。这表明增长动态是基底条件性的，而非普适的。

2. 长程饱和假设

作者测试了增长是否如闭包模型预测的那样最终达到饱和。

玩具数据（列表领域）： 将五条列表领域轨迹扩展到 500 个 epoch，饱和幂律模型在超过 200 个 epoch 的轨迹的样本内 AIC 比较中胜出。然而，样本外预测（在前 100 个 epoch 上拟合并预测接下来的 400 个 epoch）在所有 5 个案例中均由纯幂律模型胜出。作者得出结论，玩具轨迹实际上并未在 500 个 epoch 内达到饱和机制；样本内对饱和模型的偏好可能是一个拟合伪影，其外推能力较差。
现实世界数据（Mathlib4）： 对 Mathlib4 库中每月新增 .lean 文件（60 个月，9,701 个文件）的分析支持饱和形式。在样本外预测中，饱和模型的表现优于纯幂律模型约 7 倍（RMSE 为 3,279 对比 23,896），表明 Mathlib4 已达到饱和机制。
现实世界数据（Coq Mathcomp）： 对 Coq Mathcomp 库中每月提交记录（129 个月）的分析倾向于纯幂律。饱和参数 $\mu$ 坍缩为零，且纯幂律在样本外预测中表现优于饱和模型约 67 倍。这表明 Mathcomp 尚未达到饱和机制。

3. 现象学框架

本文提出了一个工作框架：“具有基底条件性 $(k, \mu)$ 的饱和幂律增长，当基底达到其饱和机制时即可观察到。” 动态在两个层面上具有条件性：

预测增长指数的架构参数无法在不同基底类型之间转移。
描述增长的函数族（纯幂律与饱和幂律）取决于基底的具体生命周期阶段。

意义与主张

本文将自己定位为对确定性等式发现缩放定律的首次实证和理论调查，提供一种现象学而非确定的理论。

适度范围： 作者明确指出，证据仅限于三个玩具基底和两个现实世界代理（这些代理较为粗糙，仅依赖提交/文件计数）。他们承认，由于玩具数据在样本外预测上的失败，长程玩具结果仅是“一致但未证实”。
关键洞察： 主要发现是符号发现动态是基底条件性的。与通常假设跨架构具有普适性的神经缩放定律不同，这里的增长行为高度依赖于基底类型系统的特定“闭包几何”（覆盖参数 $\mu$ ）。
未来方向： 作者确定了将此项工作从“玩具现象学”提升为“真实现象”所需的三个具体升级：
1. 在非玩具基底上进行复制，具备轨迹级粒度（而不仅仅是提交计数）。
2. 对饱和模型实现成功的样本外预测性预测。
3. 从基底组合学（例如类型熵）理论推导饱和参数 $\mu$ ，以使跨基底转移具有可证伪性。

本文结论认为，虽然饱和幂律框架在饱和机制 plausible（合理）的观测数据中是一致的，但它并非所有符号发现系统的普适定律。这项工作为潜在的“符号发现统计力学”提供了一个起点。