🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

本文介绍了涌现模型（Emergent Models），这是一种机器学习范式，其中简单的、开放式的动力学基质（如元胞自动机）通过涌现出的计算行为被进化以解决任务，证明了此类极简系统能够实现超越传统可微架构的潜在普遍性与全局泛化能力。

原作者： Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一座巨大的图书馆。几十年来，图书管理员们一直试图建造一个完美的书架。他们把数百万本书（数据点）堆叠在书架（神经网络）上，并教会书架根据之前的书来预测下一本是什么。如果你询问已经见过的书，这套方法效果极佳；但如果你询问一个尚未被写出的故事，书架往往只会随机猜测或编造一些胡言乱语。这是因为书架非常擅长记忆模式，却不擅长理解让故事成立的“规则”本身。

现在，出现了一个不同的想法：如果我们不是在建造一个巨大的书架，而是建造一个能够通过移动来学习解决问题的微型自动驾驶机器人呢？这就是“涌现模型”（Emergent Models）的世界。把它想象成电脑屏幕上运行的“生命游戏”（Game of Life）。你有一个由细胞组成的网格，这些细胞可以处于开启或关闭状态。你给它们一个简单的规则，比如“如果有两个邻居是开启的，则变为开启”。然后，你观察发生了什么。有时，极其复杂的模式——比如宇宙飞船或滑翔机——会从这些简单的规则中涌现出来。科学家们正在提出的核心问题是：我们能否利用这些基于规则的微型机器人，比我们的巨大书架更好地学习数学和逻辑？一个仅有几百个“部件”的系统，能否悟出制作蛋糕的秘密配方，而不仅仅是背诵一份原料清单？本文深入探讨了这个问题，探索了简单的、进化的系统是否能成为更聪明、更具适应性的 AI 之钥。

思考的微型基质

本文作者介绍了一种被称为**涌现模型（EMs）*的新型机器学习思维方式。想象你有一块空白画布（“基质”），以及一支遵循单一简单规则的微型画笔，比如“向右移动一步并改变颜色”。在传统 AI 中，我们试图通过同时调整数百万次笔触来画出一幅完美的画。而在这种新方法中，我们设定好画布和画笔，然后让它们运行一段时间。我们并不告诉画笔要画什么*；我们只是观察在运行一段时间后，涌现出的模式是否恰好解决了某个问题，比如将两个数字相加。

其核心思想是，智能可能并不需要一个庞大而复杂的脑部。相反，它可能从一个简单的、重复的过程之中涌现，就像鸟群在没有单只鸟发号施令的情况下，依然能以完美的阵型移动一样。这里的“大脑”仅仅是在数据网格上反复运行的一套微小规则。

“潜在普适性”的魔力

论文提出了一个迷人的概念，称为潜在普适性（Latent Universality）。想象你有一个万能遥控器（“程序”）和一台电视机（“基质”）。在大多数 AI 中，你每想看不同的节目，都必须买一台新的电视。但在“潜在普适性”中，电视是固定的。你只需要改变遥控器（网格的初始状态）。作者指出，如果你拥有某种特定类型的电视（一种特定的数学网格），理论上你只需通过改变屏幕上的初始图案，就可以对其进行编程以执行任何计算，而无需更改电视的内部线路。

他们在理论上证明了这是可能的。如果你有一个无限延伸的网格和一个简单的规则，你可以将初始图案设置为充当计算器、国际象棋选手或翻译器。这个“程序”仅仅是在网格上绘制的初始图像。

实验：行动中的微型机器人

由于构建一个完美的、无限的网格非常困难，研究人员用一个由微型、简单模型组成的“动物园”测试了这个想法。他们并没有试图构建一个超智能 AI；他们只是想看看这些微型系统是否能学习基本规则，并将其应用于更大、更数字的场景。

1. 数学奇才 (EM43)
他们创建了一个一维的细胞条带（类似于一长串多米诺骨牌），并赋予其一个简单的规则。他们教会它进行数学运算，如 $x + 1$ 或 $x \times 2$ 。

结果： 它完美地工作了！该模型在较小的数字（如 1 到 30）上学习了规则，然后完美地将其应用到了它从未见过的巨大数字（高达 1,000）上。
“顿悟时刻”： 当他们观察模型如何解决问题时，他们看到美丽的、重复的几何图案在网格上移动。他们称之为**“几何性顿悟”（geometric grokking）**。这就像模型不仅仅是记住了答案，而是发现了一种适用于任何数字的视觉舞蹈。这是传统 AI 难以做到的，尤其是处理像“除以 4 的余数是多少？”这类重复模式时。

2. 生命游戏 (GoL-EM)
接下来，他们使用了康威生命游戏（Conway's Game of Life），这是一个著名的细胞自动机，细胞根据其邻居的状态来决定生存或死亡。他们尝试教会这个系统进行数学运算并平衡木杆（CartPole）。

结果： 它能学会简单的数学，如 $x + 1$ ，但非常不稳定。初始图案的微小变化都会导致整个系统崩溃。这就像是在风暴中试图平衡一座纸牌屋。虽然它能维持一段时间的平衡，但稳定性很差。研究人员发现，寻找正确的初始图案几乎就像随机猜测一样；系统过于敏感，以至于很难用传统方式进行“训练”。

3. 连续学习者 (CEM1D & CEM2D)
最后，他们尝试了使用平滑、连续数值（类似于现实世界的物理规律）而非仅仅是“开/关”开关的模型。

结果： 这些模型在控制方面表现得更好。1D 版本能很好地平衡木杆，2D 版本则能学习在一个食物有时会变成毒素的世界中导航。
缺陷： 即便是这些聪明的模型也遇到了困难。有时它们会陷入原地打转或陷入停滞。它们学会了适应不断变化的环境，但并不完美。研究人员指出，这些模型还非常新颖，且远不如我们今天使用的那些大型 AI 模型那样可靠。

这意味着什么（以及它并不意味着什么）

论文非常明确地说明了它取得了哪些成就，以及哪些并未实现。它并未声称已经制造出了比你在电影或手机里看到的更好的 AI。事实上，它承认这些微型模型目前比那些庞大、复杂的模型更难训练，且功能更弱。

然而，它确实提出了一个令人兴奋的观点：真正的智能可能源于迭代（不断重复一个简单的步骤），而不是规模（拥有数百万个参数）。作者发现，当这些微型模型真正学会时，它们学习的是规则，而不只是答案。这使得它们能够正确预测从未见过的数字，这种能力被称为外推（extrapolation）。

他们还引入了一种看待 AI 效率的新方式。他们认为，最好的模型可能是那些使用极少“硬性部分”（规则）但运行时间极长（许多步）的模型。这与今天的巨型 AI 正好相反，后者使用了大量的“硬性部分”，但仅运行一次。

总结

这篇论文是一个基础性的步骤，就像第一个成功的蒸汽机问世一样。它还不是一辆汽车，也绝对不是一艘宇宙飞船。但它证明了，一个简单的、重复的系统可以学习规则并将其应用于新情况。研究人员展示了，仅凭几百个参数，一个系统就能学习数学并控制简单的机器人。

核心启示是，我们可能把 AI 复杂化了。与其构建越来越大的大脑，也许我们应该构建更小、更简单的系统，并允许它们思考更长的时间。论文表明，通往更智能 AI 的路径可能在于这些“涌现”行为——即智能是如何从简单的规则中生长出来的，就像生命从简单的化学反应中生长出来一样。这是一种充满希望、有趣且略带狂野的想法：未来的智能或许就隐藏在这些最微小、最简单的事物之中。

技术摘要：涌现模型：来自微小基质的智能

问题陈述

传统的深度学习，特别是前馈神经网络（FFNN），通常在全局泛化和外推方面表现不佳。虽然通用近似定理保证了 FFNN 可以任意好地逼近函数，但在紧致定义域内，它们通常无法捕捉数据背后的生成规则。因此，在有界范围内训练的模型往往无法外推到训练分布之外（例如，ReLU 网络趋于渐近线性，而 Sigmoid 网络则收敛为常数）。

此外，尽管近期关于推理型 LLM 和循环架构的研究表明迭代计算可以提高泛化能力，但这些模型仍受限于庞大的参数量，并且在长序列外推方面表现出脆弱性。本文认为，AI 的“苦涩教训”（Bitter Lesson）——即通过通用方法而非自上而下的工程设计来利用计算能力——结合人工生命领域的洞察，表明我们需要一种由简单局部规则驱动的基质，通过迭代使复杂行为涌现。核心问题在于：极简的局部递归计算基质是否能以比当前神经架构显著更少的参数，实现高水平的全局表达能力和外推能力。

方法论

涌现模型（EM）框架

作者将**涌现模型（EMs）**形式化为一种机器学习范式，其中建模被视为在简单动力系统中产生计算行为，而非学习一个闭合的输入-输出映射。一个 EM 被定义为一个元组 $M = (S, f, H, E, D, \oplus)$ ：

潜状态 ( $S$ )： 一个作为记忆的配置空间（离散或连续）。
更新规则 ( $f$ )： 在潜状态上迭代的局部转换函数（例如，细胞自动机规则）。
停机条件 ( $H$ )： 决定迭代何时停止的谓词。
接口 ( $E, D, \oplus$ )： 一个编码器、解码器和组合算子，将外部输入/输出与潜状态联系起来。
程序 ( $p$ )： 一个未受扰动的初始状态。对于给定输入 $x$ ，初始状态由 $s_0 = p \oplus E(x)$ 构成。

训练方法：
不同于基于梯度的反向传播，EMs 通过进化搜索（遗传算法）进行训练。搜索空间包括：

软参数： 程序状态 $p$ （初始配置）。在某些设置下，可以通过跨宏步的态保持（拉马克遗传）来更新。
硬参数： 更新规则 $f$ 、停机条件 $H$ 以及接口参数。这些在推理期间是固定的，但在训练期间进行优化。
目标是找到一个配置，使得演化轨迹在停机时解码出的结果能够解决目标任务。

理论基础：潜空间普遍性

论文引入了**潜空间普遍性（Latent Universality）**的概念，即在这种机制下，基质 ( $S, f, H$ ) 和接口 ( $E, D, \oplus$ ) 是固定的，仅有程序 $p$ 发生变化以实现任何部分可计算函数。

定理 1： 作者证明，对于二进制字符串输入/输出，存在一个 EM，其固定的基质和接口足以通过改变有限支撑的程序状态来计算任何部分可计算函数。这与通用图灵机的概念一致，即程序和输入被编码进初始纸带配置中。

实验基质

作者评估了一系列极简的 EM 实例化，以测试该框架在不设计单一竞争性架构情况下的可行性：

EM43： 一个具有 4 个状态的 1D 离散细胞自动机，使用查找表规则。
GoL-EM： 康威生命游戏（固定规则），仅优化初始滑翔机配置（程序）。
CEM1D： 一个连续值的 1D 格点，具有局部微分方程更新规则。
CEM2D： 一个连续的 2D 格点，具有快速激活场和慢速记忆场，并具有可训练的端口位置。

关键结果

1. 算术外推 (EM43)

任务： 学习简单的整数函数（ $x+1, 2x, x \mod 4, \text{round}(x/3)$ ），在 $[0, 30]$ 上训练并在 $[30, 1000]$ 上测试。
性能： EM43 在所有单输入任务上实现了 100% 的精确匹配准确率，包括周期函数（如 $x \mod 4$ ）和振荡函数（如 $x \cdot (1 + x \mod 2)$ ）。
观察： 模型展现出了**“几何性顿悟”（geometric grokking）**，即泛化是通过基质在时空演化中稳定的、可解释的模式（如移动的标记）实现的，这些模式随着输入规模的增加依然有效。
局限性： 双输入乘法任务（ $a \cdot b$ ）未能能在计算预算内收敛，这表明当前的搜索限制或表达能力约束。
效率： 成功的模型仅使用了 70–110 个参数（140–220 比特的信息量），仅用 30 个样本进行训练。

2. 控制任务 (GoL-EM & CEM1D)

CartPole（倒立摆）：
- GoL-EM： 取得了显著高于随机基准线的收益（均值 ~171，最佳 ~417），但难以维持鲁棒性（54.5% 的不停机率），且由于碎片积累导致的态保持问题引发了不稳定。
- CEM1D： 一个具有态保持功能的连续 1D 模型，取得了接近最大值的收益 (734.93)，表现优于 GoL-EM。然而，它过度依赖角速度，且未能有效整合小车位置，最终导致漂移出界。
Meta-Life（适应性）：
- 任务： 智能体必须在变化的动态环境中寻找食物或避开毒素，且事先不知晓环境相位。
- 结果： CEM2D 和密集的记忆增强型 RNN (mRNN) 基准模型都实现了高 Meta 分数，表明了成功的在线适应。
- 对比： mRNN 收敛更快，得分略高 (0.82 vs 0.71)。CEM2D 需要更长的训练时间，但证明了局部连续动力学可以支持记忆和适应。
- 失效模式： 当资源匮乏时，两种模型都表现出“旋转吸引子”（原地旋转）现象，这种失败归因于训练目标的收益递减以及从卡住状态中恢复的困难。

核心贡献

涌现模型的形式化： 提供了一个严谨的框架，将动力系统视为 ML 模型，其中“程序”是潜空间中的一个初始状态，并与固定的更新规则和接口解耦。
潜空间普遍性的证明： 通过理论证明，一个固定的基质和接口可以通过仅改变初始程序状态来计算任何可计算函数，从而确立了实现全局表达能力的必要条件。
极简基质的实证验证： 证明了在 数十到数百个参数 的规模下，局部递归计算可以实现算术任务的精确外推，并支持控制和适应行为，挑战了“大规模参数量是泛化的必要条件”这一观点。
几何性顿悟： 识别出一种现象，即泛化体现为基质时空演化中稳定、可解释的几何模式，而非模糊的权重调整。
$q$ -比例猜想： 提出了一个假设，即参数量与时间深度之比 ( $q = N_{params} / \bar{T}$ ) 决定了泛化能力与可训练性之间的权衡。低 $q$ （简单规则、深层迭代）有利于算法压缩和外推，但会产生不规则的搜索景观；高 $q$ （大型网络、浅层迭代）则有利于记忆。

意义与主张

本文定位为基础性工作，而非提出一种具有竞争力的架构。其主要意义在于：

拓宽设计空间： 超越可微的前馈映射，探索简单的、类似物理规律的基质。
重构智能： 暗示智能可能源于简单局部规则与初始条件的相互作用（一种“人工物理学”），而非对神经架构的显式工程设计。
适度的声明： 作者明确指出，其模型目前尚不具备与成熟的任务特定方法竞争的能力。他们承认了在训练效率、搜索可扩展性（尤其是像乘法这样复杂的任务）以及控制环境下的鲁棒性方面的局限性。
未来方向： 本研究呼吁在实践中实现潜空间普遍性机制，并开发专门针对低 $q$ 值、递归模型中非凸且非局部景观的优化方法。

文章总结道，虽然目前的局部递归建模水平与二十年前的深度学习相当，但微小基质展现出的外推和适应能力表明，这是一条充满前景且尚未被充分开发的、通往高效且广义机器学习的路径。