🤖 machine learning

Interestingness as an Inductive Heuristic for Future Compression Progress

本文将“趣味性”形式化为一种面向未来压缩进展的归纳启发式方法，通过理论分析与实证实验证明，过去的突破性进展呈指数级地预测未来的发现，且算法先验相较于长度先验提供了显著更为乐观的预测。

原作者： Vincent Herrmann, Jürgen Schmidhuber

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Vincent Herrmann, Jürgen Schmidhuber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《将“趣味性”作为未来压缩进展的归纳启发式》的解释，使用通俗易懂的类比语言翻译而成。

核心难题：如何实现永不停歇的学习

想象你有一个机器人，它的任务是永远学习，在没有人类教师的情况下自主变得越来越聪明。这被称为“开放式智能”。

这个机器人有两项工作：

学习：它研究数据以寻找规律（就像学生阅读教科书）。
生成：它创造新的问题或数据以供下一步研究（就像老师制作新的测验）。

困难的部分在于生成阶段。如果机器人只是制造随机噪音，它就学不到任何东西。如果它制造的是它已经知道的东西，它就会感到无聊。它需要一种方法来挑选完美的新谜题：既不太容易（无聊），也不太困难（不可能），而是恰到好处，能教会它新东西。

这篇论文提出了一个问题：机器人在尝试解决新谜题之前，如何知道哪个新谜题是“有趣”的？

核心理念：“趣味性”是一个水晶球

作者认为，“趣味性”并不是指某样东西看起来有多酷。它是一种预测工具。它是一种猜测的方式：“如果我花时间研究这个，稍后我会有‘顿悟’的时刻吗？”

他们称之为压缩进展。

压缩就像把长篇故事总结成简短的一句话。如果你能用一个简单的规则概括大量数据，你就已经“压缩”了它。
进展发生在你发现一个新规则，使你的总结变得更短的时候。

这篇论文建议，一个好的“趣味性”检测器应该查看机器人的历史，并问自己：“基于我们迄今为止的学习方式，我们很快找到新捷径的可能性大吗？”

实验：“停滞”计量器

为了验证这一点，作者将机器人学习的历史视为一张图表。想象一个徒步者正在下山（这座山代表数据的难度）。

每当徒步者发现一条更短的新路径下山时，这就是图表中的一个“突破”或“下降”。
停滞长度：这是徒步者自上次发现捷径以来走过的距离。

主要发现：
这篇论文从数学上证明了时间比规模更重要。

如果机器人昨天找到了一个突破，那么它今天再找到一个突破的可能性很高。
如果机器人很长时间没有发现突破，那么很快找到突破的概率会像悬崖一样急剧下降。

这就像钓鱼。如果你刚刚钓到了一条大鱼，那里的水里很可能还有很多鱼，所以你应该继续在那个地方抛竿。如果你已经在同一个地方抛竿三个小时却没有咬钩，那么现在钓到鱼的几率几乎为零。你应该换个新地方。

三个“世界”（先验）

作者在三个不同的“宇宙”（数据生成方式的数学模型）中测试了这个想法，看看这个规则是否成立。

“随机打字”世界（长度先验）：想象一只猴子在键盘上打字。短字符串比长字符串更常见。在这个世界里，如果你很久没有发现捷径，那么很快发现捷径的可能性非常小。
“简单程序”世界（算法先验）：想象宇宙是由最简单的计算机程序生成的。这是最“乐观”的世界。在这里，即使你卡住了一段时间，仍然有相当大的机会迎来重大突破，但它仍然更有可能在上次突破之后很快发生。
“快速执行”世界（速度先验）：这个世界讨厌缓慢的程序。如果存在捷径，它早就被发现了。在这个世界里，如果你没有找到捷径，你可能永远也找不到。这是最悲观的观点。

结果：在所有三个世界中，规则都成立：最近的突破是下一次突破的最佳预测指标。 你等待胜利的时间越长，胜利即将到来的可能性就越小。

“乐观”与“悲观”的机器人

这篇论文在“简单程序”世界（算法先验）中发现了一个令人惊讶的现象。它比“随机打字”世界乐观得多。

在“随机”世界中，如果你卡住了，你可能永远都会卡住。
在“简单程序”世界中，如果你卡住了，你可能只是在等待下一个重大发现，而且潜在的回报是巨大的（呈二次方增长）。

这表明，如果我们的 AI 假设世界是由简单、可发现的规律组成的，那么即使已经过了一段时间，它也应该继续尝试从最近教会它新东西的事物中学习。

现实世界的测试

作者不仅做了数学推导，还使用三种不同类型的“计算机”（2-Tag 系统、Rule 110 元胞自动机和 Brainfuck 代码）进行了实际的计算机模拟。

他们生成了数百万个程序，并观察它们如何“学习”（压缩数据）。
结果：现实世界的数据与数学预测完美吻合。“停滞长度”（自上次胜利以来的时间）是判断新胜利是否即将到来的最强信号。

结论

为了让一个机器人在没有人类老板的情况下永远学习，它需要一条简单的规则来选择下一步学习什么：
“专注于最近教会你新东西的事物。”

如果一项任务已经无聊了很长时间，就停止浪费时间在它上面。如果它刚刚给了你新的见解，就坚持下去，因为下一个重大突破很可能就在拐角处。这种“趣味性的归纳属性”是让自我改进系统不断前进的指南针。

技术摘要：作为未来压缩进展归纳启发式的“有趣性”

1. 问题陈述

本文解决了递归自改进、开放式智能系统发展中的一个关键瓶颈：有趣性（interestingness）的挑战。尽管当前的机器学习范式（例如梯度下降、强化学习）在学习阶段（从数据中提取模式）取得了显著成功，但生成阶段仍然是一个未解决的问题。具体而言，一个自主系统如何能够在不依赖人工干预过滤或手工构建课程的情况下，前瞻性地识别出哪些任务、数据或人工制品具有未来进步的潜力？

现有的有趣性度量（例如预测误差、信息增益、学习进展）大多是事后（post-hoc）的：它们在计算资源已经消耗之后，量化已经学到了什么。一个自改进的系统需要一个前瞻性（prospective）启发式方法，在投入大量资源之前预测未来的可学习性，从而区分不可学习的、已经学会的以及未知但可学习的内容。

2. 方法论

作者将“有趣性”形式化为一种针对未来压缩进展的归纳启发式。他们利用算法信息论（AIT）和算法统计的工具，来分析过去进展与未来发现之间的关系。

核心概念

压缩进展：有趣性被定义为，当纳入一个新对象时，总描述长度（模型复杂度 + 数据残差）的预期减少量。这与最小描述长度（MDL）原则相一致。
复杂度与运行时分布（ $D_x$ ）：作者分析了在运行时预算 $r$ 内计算字符串 $x$ 所需的最短程序长度 $K_r(x)$ 的轨迹。该分布中的“下降”代表了一次压缩突破。
对数大小与复杂度分布（ $P_x$ ）：为了利用算法统计，他们使用了描述在给定模型复杂度下包含 $x$ 的最小集合的对数大小的分布。
$P_x \leftrightarrow D_x$ 对应关系：利用忙碌海狸函数（Busy Beaver function, $BB $），作者在“对数大小/复杂度分布”与“复杂度/运行时分布”之间建立了一个仿射变换。这使得从$ P_x $推导出的理论结果能够映射到计算相关的$ D_x$ 领域。
归纳属性：核心问题是，在截止点 $t$ 之前观察到的分布形状（即“停滞长度” $t - \hat{m}$ ，其中 $\hat{m}$ 是最后一次观察到的下降点）能否在统计上预测未来下降（进一步压缩）的存在及其幅度。

考察的先验

该研究评估了三种不同可计算字符串先验下的归纳属性：

长度先验（ $L$ ）：字符串长度上的均匀概率。
算法先验（ $M$ ）：所罗门诺夫先验，倾向于具有简短描述（程序）的字符串。
速度先验（ $S$ ）：同时惩罚程序长度和运行时，倾向于快速可计算的字符串。

3. 主要贡献

本文做出了以下理论和实证贡献：

有趣性归纳属性的形式化：作者证明了有趣性的归纳属性在理论上是可行的。他们表明，停滞长度（自上次观察到压缩突破以来的时间间隔）是未来进展的主要预测因子。
发现概率的指数衰减：他们证明了随着停滞长度的增加，新压缩“下降”的概率呈指数级消失。这意味着，对于进一步交互最有前景的对象，是那些表现出最近进展的对象。
先验比较：
- 与长度先验相比，算法先验显示出显著更“乐观”的特性。对于相同的观察分布，与长度先验相比，算法先验产生的预期未来压缩进展呈二次方增长。
- 速度先验最为“保守”，它假设如果存在更快的压缩方法，它应该已经被发现了，因此在许多情况下导致预期未来进展接近于零。
实证验证：理论趋势在三种计算通用范式中得到确认：2-Tag 系统、规则 110 元胞自动机和Brainfuck（BF）。在所有情况下，数据支持了“近期进展是未来可压缩性的强指标”这一发现，特别是在算法先验下。

4. 结果

理论界限：在长度先验和算法先验下，未来下降的概率 $p(m_x \ge t | \hat{P})$ 约为 $2^{-(t-\hat{m})}$ 。预期未来压缩进展也随停滞长度呈指数级衰减。
先验敏感性：虽然指数衰减对所有先验都成立，但预期进展的幅度有所不同。算法先验预测的潜在发现机会显著高于长度先验，而速度先验预测的额外进展微乎其微。
实证确认：在 2-Tag、规则 110 和 Brainfuck 系统上的实验结果与理论曲线相吻合。随着自上次观察到进展以来的步数增加，平均剩余压缩进展趋于消失。速度先验在实证设置中的结果不如在理论极限中显著（这是由于特定实验设置中缺乏极短的运行时），但停滞减少预期进展的总体趋势依然成立。

5. 意义与主张

本文认为，有趣性不应被视为对象的固有属性，而应被视为基于压缩进展轨迹的关系性、前瞻性启发式。

自主性：通过将有趣性形式化为一种前瞻性评估，本文为自主系统在不依赖人工干预的情况下选择任务提供了原则性基础。它表明，系统应优先处理“停滞长度”较短的对象。
理论根基：这项工作将“好奇心”或“有趣性”的直观概念扎根于算法信息论的严谨框架中，超越了启发式定义，转向可证明的归纳属性。
局限性与未来方向：作者谦逊地指出，他们的理论结果依赖于忙碌海狸函数，该函数涉及物理上无法实现的运行时。然而，他们论证说，这些结果的机器无关性反映了对象固有的算法属性。他们承认，在结构化领域（例如生物系统、分形）中，进展的历史可能比最后一次下降的近期性更重要（无标度涌现），这是当前先验未能完全捕捉到的属性。他们得出结论，未来的工作必须专注于开发能够显式建模自身“压缩前沿”的内省模型，以实现真正的开放性。