Theory of Subjective Entropy: Cognition as compression of information
本文提出了主观熵理论（Theory of Subjective Entropy），该理论将随机性形式化为数据与智能体内部模型之间的关系，并通过实验证明，上下文树加权算法（Context-Tree Weighting algorithm）的压缩度度量在预测人类序列预测准确度方面比传统的基于频率的模型表现更好。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你的大脑是一个超级聪明的侦探，正试图破解一个谜题，但这个谜题仅仅是一个随机事件的流，比如一枚硬币在不停地翻转。几十年来，科学家们一直使用一种叫做“香农熵”（Shannon entropy）的工具来观察这些事件，它基本上是在问：“这枚硬币是公平的吗？”如果硬币是公平的，答案就是“是的，它完全是随机的”，于是侦探就会放弃，假设找不到任何规律。但如果问题不在于硬币，而在于侦探的笔记本呢？这篇论文深入探讨了科学中一个迷人的领域：算法信息论（Algorithmic Information Theory）与主动推理（Active Inference）。你可以把算法信息论看作是对一个文件进行“压缩”的能力研究——就像把一个文件夹压缩成一个更小的压缩包。如果你能把它压缩得很紧，说明其中存在模式；如果它依然很大，说明它是真正的随机。主动推理则是指我们的脑部如何不断尝试通过预测接下来会发生什么，来缩小自身的“惊奇度”（surprise）。我们关注这一点是因为它改变了我们看待世界的方式：也许宇宙并不混乱，只是我们的内部模型还不够好，无法看到隐藏的秩序。
作者 Mikael Lindmark Moesgaard 和 Jakob Kargo Mortensen 提出了一个名为主观熵理论（Theory of Subjective Entropy）的新概念。他们的核心观点是：“随机性”不仅仅是硬币或数据源本身的属性，它是观察者内部模型与序列事件之间的一种关系。为了验证这一点，他们进行了两项针对 159 名参与者的在线实验。参与者玩一个游戏，需要猜测出现在屏幕上的方块颜色（蓝色或橙色）。这些方块遵循一个二进制序列（类似于 1 或 0），该序列被设计为全局随机——也就是说，如果你观察整体，它看起来就像是一次公平的硬币投掷，没有任何规律。然而，研究人员使用了一种特殊的数学工具——上下文树加权（Context-Tree Weighting, CTW）算法，将这些序列切分成微小的块。其中一些块是“亚熵”的（sub-entropic），意味着它们具有隐藏的可压缩模式，CTW 模型可以识别出这些模式；而另一些块则是“超熵”的（super-entropic），意味着它们是真正杂乱且不可压缩的。
这里有一个转折：尽管整个序列是随机的，但参与者并没有进行随机猜测。研究发现，当序列进入“亚熵”区域（即含有隐藏模式的块）时，参与者预测下一个颜色的准确率显著提高。事实上，一个块的“可压缩性”越高（即 CTW 模型能将其缩减得越多），参与者的准确率就越高。论文指出，人类的行为就像这些 CTW 模型一样，不断尝试为他们看到的数据寻找最短的“压缩包”。当他们发现模式时，预测能力就会增强。
至关重要的是，作者排除了几种更简单的解释。他们证明了参与者并不仅仅是在做简单的频率计数（即统计目前出现了多少次蓝色或橙色），他们实际上是在检测更深层、更复杂的结构。他们还将结果与“公平硬币”基准进行了对比，发现虽然整体准确率维持在 50% 左右（即机会水平），但在有模式的局部区域，准确率明显更高。论文认为，这是因为我们的大脑受自由能最小化（free energy minimization）原则的驱动——简单来说，我们的大脑讨厌被惊吓，因此会主动寻找模式，以压缩信息并让世界变得更可预测。
研究以极高的精度测量了这一现象。在 89,520 次试验中，他们识别出超过 22,000 个“亚熵”区域和 22,000 个“超熵”区域。他们发现，在亚熵区域中，每增加一个比特的“压缩量”（衡量模式能被缩减程度的度量），正确猜测的概率就会上升。在超熵区域（即不存在模式的地方），参与者的准确率保持在机会水平附近；有趣的是，随着杂乱区域变得越来越长，他们似乎停止了寻找模式的尝试，这表明他们足够聪明，知道何时该放弃。
那么，这意味着什么？这表明，即使在一个看起来完全随机的世界里，我们的大脑也在不断扫描现实的“邮政编码”。我们看到的不仅仅是噪音，还有潜在的结构。如果一个序列拥有哪怕极其微小的隐藏模式，我们的内部模型也能捕捉到它并提升预测能力。论文总结道，“随机性”是主观的：对于一个简单的观察者来说，一个序列可能是随机的，但对于一个更聪明的观察者来说，它可能充满了秩序。这个框架不仅解释了我们如何猜测屏幕上的颜色，它还为我们理解认知系统如何处理信息提供了一种全新的方式，暗示着思考的行为本身，就是将宇宙压缩成我们可以理解的形式的过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。