Foundations of entropy in complex systems

这里是对 Jan Korbel 的论文《复杂系统熵的基础》（Foundations of entropy in complex systems）的解释，使用了简单的日常语言和类比进行了翻译。

大局观：什么是熵？

想象你正在试图描述一个乱糟糟的房间。

• 微观状态（Microstate）： 你列出了每一只袜子、每一本书、每一粒碎屑的确切位置。房间有无数种可能的样貌。
• 宏观状态（Macrostate）： 你只说，“它很乱”，或者“它很干净”。你忽略了细节。

熵（Entropy） 是衡量有多少种不同的“乱”的排列方式（微观状态）可以符合你单一的描述（宏观状态）。如果一个房间可以有十亿种不同的“乱”法，那么它的熵就很高。如果它只能以一种方式变乱，那么它的熵就很低。

长期以来，科学家们认为只有一种计算这种“乱度”的方法（称为香农-玻尔兹曼-吉布斯熵）。这篇论文指出，对于复杂系统——比如鸟群、社交网络或经济体——旧的公式是不够的。我们需要根据系统的实际运作方式，寻找新的衡量“乱度”的方法。

---

1. 旧方法：掷骰子游戏（标准熵）

论文从经典的掷骰子例子开始：

• 如果你掷 5 个骰子，有很多种方式可以让它们的总和等于 19。
• “乱度”（熵）是通过计算有多少种不同的骰子组合可以相加得到那个数字来计算的。
• 规则： 如果骰子是相互独立的（一次投掷不会改变下一次的结果），数学计算就很简单。这会导致标准的“钟形曲线”（正态分布）分布。这在研究装在盒子里的气体时非常有效，因为其中的粒子彼此之间几乎互不干扰。

2. 新方法：当事情变得复杂时

论文解释了现实世界的复杂系统是如何打破掷骰子游戏的规则的。以下是作者讨论的不同“口味”的熵，并使用了隐喻：

A. “不可分辨”的粒子（量子统计）

想象一场派对，宾客们如此相似，以至于他们交换位置时根本没人会注意到。

• 玻色-爱因斯坦（Bose-Einstein）： 宾客们喜欢挤在同一个地方。因为我们无法分辨谁是谁，所以数学计算发生了变化。
• 费米-狄拉克（Fermi-Dirac）： 宾客们讨厌拥挤；每个特定位置只能容纳一个人。
• 教训： 计数规则会根据粒子是可分辨还是不可分辨而改变，从而导致不同的熵公式。

B. “乐高塔”效应（结构形成系统）

想象一个系统，其中的小粒子可以拼凑在一起形成大分子。

• 在普通的系统中，粒子只是到处乱跳。
• 在这个系统中，一个粒子可以单独存在，也可以是两个一组，或者三个一组。
• 转折点： 系统排列方式的数量增长得极快，因为你不仅要计算粒子在哪里，还要计算它们是如何分组的。这产生了一种新的熵，它倾向于产生大型结构。

C. “下坡滑行”（样本空间缩减）

想象一个游戏，你从山顶出发，只能向数值更低的地方滑动。一旦到达底部，你就重新回到山顶。

• 规则： 你不能往回走。随着你的移动，你的选择在不断减少。
• 结果： 这种路径依赖性创造了一种特定的结果模式（例如齐普夫定律/Zipf's Law，它解释了为什么某些词汇在语言中被使用的频率远高于其他词汇）。这里的熵公式看起来不同，因为系统可以探索的“可用空间”随着时间的推移在缩小。

D. “强者恒强”（波利亚瓮/Pólya Urns）

想象一个装有彩色球的瓮。每当你取出一个红球时，你不仅要把这个红球放回去，还要再额外放入两个红球。

• 效应： 如果你在早期运气好抽到了红球，这个瓮就会变得大部分都是红色。之后想要抽到蓝球就很难了。
• 教训： 系统的历史非常重要。这里的熵是不同的，因为系统“记得”它的过去并强化了它。这会导致“赢家通吃”的局面。

3. “规则书”方法（公理）

论文并没有观察具体的系统，而是提出了一个问题：“一个好的熵公式应该遵循哪些规则？”

• 香农-钦奇公理（Shannon-Khinchin Axioms）： 旧的规则书规定，熵必须是连续的，在所有情况都相等时达到最大值，并且对于独立系统可以很好地相加。这迫使我们使用标准的公式。
• 转折点： 如果我们放宽“可以很好地相加”这一规则（因为复杂系统并不能很好地相加），我们就会得到像 Tsallis 或 Rényi 熵这样新的公式。这些就像是为那些具有强连接性或长程记忆系统的“定制规则书”。

4. “缩放”方法

想象一个正在增长的系统。

• 正常增长： 如果你将气体的规模扩大一倍，其可能的排列方式会呈指数级翻倍。
• 复杂增长： 一些系统增长较慢（如老化随机游走），或者增长较快（如一个不断构建新结构的系统）。
• 教训： 论文展示了对于每种类型的增长，都有一个特定的“熵公式”能让数学计算保持简洁。如果你使用了与增长率不匹配的公式，数学逻辑就会崩溃。

5. 伟大的错觉：不同的路径，相同的终点

论文中最引人入胜的部分之一是**对偶性（duality）**的概念。

• 想象你看到了一组特定的数据模式（一种特定的结果分布）。
• 你可能会想：“这一定是由于系统 A 造成的。”
• 但论文表明，系统 B（具有不同的熵公式）或者 系统 C（具有不同的约束条件）也可能产生完全相同的模式。
• 隐喻： 这就像看到一棵树的影子。仅凭影子，你无法判断投射出影子的物体是一棵真实的树、一个纸板剪影，还是一个 3D 模型。你需要知道源头（物理机制、动力学或约束条件）才能知道哪种“熵”才是正确的。

总结：我们应该从中汲取什么？

论文最后向科学家们提出了一个非常重要的警告：

不要只看数据的形状。
如果你看到一条看起来像“幂律”（复杂系统中常见的形状）的曲线，不要立即假设它是 Tsallis 熵。

• 它可能是 Tsallis 熵。
• 它也可能是带有奇怪约束条件的标准熵。
• 或者它可能是一个具有历史依赖动力学的系统（如波利亚瓮）。

黄金法则： 熵公式的选择应该由系统实际是如何运作的（其微观规则、其历史或其结构）来引导，而不是仅仅通过尝试用一条曲线去拟合图表。“正确”的熵是那个能与系统底层故事相匹配的熵。