🔬 condensed matter

Phase transition in large language models and the criticality of natural languages

通过将大语言模型视为可控有效系统，本研究表明，改变类温度参数会诱发相变，其中临界点呈现幂律行为且其语言复杂度与自然语言无法区分，从而为自然语言运行于临界态提供了强有力的证据。

原作者： Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Nakaishi, Yoshihiko Nishikawa, Koji Hukushima

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人像人类一样说话。你给了它一个庞大的书籍库，让它学习词语的模式。这个机器人就是一个大语言模型（LLM）。但这里有一个转折：研究人员不仅把这个机器人当作一个工具，还把它当作一场科学实验，用以理解人类语言本身的本质。

他们想要回答一个重大问题：人类语言是“临界”的吗？

在物理学世界中，“临界性”是一种特殊的状态，即一个系统恰好平衡在两种截然不同的行为之间的边缘。你可以把它想象成一锅水。

低于沸点（低温）： 水是平静且有序的。
高于沸点（高温）： 水是混乱、沸腾且无序的。
处于精确的沸点（临界点）： 水处于一种神奇的状态，它拥有复杂的、旋转的图案将一切连接在一起。它既不是完全平静，也不是完全混乱；它处于一个“甜点区”（sweet spot）的复杂状态。

研究人员怀疑人类语言就生活在这个“甜点区”。但你无法像调节恒温器那样把人类语言“调高”或“调低”来测试这一点。因此，他们使用了一个 LLM 作为模拟语言，在那里他们可以转动这个旋钮。

实验：转动“温度”旋钮

在这些 AI 模型中，有一个设置叫做温度（Temperature）。

低温度： AI 会变得非常可预测且具有重复性。它可能会不断重复说：“美国的学校数量……美国的学校数量……”。它就像一张坏掉的唱片。
高温度： AI 会变得完全疯狂。它会吐出毫无意义的内容，比如 “脱离的演讲裁剪你好细胞网络早期……”。它就像一台调到了静电噪音上的收音机。

研究人员将这个旋钮从低到高转动，观察 AI 生成的文本发生了什么变化。

发现：“相变”

他们发现，AI 并不是缓慢地从枯燥变为疯狂，而是直接经历了一个突然且剧烈的相变（phase transition），大约就在一个特定的设置（温度 = 1）附近。

低温度区（重复阶段）： 文本陷入了循环。它有秩序，但那是一种枯燥、僵化的秩序。
高温度区（胡言乱语阶段）： 文本是纯粹的混沌，词语之间没有任何联系。
临界点（“刚刚好”阶段）： 就在中间，在转换点上，AI 开始生成看起来和感觉起来都完全像人类语言的文本。

为什么这很特别？
在临界点，文本展现出了一种特定的数学模式，称为幂律（power law）。这是一种模式：小规模的事情频繁发生，而大规模的事情罕见发生，但它们以一种特定的方式相互连接。这也是现实中人类语言所具备的模式（例如，像“the”这样的常用词出现频率很高，而罕见词出现的频率较低）。

研究人员发现：

真实的人类语言具有这种幂律模式。
处于临界点的 AI 也具有这种模式。
处于任何其他设置下的 AI（太冷或太热）都不具备这种模式。

“训练”的故事

为了证明这不仅仅是 AI 的偶然现象，他们观察了 AI 从零开始的学习过程。

训练早期： AI 只是一个随机噪声机器。即使在“临界”设置下，它也无法产生意义。它还不了解“临界点”是什么。
训练后期： 随着 AI 阅读了更多的书籍，它突然“醒来了”。它发展出了停留在那个临界点上的能力。它学会了在过于重复和过于混乱之间寻找平衡。

这表明，具备“临界性”是人类语言的一个基本特征。 要像人类一样说话，一个系统必须运行在秩序与混沌之间的这条边缘之上。

最终证明：“困惑度”测试

在 AI 世界中，有一个指标叫做困惑度（Perplexity），它衡量模型对语言的理解程度。数值越低越好。

研究人员测试了 AI 在训练的每个阶段以及每个温度设置下的表现。
最低的分数（与人类语言最匹配的表现）恰好出现在 AI 经过充分训练并设定在临界温度时。

大局观

论文的结论是，人类语言不仅仅是词语的随机集合。它是一个临界系统。它自然地存在于以下两者之间的剃刀边缘：

重复：（就像一张坏掉的唱片）
胡言乱语：（就像随机的噪声）

而在那微小的、临界的空间之中，我们找到了人类语言那复杂、美丽且富有意义的结构。AI 不仅仅是在模仿我们；通过找到这个临界点，它无意中发现了语言本身的数学“心跳”。

技术摘要：大语言模型的相变与自然语言的临界性

问题陈述
自然语言表现出普遍的统计特征，最显著的是幂律行为（power-law behaviors），例如齐夫定律（Zipf's law，词频与排名的关系）和希普斯定律（Heaps' law，词汇量与文档长度的关系）。在统计物理学中，这种幂律行为是系统处于临界点（位于两个截然不同的宏观相之间的相变处）的标志。这一观察结果激发了一个猜想：生成自然语言的随机过程位于一个“重复性”相与“不可理解”相之间的临界面上。然而，测试这一假设在根本上是困难的，因为现实世界的自然语言缺乏可控参数；人们无法通过改变“温度”或外部场来观察相变。以往使用简化数学模型进行的尝试对现实世界的语言现象提供的见解有限。

方法论
为了克服自然语言缺乏可控性的问题，作者利用大语言模型（LLMs）作为有效的、可控的模型。具体而言，他们采用了在 Pile（一个大规模英文数据集）上训练的 160M 参数 Pythia 模型。研究将文本生成视为一个随机过程，其中采样时的温度参数 $T$ （类比于玻尔兹曼分布中的物理温度）被进行变化。

作者将生成的文本映射为词性（POS）标签序列（共 18 种不同值），以便于统计分析。他们系统地分析了在不同温度（ $T$ ）和训练步数（ $k$ ）下生成的文本，以研究以下内容：

相关性衰减（Correlation Decay）： 测量词性之间的时相关性 $C(t, t+\Delta t)$ ，以确定其是呈指数衰减（无序）还是遵循幂律（临界）。
积分相关性（Integrated Correlation, $\tau$ ）： 计算相关性的总和，以区分随序列长度 $N$ 变化的短程有序与长程有序。
功率谱分析（Power Spectrum Analysis）： 分析词性序列的功率谱 $S(\omega)$ ，以检测周期性结构，并统计峰值数量（ $n_{peaks}$ ）来表征重复模式。
训练动力学（Training Dynamics）： 在部分训练的模型（处于不同训练步数 $k$ ）上重复这些分析，以确定这些临界特征何时出现。
困惑度评估（Perplexity Evaluation）： 使用 Pile 数据集的困惑度来定量衡量在不同 $T$ 和 $k$ 下生成的文本与自然语言统计特性的匹配程度。

核心结果

在 $T_c \approx 1$ 处的相变： 分析显示 LLM 在临界温度 $T_c \approx 1$ 处存在明显的相变。
- 低温相（ $T < 1$ ）： 文本表现出长程有序，相关性收敛于一个正值。功率谱显示出发散的峰值数量（ $n_{peaks} \propto N$ ），表明存在复杂的、非均匀的重复结构，而非简单的周期性。
- 高温相（ $T > 1$ ）： 文本是无序且不可理解的。相关性迅速衰减（短程），且功率谱仅在 $\omega=0$ 处包含单个峰值。
- 临界点（ $T \approx 1$ ）： 相关性遵循幂律衰减（ $C \sim \Delta t^{-\eta}$ ，其中 $\eta \approx 0.2$ ），且积分相关性 $\tau$ 随序列长度 $N$ 发散。这种行为镜像了在自然语言中观察到的幂律统计特性。
训练过程中的涌现： 这些现象并非模型架构固有的，而是随着模型学习自然语言而涌现的。
- 在训练早期阶段（ $k \lesssim 100$ ），无论温度如何，模型生成的文本都是无序的，且未观察到相变。
- 临界行为（发散的 $\tau$ ）在大约 $k_c \approx 102$ 时出现。
- 复杂的重复结构（发散的 $n_{peaks}$ ）稍晚出现，大约在 $k \approx 10^3$ 时。
- 这表明，临界性和复杂重复性都是通过在自然语言数据上进行训练而获得的内在属性。
与自然语言的最佳匹配： 研究发现，当模型处于最终训练步数（ $k=143,000$ ）且温度 $T \approx 1$ 时，模型在自然语言数据集上的困惑度达到最小。这定量地证实了，在临界点定义的 LLM 随机过程与自然语言的统计属性最为接近。

意义与主张
论文认为，这些发现为“自然语言是临界的”这一猜想提供了强有力的证据。作者提出了一个示意性模型：自然语言的随机过程位于一个分隔重复相与不可理解相的临界面上。一个在自然语言上训练的 LLM 定义了随机过程空间中的一个一维流形；当温度设定为临界值时，该流形在靠近对应于自然语言的点处与临界面相交。

这项工作的意义在于：

经验验证： 超越了玩具数学模型，在真实的、大规模语言模型中展示了相变现象。
统计物理视角： 提供了一个通过临界现象视角来表征自然语言的框架，表明在语言中观察到的幂律行为是系统运行在临界点附近的特征。
普遍性： 初步结果表明这些现象在不同规模的模型和语言（中文、法语、日语、韩语、西班牙语）中具有鲁棒性，暗示了自然语言具有普遍的临界本质。

作者得出结论，自然语言确实是临界的，而 LLM 作为一个可控的有效模型，使得观察这种在现实世界语言数据中难以触及的临界性成为可能。

实验：转动“温度”旋钮

发现：“相变”

“训练”的故事

最终证明：“困惑度”测试

大局观

技术摘要：大语言模型的相变与自然语言的临界性

类似论文