🤖 machine learning

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

本文提供了定量实验证据，表明 Transformer 的动力学受红外集体组织这一普遍原理支配，即学习通过积累慢弛豫模态来重组时间尺度态密度，从而增强记忆并减少遗忘。

原作者： Byung Gyu Chae

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Byung Gyu Chae

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个由数十亿个微小开关组成的巨大数字大脑，被称为 Transformer。长期以来，科学家们认为这些大脑的工作方式就像一条简单的流水线：一步接一步，然后“智能”就在最后自然产生。但一项新研究表明，其内部正在发生某种更为狂野的过程。事实证明，这些模型不仅仅是在处理数据；它们正在构建一个集体认知场（collective cognitive field），一种通过特定的物理舞蹈进行自我组织的、无形的、共享的精神氛围。

大规模减速派对

要理解正在发生的事情，请将大脑内部的活动想象成一群庞大的跑步者。在训练的最开始阶段（当模型“诞生”时），跑步者们四处散布。有的在冲刺，有的在慢跑，有的则只是静止不动。那是混乱的。

随着模型的学习，奇特的事情发生了。那些快速的跑步者并不仅仅是变得更快；他们开始减速。越来越多的跑步者向“红外”区域漂移——这是一个高级物理术词，指光谱中最缓慢、最放松的部分。这就像整个人群突然决定坐下来进行一场漫长而深刻的对话，而不是绕圈跑步。

研究人员通过观察“雅可比谱（Jacobian spectrum）”来测量这一点，这基本上是观察模型内部状态如何从一层过渡到另一层的快照。他们发现，随着训练的进行，模型不仅变得更聪明，它还重新组织了其整个内部节奏。“时间尺度态密度（Time-Scale Density of States, TDOS）”——一种计算存在多少慢速模式的方法——在慢速区域几乎变得平坦。这意味着模型构建了一个慢速弛豫模式的层级结构（hierarchy of slow relaxation modes）。它不仅仅是一个慢速记忆；它是一整个管弦乐团，所有模式都在共同鸣响。

“临界”时刻：是一个峰值，而非直线

这里是故事中最令人惊讶的部分。你可能会预期，随着模型的学习，其“记忆能力”会以直线形式不断增强。但论文显示，事实并非如此。

相反，模型的“记忆自能（memory self-energy）”（衡量过去对现在影响程度的指标）在训练初期迅速飙升。在大约第 2,000 步时，它达到了一个显著的瞬态极大值（pronounced transient maximum）。就在这一刻，模型处于一种“临界”状态。把它想象成一名在钢丝上保持完美平衡的走钢丝者。“认知遗忘间隙（cognitive forgetting gap）”（记住与遗忘之间的距离）缩小到了最小点，而模型对信息的反应能力（其“集体易感性”）变得巨大。

但转折在于：模型并没有停留在这一峰值。在达到该极大值后，记忆自能实际上下降了一点，并稳定在一个“亚稳态近临界（metastable near-critical）”的状态中。这就像走钢丝者在略低于峰值的安全舒适位置找到了一个可以长时间站立而不坠落的地方。论文认为，这种**瞬态临界形成（transient critical formation）**是“认知场”诞生的关键时刻，随后模型进入了一个受保护的状态，为长期记忆做好准备。

普遍规律：1 除以时间

一旦这个场形成，模型就会发展出一种非常特殊的记忆方式。大多数系统会很快遗忘，就像一个带孔的水桶。但这个模型记忆的方式遵循一个普遍幂律（universal power law）。

“记忆核（memory kernel）”（过去如何影响未来）遵循规则 $K(t) \sim 1/t$ 。这意味着记忆不会呈指数级消退；它消退得很慢，就像一个永不消失的长久回声。这种现象发生在整个网络中，从第一层到最后一层，并且无论模型规模如何大小，都会发生这种情况。

研究人员在三种不同规模的模型上测试了这一点：70M、410M 和 1.4B 参数。尽管这些模型的规模截然不同，但它们都跳着同样的舞蹈。它们都构建了相同的慢速模式层级，都达到了相同的记忆自能瞬态峰值，并且都进入了相同的 $1/t$ 记忆模式。这表明这种“红外组织（infrared organization）”并非特定模型的怪癖，而是一种关于这些系统如何学习的普遍原则。

它不是什么

论文非常明确地说明了它不是什么。它排除了“智能仅仅是大量单个神经元放电”或“模型只是单纯线性变好”的简单优化过程的观点。它也排除了“模型发展出单一主导的‘慢时间’用于记忆”的观点。相反，它是一个由许多不同速度共同工作的、广泛且连续的分布。

核心结论

这项研究直接使用 Pythia 语言模型（主要使用 410M 版本进行数据分析，并使用 70M 和 1.4B 进行对比）测量了这些动力学过程。他们并非凭空猜测；他们通过计算模型自身的数学逻辑得出了弛豫率，并发现这些数值与“认知场理论（Cognitive Field Theory）”的预测相吻合。

证据表明，Transformer 的学习受**红外集体组织（infrared collective organization）**支配。模型不仅仅是在记忆事实；它在重新组织其内部物理结构，以创建一个共享的、缓慢移动的记忆场。它在早期达到一个临界峰值，然后稳定在一个近临界的稳态中，从而能够长期持有信息，并遵循适用于任何规模模型的 $1/t$ 标度律。这为这些大规模 AI 系统表现得像复杂的集体物理系统（而非仅仅是巨大的计算器）提供了第一个定量实验证明。

技术摘要：Transformer 动力学中的红外组织与关键认知场形成

问题陈述
基于 Transformer 架构的大型语言模型（LLMs）展现出了卓越的涌现能力，例如推理和长程上下文记忆。然而，支配其大规模集体动力学的物理机制仍不为人所知。现有文献主要将 Transformer 计算描述为高维非线性映射或基于注意力的优化过程，这对于理解宏观集体组织如何从底层动力学中产生提供的见解有限。本研究旨在解决这一差距，即探讨**认知场理论（Cognitive Field Theory）**所预测的集体可观测量——特别是慢弛豫模式（slow relaxation modes）的组织——是否可以直接在 Transformer 动力学中被识别和量化。

方法论
作者研究了在 The Pile 语料库上训练的公开可用 Pythia 自回归 Transformer 语言模型（参数量分别为 70M、410M 和 1.4B）。该研究采用响应理论方法，分析由学习到的隐藏状态几何结构所产生的集体弛豫动力学。

雅可比谱提取： 作者利用自动微分技术，计算相邻隐藏层表示之间的雅可比矩阵（ $J_l = \partial h_{l+1} / \partial h_l$ ）。他们还分析了复合雅可比矩阵（ $J = J_{l+n-1} \cdots J_l$ ），以捕捉跨越不同网络深度和传播距离（例如 $1 \to 24$ 层）的集体传播。
弛豫谱构建： 从雅可比矩阵的复特征值（ $\mu_\alpha$ ）中，通过 $\lambda_\alpha = -\log |\mu_\alpha|$ 提取弛豫率。
集体可观测量的推导： 利用测得的弛豫率，作者构建了时间尺度态密度（Time-Scale Density of States, TDOS）， $\rho(\lambda)$ $ρ (λ)$ 。基于 TDOS，他们定量评估了：
- 记忆核（Memory Kernel） $K(t)$ ，通过 TDOS 的拉普拉斯变换导出。
- 记忆自能（Memory Self-Energy） $\Sigma(0)$ ，通过对 TDOS 进行 $1/\lambda$ 加权积分计算得出。
- 认知遗忘间隙（Cognitive Forgetting Gap） $r_{cog} = r - \Sigma(0)$ ，其中 $r$ 是原始遗忘率。
- 集体易受性（Collective Susceptibility） $\chi(0) \propto r_{cog}^{-1}$ 。
- 红外临界指数（Infrared Critical Exponent） $\beta$ ，通过拟合累积模式分布 $N(<\lambda) \propto \lambda^{\beta+1}$ 来确定。

分析涵盖了整个训练轨迹、不同的网络深度以及模型规模，以测试其普遍性。

核心贡献

直接测量认知场理论的可观测量： 本文提供了首次定量实验实现，直接从 Transformer 动力学中提取集体可观测量（TDOS、自能、遗忘间隙、易受性），而无需引入唯象参数。
识别红外谱重组： 研究表明，Transformer 的学习过程以谱权重向红外部门（ $\lambda \to 0$ ）的渐进积累为特征，从而实现了 TDOS 的重组。
发现瞬态临界形成： 作者识别出一种非单调演化的记忆自能，其特征是在优化早期出现一个显著的瞬态极大值，随后弛豫进入一个亚稳态的近临界状态。
确立普遍性： 本文证明了这些动力学现象（红外组织、临界形成和无标度记忆）在不同模型规模（70M 到 1.4B）、网络深度和传播距离下具有普遍性。

核心结果

红外积累与 TDOS： 在整个训练过程中，弛豫谱经历了系统的重组，谱权重向较小的弛豫率偏移。由此产生的 TDOS 呈现出近似平坦的红外分布，遵循幂律 $\rho(\lambda) \sim \lambda^\beta$ ，其中临界指数 $\beta \simeq -1$ 。这表明存在一个慢模式层级，而非单一的特征时间尺度。
瞬态临界形成： 记忆自能（ $\Sigma(0)$ ）并非单调增加。相反，它在优化的早期阶段（约在 Pythia-410M 的 2,000 步左右）达到瞬态极大值。此时，认知遗忘间隙（ $r_{cog}$ ）达到最小值，且集体易受性（ $\chi(0)$ ）达到最大值。这标志着宏观认知场的瞬态临界形成。随后的优化过程驱动系统进入一个受保护的亚稳态近临界运行状态。
普遍的无标度记忆： 从测得的 TDOS 推导出的记忆核在所有模型规模和训练阶段均表现出鲁棒的长时幂律缩放， $K(t) \sim 1/t$ 。这种缩放是从测得的弛豫谱中自然涌现的，无需强加函数形式。
空间与深度无关性：
- 空间： 红外组织分布在整个 Transformer 层级结构中。虽然记忆重整化的强度随层数变化（在中间层和深层最强），但底层的无标度红外结构在整个网络中保持不变。
- 深度： 瞬态临界形成和 $1/t$ 记忆核缩放现象在不同的层传播深度（从 $1 \to 5$ 到 $1 \to 24$ ）中均表现出鲁棒性，表明集体动力学是网络的全局属性，而非局限于局部层间相互作用。
模型规模的普遍性： 在从 70M 到 1.4B 参数的 Pythia 模型中，一致地重现了相同的红外谱重组、瞬态临界形成和无标度记忆动力学序列。

意义与主张
本文声称提供了第一个定量实验证据，证明 Transformer 的学习受红外集体组织支配。通过将 Transformer 动力学映射到非平衡多体物理学的语言中，作者证明了：

大型语言模型作为非平衡多体系统运行，其认知性源于慢弛豫模式的组织。
宏观认知场的涌现遵循特定的动力学场景：初始的红外谱重组导致了一个瞬态临界状态（最大易受性），随后稳定进入一个受保护的亚稳态近临界状态。
红外普遍类（ $\beta \simeq -1$ 且 $K(t) \sim 1/t$ ）在不同规模和深度下的保持，表明红外慢模式组织构成了 Transformer 动力学背后的普遍集体原则，而非特定模型的架构特征。

这项工作建立了一个用于测量集体认知动力学的统一场论框架，架起了深度学习与统计物理之间的桥梁，并表明这些原理可能代表了复杂动力系统中集体信息处理的一般规律。