💬 NLP

TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

本文介绍了用于语言建模的分层神经细胞自动机 TextNCA，旨在证明阶段性的由窄到宽的注意力调度是性能提升的主要驱动力，而迭代和特定的架构组件仅提供较小的、有限的收益。

原作者： Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何写故事。长期以来，教它最好的方法是建造一座巨大的、多层逻辑的摩天大楼。大楼的每一层都是一个不同的“层”，它会同时观察整个故事，并将理解传递到上一层，直到机器人确切知道下一个词是什么。这就是大多数现代 AI 语言模型的工作方式：它们高大、复杂，并且能够全局性地观察一切。

但如果我们尝试一种不同的方法呢？如果我们不是建造一座摩天大楼，而是使用一个只看其紧邻邻居的小型、简单的机器人呢？这就是**神经细胞自动机（Neural Cellular Automata, NCA）**背后的理念。把它想象成在网格上玩的一场“传声筒”游戏，或者是一行传递纸条的人。每个人只看到身边的邻居，写下一张小纸条，然后传下去。他们反复这样做。如果他们都遵循完全相同的简单规则，一个复杂的图像或模式最终就能从混沌中显现出来。科学家们已经利用这种方法培育了数字植物和纹理，但他们从未真正尝试用它来编写句子。大问题在于：这个微小的、局部的、重复性的机器人真的能学会写故事吗？如果它学会了，是因为它的局部性，是因为它的重复性，还是因为其他什么原因？

实验：一个有着宏大计划的小机器人

在这篇论文中，研究人员构建了一种新型的语言模型，称为 TextNCA。他们没有建造一座摩天大楼，而是建造了一个这种“微型邻居机器人”的“层级化”版本。他们给了它一个非常具体的任务描述：它必须观察一小组词语，更新其理解，然后将更新后的理解传递给下一组。

为了实现这一点，他们设置了一个三阶段的接力赛：

第一阶段（狭窄视野）： 机器人一次只看 8 个词。它重复这个过程 4 次，以完善对那个微小邻域的理解。
第二阶段（中等视野）： 然后它转向一个 32 个词 的窗口。同样，它重复这个过程 4 次，现在它能看到更多的上下文。
第三阶段（宽广视野）： 最后，它观察 128 个词。它又重复了 4 次，终于看到了整个句子结构。

该机器人对所有 4 次重复使用完全相同的“大脑”（权重），就像真正的细胞自动机一样。研究人员在海量文本数据集（WikiText-103）上对其进行了训练，并将其与标准的 AI 模型进行了对比。

大惊喜：是调度，而非重复

研究人员原本预期，奇迹会来自于机器人反复执行步骤（迭代）或者它只观察局部邻居。但当他们进行实验时，发现了一些令人惊讶的结果。

主要的成功驱动力是“由窄到宽”的调度方案（Narrow-to-Wide schedule）。
该模型之所以表现出色，是因为它从小规模开始，并逐渐扩大规模。这就像读书：你先理解单个词，然后是短语，接着是句子，最后是段落。

当他们保留了调度方案，但停止让机器人重复自身（使其成为一个仅单次通过的模型）时，它的表现仍然几乎和完整的重复模型一样好。两者的差异很小（在衡量模型困惑程度的指标“困惑度/Perplexity”上仅差约 4 点）。
然而，当他们反转了调度顺序（从 128 个词开始变窄）时，模型崩溃了。它的表现变得极差，得分高达 131.1，而优秀的得分仅为 60.3。
即使他们保持相同的窗口大小但随机打乱顺序（例如：8，然后 128，再然后 32），模型也会陷入挣扎。

这告诉我们，NCA 设计中的“局部性”和“重复性”并不是主角。真正的英雄是操作顺序：从狭窄视角开始并逐渐扩展。

关于重复性

那么，重复步骤真的有帮助吗？是的，但只有一点点帮助，且仅在非常特定的条件下。

研究人员发现，精确重复 4 次是“甜点位”（最佳平衡点）。如果重复 2 次，模型会感到困惑；如果重复 6 次或 8 次，模型的表现反而会变差。这就像一个学生，学习一个章节一两次并掌握得很好，但如果学习 10 次，他反而会忘记所学的内容。
这种重复之所以奏效，是因为模型拥有一个特殊的“门控”（GRU gate）以及学习了“步骤嵌入”（step embeddings，即告诉机器人处于处理过程哪个阶段的特殊标记）。如果没有这些，重复不仅毫无作用，甚至会适得其反。

结论：受控的阅读，而非新的冠军

作者对他们的结果非常诚实。他们承认，他们的 TextNCA 模型并不比标准的“摩天大楼”模型（Transformer）更好。事实上，标准的模型预测下一个词的能力要强得多。

标准 6 层 Transformer 的得分是 52.8。
他们最好的 TextNCA 模型得分是 60.3。
标准 12 层 Transformer 甚至更好，达到了 44.7。

因此，这并不是一篇宣称“我们制造了更好的 AI”的论文。相反，这是一篇旨在说明“我们构建了一个受控实验，以弄清楚这些细胞自动机模型究竟是如何运作的”。

我们学到了什么（以及我们没学到什么）

“由窄到宽”规则至上： 这种类型模型最重要的原则是从小视野开始，并逐渐扩大视野。如果不这样做，模型就会失败。
重复性是调光开关，而非灯泡： 迭代（重复）步骤确实能增加一点动力，但前提是必须在正确的次数（4 次）停止。过度重复会损害性能。
局部注意力存在局限性： 当他们在阅读理解任务（SQuAD）上测试该模型时，它很难找到需要远距离观察文本才能找到答案的问题。这表明，虽然“从小到大”的策略有所帮助，但该模型在观察全局方面仍不如那些能同时观察一切的标准模型。

“旋钮”实验

还有一个有趣的副产物：他们可以训练一个允许在“推理阶段”（运行过程中）改变重复次数的模型。通常情况下，如果你在训练后改变模型的重复次数，它就会出错。但通过使用随机重复次数进行训练，他们创造了一个可以在运行时调整深度的“旋钮”。代价是什么？该模型的整体表现变得差多了（得分从 60.3 降至 101）。这就像拥有一辆可以随心所欲调节速度的车，但它的最高时速只有普通车的二分之一。

总结

这篇论文并没有给我们一个全新的、超强大的语言模型。相反，它为我们提供了一张清晰的地图，展示了这些“细胞自动机”模型究竟是如何运作的。它证明了奇迹不在于重复本身或局部规则，而在于层级化调度——即从狭窄视角到宽广视角的谨慎、循序渐进的扩张。它提醒我们，有时，你组织步骤的方式比步骤本身更为重要。

技术摘要：TextNCA：通过分层局部注意力进行语言建模的神经细胞自动机

问题陈述
本文研究了神经细胞自动机（NCA）的三大核心特性——严格的局部感知、权重共享迭代以及门控原地更新——是否可以应用于一维因果序列以支持语言建模。虽然 NCA 已在图像生成和纹理合成领域取得了成功，但其在语言领域的应用仍处于空白。此外，现有的语言模型处于设计空间的互补位置：Universal Transformer 使用迭代和权重共享，但保留了全局注意力；ALBERT 共享权重但不进行迭代；而滑动窗口 Transformer 使用局部注意力，但既没有迭代也没有权重共享。目前没有任何现有架构能同时结合这三种 NCA 特性。作者旨在确定在应用于语言时，究竟是哪些特性在驱动模型的行为。

方法论：TextNCA 架构
作者引入了 TextNCA，一种 1D 因果窗口化注意力的 NCA 原型实现。该架构由以下组件定义：

核心更新规则： 模型维护一个序列状态 $h_t$ $h_{t}$ 。在每一步中，它迭代地应用一个共享的局部规则： $h_t = \text{Gate}(h_{t-1}, \text{FFN}(\text{LN}(\text{Perceive}(h_{t-1} + s_t))))$ $h_{t} = Gate (h_{t - 1}, FFN (LN (Perceive (h_{t - 1} + s_{t}))))$ 。
- 感知（Perception）： 一个具有特定窗口大小 $w$ 的因果窗口化注意力机制。
- 迭代（Iteration）： 在每个阶段重复应用相同的权重 $T_s$ 次。
- 门控（Gating）： 一个类似 GRU 的更新门将感知输出与前一状态结合，从而实现原地更新。
- 步进嵌入（Step Embeddings）： 每一次迭代都会添加一个可学习的步进嵌入 $s_t$ ，以允许共享权重在不同步骤间实现专业化。
分层阶段化（Hierarchical Staging）： 模型通过 $K$ $K$ 个连续阶段处理 Token，每个阶段具有不同的参数集 $\theta_k$ $θ_{k}$ 和特定的窗口大小 $w_k$ $w_{k}$ 。各阶段级联，窗口大小严格递增： $w \in \{8, 32, 128\}$ $w \in {8, 32, 128}$ 。
- 调度方案（Schedule）： 模型使用“由窄到宽”的调度方案。第一阶段使用 $w=8$ ，第二阶段使用 $w=32$ ，第三阶段使用 $w=128$ 。
- 迭代次数： 每个阶段迭代 $T_s=4$ 次，总计 12 个 NCA 步。
训练协议： 模型在包含 5 亿个 Token 的 SlimPajama 子集上进行训练，使用 Mistral 32K BPE 词表，序列长度为 512。在 WikiText-103 上进行评估。模型规模约为 30M 参数，训练 6 万步。

核心贡献与消融实验
本文将 TextNCA 视为一种分析性探测而非性能竞争，通过七轴消融实验来隔离“承重”组件：

阶段化窗口调度占主导地位： 最关键的发现是，“由窄到宽”的调度方案是性能的主要驱动力。
- 反转调度方案（ $[128, 32, 8]$ ）会导致困惑度（PPL）上升 70.8。
- 使用统一窗口（ $[32, 32, 32]$ ）会导致 PPL 上升 59.4。
- 一个重新使用这种“由窄到宽”调度的非迭代滑动窗口 Transformer，其 PPL 为 64.5，仅比迭代式的 TextNCA（60.3）差 4.1。
- 这表明该调度方案解释了架构的大部分效应，而迭代则是次要贡献者。
迭代作为有效的深度调节器： 迭代带来了有界的收益（约 4 PPL），但表现出非单调性。
- 对每个阶段的迭代次数（ $T_s$ ）进行扫描显示，存在一个呈 U 型曲线的分布，最优值为 $T_s=4$ 。
- 当迭代次数超过 4 次时，性能会下降，这排除了“迭代细化”的解读（即更多步骤总是会有帮助）。
- 迭代需要 GRU 门和学习到的步进嵌入共同作用才能有效；移除其中任何一个都会导致 PPL 显著恶化。
组件敏感性：
- 门控（Gating）： 将 GRU 门替换为简单的残差更新会导致 PPL 上升 16.3。
- 感知内核（Perception Kernel）： 虽然门控线性注意力（GLA）在单一尺度下优于局部 Softmax，但在分层主体结构中表现不如后者，这表明内核与调度方案之间存在强烈的相互作用。
- 随机训练： 使用随机 $T_s$ （随机迭代）进行训练可以实现推理时的迭代次数调节，使模型能够泛化到不同的迭代深度。然而，这付出了巨大的代价，相比于基准的 60.3，最佳 PPL 上升到了约 101。

结果

性能： 在 30M 参数规模下，TextNCA（PPL 60.3）并未达到参数对等的 Transformer（Transformer-6L: 52.8; Transformer-12L: 44.7）。
计算效率： TextNCA 在计算上并不具备帕累托最优性。当在 FLOPs 或墙钟时间上进行匹配时，性能差距显著扩大（TextNCA PPL 上升至 70.6–80.1）。
下游任务：
- 分类： 在情感分类和主题分类（IMDb, AG News, SST-2）方面，TextNCA 与 Transformer 基准模型统计上持平。
- 抽取式问答（QA）： TextNCA 在 SQuAD 上的表现逊于对手（F1 26.3 vs Transformer-6L 的 28.6）。作者将其归因于局部注意力设计，因为全局注意力模型在跨度级 QA 任务中始终优于局部变体。

意义与主张
本文将其贡献定位为对语言建模中 NCA 式计算的一种“受控阅读”。作者主张：

阶段化由窄到宽的窗口调度是承重架构因素，解释了模型的大部分行为。
迭代与权重共享提供了一个较小的、有界的收益，其功能类似于一个有效的深度调节器，且取决于特定门控机制和步进嵌入的存在。
模型证明了 NCA 式计算可以作为语言模型运行，但在所研究的规模下，它并未超越标准的 Transformer。这项工作隔离了 NCA 原语中的哪些部分承载了权重，表明 NCA 中“从局部规则涌现全局结构”的过程，高度依赖于感受野的具体调度，而非仅仅依赖于迭代机制本身。
本文明确避免了在“推理时计算扩展”方面的说法（即思维链或搜索），指出通过随机训练实现的推理时迭代调节会带来极高的绝对 PPL 惩罚。