💬 NLP

Timesteps of Mamba Align with Human Reading Times

这项研究表明，Mamba状态空间语言模型动态的逐词处理时间步长能显著预测人类的阅读时间，为理解实时语言处理和记忆保持提供了一个新颖的架构视角。

原作者： Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在读一本书。有时，你会飞快地读完一个简单的句子，比如“猫坐着。”。但有时，你会遇到一个复杂、令人困惑的短语，不得不停下来，重读并苦思冥想，然后才能继续阅读。你的大脑自然会在这些难点上花费更多的“处理时间”。

这篇论文提出了一个引人入胜的问题：一种特定的 AI（称为 Mamba），能否以一种模仿人类阅读所需时间的方式来“阅读”句子？

以下是他们发现的解析，使用了简单的类比。

1. 拥有“变速”大脑的 AI

大多数 AI 模型（例如驱动聊天机器人的模型）有点像节拍器：无论单词是简单还是困难，它们处理每个单词的速度都完全一样。

Mamba 则不同。它基于一种被称为“状态空间模型”（State-Space Model）的系统构建。你可以把 Mamba 的大脑想象成一个智能传送带，它可以根据情况随时加速或减速。

当 AI 看到一个简单的词时，它会快速掠过。
当它看到一个困难或令人惊讶的词时，它会减速。

论文关注的是 Mamba 内部的一个特定数值，称为 $\Delta t$ （Delta-t）。你可以把它看作是 AI 内部的“秒表”。它衡量了 AI 在移动到下一个词之前，在心理上“花费”了多少时间来处理当前词。

2. 重大发现：AI 时间 = 人类时间

研究人员将这个秒表与真实数据进行了对比测试。他们观察了数千个在实验中被人类阅读的单词，记录了人们在每个单词上停留的确切时间。

结果： AI 的内部秒表 ( $\Delta t$ ) 是人类阅读时间的极佳预测指标。

当 AI 的秒表显示“这个词很棘手，我需要停留一下”时，人类阅读该词的时间通常也会更长。
当 AI 说“这个很简单，走起”时，人类阅读的速度也很快。

更令人印象深刻的是，即使研究人员考虑了其他已知的导致人类停顿的原因（如单词长度或单词的可预测性），这一结果依然成立。AI 的“时间”为这个谜题提供了一个其他模型所缺失的新维度。

3. “讲故事者”层

Mamba 模型拥有 24 层“神经元”（可以想象成 24 个不同的工作小组，彼此传递笔记）。研究人员发现，并非所有的团队在预测人类阅读时间方面都同样出色。

局部工作者： 一些层擅长处理即时的、局部的细节（例如句子的开头）。
讲故事者： 有两个特定的层（第 16 层和第 17 层）表现得非常出色。这些层似乎掌握着故事的“大局观”。它们是最好地预测人类阅读复杂故事时间的部分。
- 类比： 想象一个编辑团队。前几位编辑检查错别字（局部细节）。而最后几位编辑则是在阅读第 10 章时，依然能记住第 1 章情节的人。论文发现，这些 AI 中具有“情节记忆”能力的层，其行为方式与人类读者追踪故事的方式非常相似。

4. 为什么 AI 会减速？（不确定性理论）

论文还提出了一个关于 AI 为什么要减速的理论。他们认为，“秒表” ( $\Delta t$ ) 实际上是不确定性的一种度量。

类比： 想象你正在穿行于一片迷雾森林。如果路径清晰，你就走得快；如果路径模糊，你不确定下一步该怎么走，你就会放慢脚步观察四周。
AI 的逻辑： 当 AI 对接下来的内容感到不确定，或者当它到达一个“边界”（例如句子的结尾）时，它会减速（增加其处理时间）。它停下来以“重置”其记忆，并为新的语境做好准备。

有趣的是，研究人员发现，AI 自然学会了在句子开头减速，就像人类开始一个新的想法时那样。

5. 这意味着什么（根据论文观点）

作者并不是说这种 AI 可以治愈阅读障碍，或者我们应该用它来取代人类教师。相反，他们提出 Mamba 为科学家提供了一个新的视角。

由于 Mamba 拥有一个根据输入不断变化的内置“时间”变量，它就像一个模拟的人类大脑，随着时间的推移处理信息，并且其记忆在不断更新。它允许研究人员实时研究“记忆”与“不确定性”是如何相互作用的，而这在那些处理一切都瞬间完成的旧款 AI 模型中是很难观察到的。

简而言之： 论文表明，一种特定的 AI 模型自然地学会了按照人类的速度进行“思考”——为难词留出更多时间，并记住故事的情节。这为我们理解大脑如何处理语言提供了一种全新的方式。

技术摘要：Mamba 的时间步长与人类阅读时间一致

问题陈述
人类语言处理是随时间展开的过程，计算心理语言学中的一个核心问题是：人工语言模型（LM）如何表征这一时间维度，以及它们的内部动力学是否与人类的认知处理相一致。虽然以往的研究主要通过“惊异度”（surprisal，即给定上下文时下一个词的负对数概率）将基于 Transformer 的模型与人类阅读时间联系起来，但这种方法依赖于下一词预测的目标。本研究调查了一种替代架构——Mamba（一种状态空间模型或 SSM），它拥有内在的内部时间步长概念，能够根据输入动态调节状态转换。作者探讨了这些输入依赖的时间步长（在概念上代表状态演化的持续时间）是否与人类读者处理单词所花费的时间相关。

研究方法
本研究采用了一种结合经验回归分析与 Mamba 架构形式化理论分析的多维度方法。

数据集： 作者使用了两类自然主义阅读时间数据集：
- 自然故事（Natural Stories）： 181 名英语母语者阅读 10 个故事的自步阅读（self-paced reading）数据。
- OneStop： 180 名母语者阅读 30 篇文章（包括高级和初级版本）的眼动追踪数据，分析了首次通过时间（first-pass time）和回视路径持续时间（regression-path duration）。
预测变量与模型：
- 主要预测变量： 来自 Mamba 模型（Mamba-130M 和 Mamba-2.8B）的离散化时间步长 ( $\Delta t$ )。在 Mamba 中， $\Delta t$ 是一个由输入 token 通过学习函数确定的标量（或向量）（见公式 5）。作者通过对维度取平均并对子词 token 取最大值，将其聚合为词级指标 ( $\bar{\Delta}t$ )。
- 控制变量： 为了分离 $\Delta t$ 的预测能力，作者控制了低级特征（词长、语料库频率、句子位置）以及人类阅读时间的已知预测因子：Mamba 惊异度和 GPT-2 惊异度。
- 回归分析： 使用线性回归模型来预测经过对数转换后的阅读时间。通过 10 折交叉验证（重复 50 次）使用均方误差（MSE）评估性能。通过对不同层进行排列检验（permutation tests）并使用 Holm 校正进行多重比较，来测试 $\Delta t$ 的显著性。
形式化与干预分析：
- 语言敏感性： 计算了 $\bar{\Delta}t$ 与语言特征（句子位置、句法距离）之间的相关性。
- 长程依赖： 使用基于干预的“密钥检索”（passkey retrieval）任务来评估哪些层对于在长上下文中维持信息至关重要。
- 理论推导： 作者分析了 Mamba 的转换矩阵特征谱，以表征其记忆保持能力。此外，他们在状态转换方程中引入了一个噪声项，从而从理论上推导出 $\Delta t$ 的量级对应于隐藏状态转换的条件熵（不确定性）。

关键结果

预测能力： 离散化时间步长 $\bar{\Delta}t$ 是人类逐词阅读时间的显著预测因子。表现最好的层（例如 Mamba-130M 中的第 17 层）的预测能力与 GPT-2 惊异度相当（ $R^2 \approx 0.22$ ）。
独特方差： 至关重要的是，即使在控制了 GPT-2 惊异度和其它低级变量后， $\bar{\Delta}t$ 仍然是一个显著的预测因子。这表明 Mamba 的内部处理时间捕捉到了标准基于惊异度的模型无法解释的人类阅读行为方差。
层特化：
- 大多数层对局部语言特征（如句子边界、句法距离）表现出敏感性。
- 第 16 层和第 17 层表现出独特的行为：它们对局部句子结构不太敏感，但与故事级信息和故事位置强相关。这两层在 Natural Stories 数据集上也显示出最高的预测能力。
- 干预实验证实，消除（knock out）第 16 层和第 17 层会显著降低模型在长程依赖任务（密钥检索）上的表现，表明这些层对于维持长期上下文至关重要。
理论一致性：
- 记忆保持： 对转换矩阵 $exp(A)$ 的特征值分析显示，第 16 层和第 17 层拥有更高比例接近 0.5 的特征值（相比之下，整体分布峰值在 0 附近），这在理论上支持了它们在长期记忆保持中的作用。
- 不确定性： 理论分析表明，较大的 $\Delta t$ 值对应于状态转换中的更高不确定性。数据展示了 $\Delta t$ 在句子边界处达到峰值，而句子边界正是关于未来上下文存在高度不确定性的点，这与模型需要更积极地更新其状态的需求相吻合。

意义与主张
本文声称 Mamba 为研究人类实时语言处理提供了一个“新的、有价值的视角”。与 Transformer 不同（Transformer 通过并行处理序列，或通过不本质地编码处理时长的注意力机制进行处理），Mamba 的架构通过动态时间步长显式地模拟了时间。

作者认为：

对齐性： 基于 SSM 的模型的内部“处理时间” ( $\Delta t$ ) 与人类认知负荷相一致，这表明动态调节状态转换速度的机制是人类阅读动态的一个合理的计算类比。
记忆与噪声： 该模型允许研究人员调查不同层如何权衡短期与长期信息的保留（通过特征谱），以及“噪声”（状态转换中的不确定性）如何与连续记忆表示相互作用。
超越惊异度： 研究结果表明，除了词汇可预测性（惊异度）之外，因素（特别是状态更新的动态持续时间）也与人类的阅读行为相关。

研究结论指出，尽管为什么 $\Delta t$ 会在特定语言边界处达到峰值的确切学习动力学仍是一个开放性问题，但 Mamba 的时间步长与人类阅读时间之间的经验与理论一致性，为理解受记忆约束的语言处理提供了一个全新的框架。