💬 NLP

Energy-Based Transformers as Predictors of Reading Difficulty

本文介绍了基于能量的 Transformer，作为一种新型且统一的人类阅读难度预测器，它在多个阅读时间语料库和句法结构上均优于并涵盖了诸如信息量（surprisal）和注意力熵（attention entropy）等现有度量指标。

原作者： Jakub Dotlacil, Ece Takmaz

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jakub Dotlacil, Ece Takmaz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心理念：衡量“阅读困难”的新方法

想象你正在读一本书。有时，句子读起来非常流畅，你的视线在文字间轻盈滑动；有时，你会遇到一个“坎”，视线停顿，你不得不重新阅读某个短语才能理解它的意思。在计算机的世界里，我们称之为“阅读难度”（reading difficulty）。

长期以来，研究人员一直使用两种主要工具来预测人类读者何时会遇到“坎”：

意外度（Surprisal）： 这衡量了一个词有多出人意料。如果你说“猫坐在……”后面接“垫子上”，这个词是预料之中的（低意外度）；如果你说“猫坐在……烤面包机上”，这会让人感到震惊（高意外度）。
注意力熵（Attention Entropy）： 这衡量了计算机注意力的“困惑”程度。想象你的注意力是一把手电筒。如果手电筒紧紧聚焦在一个词上，熵就低；如果手电筒在晃动，同时照向十个不同的词，熵就高（这通常意味着句子处理起来很困难）。

问题所在： 通常情况下，研究人员需要同时使用这两种工具才能获得良好的预测效果。有时“意外度”能解释难度，有时“注意力熵”能解释难度。这就像每次修车时，都要分别检查发动机和轮胎一样。

新的解决方案： 本文引入了第三种工具，叫做能量（Energy）。作者测试了一种特殊的 AI 模型，称为 NRGPT（基于能量的 GPT）。他们发现，这种“能量”度量指标就像是一个通用翻译器。它似乎将“意外度”和“注意力熵”的最佳部分结合在了一个单一的数值中。

“能量”模型是如何工作的

要理解“能量”，请想象 AI 模型不仅仅是在预测下一个词，它还在试图稳定下来到一个舒适的位置。

地形类比： 将 AI 对句子的理解想象成一片起伏的山峦。
- 低能量（山谷）： 句子逻辑通顺。词语之间完美契合，就像拼图碎片严丝合缝地扣在一起。AI 处于“放松”状态。
- 高能量（山峰）： 句子令人困惑或显得生硬。AI 正在“费力”地去理解它。这就像试图让一个球平衡在陡峭的山顶上。

在这个模型中，AI 不仅仅是在猜测下一个词，它在数学层面上物理性地“滚下”这座山，以寻找理解句子的最稳定、“低能量”的方式。论文指出，AI 滚下这座山所花费的“努力”（能量）程度，是预测人类阅读该句子难度的完美指标。

他们测试了什么

研究人员进行了两项主要实验，以验证这种“能量”概念是否真的有效。

1. “关系从句”测试（复杂的句子）

他们观察了语言学中一个经典的难题：两类句子的区别。

句子 A（简单）： "The firemen that called the residents attacked the house."（主语关系从句）
句子 B（困难）： "The firemen that the residents called attacked the house."（宾语关系从句）

人类在读到动词（"called"）时，会觉得句子 B 难读得多。

旧工具： “意外度”无法识别这里的差异。“注意力熵”虽然看到了差异，但忽略了句子的其他部分。
新工具： 能量度量指标完美地捕捉到了句子 B 的难度。当句子变难时，能量升高；当句子变易时，能量降低。它成功捕捉到了人类感受到的那个“坎”。

2. “真实书籍”测试（阅读速度）

他们将数千个来自真实书籍的句子输入模型，并将模型的“能量”得分与人类阅读这些书时的实际数据（测量眼睛在每个词上停留的时间）进行对比。

结果： “能量”得分是阅读时间的极强预测因子。事实上，它的表现非常出色，即使在加入“意外度”进行综合分析后，“能量”得分仍然提供了新的、有用的信息。它并不只是在重复其他工具所说的话，而是找到了其他工具错过的“难点”。

为什么这很重要

作者认为，“能量”可能是阅读研究领域的瑞士军刀。

我们不再需要一个专门衡量“意外词汇”的工具和一个专门衡量“困惑焦点”的工具，我们可能只需要这一个“能量”数值。
它将计算机处理语言的方式与人类记忆的工作方式（特别是大脑如何存储和检索关联信息）联系了起来。

重要局限性（他们没有说明的内容）

论文谨慎地说明了他们没有证明的内容：

他们只测试了这种特定版本的 AI 模型。我们目前还不知道它是否适用于所有其他的 AI 模型。
他们只测试了阅读速度。他们并没有测试它是否能预测脑部扫描（fMRI）或其他类型的思维任务。
他们没有在不同的语言或复杂的医疗诊断上进行测试。

简而言之： 本文表明，一种衡量 AI “努力程度”（能量）的新方法是一个强大的单一工具，它可以预测人类何时会在阅读句子时遇到困难，并有可能取代需要多个独立测量工具的现状。

问题描述

Transformer 语言模型已成为建模人类句子处理过程的重要工具，主要通过两种度量指标：惊异度（surprisal，即对数逆概率）和注意力熵（attention entropy）。虽然惊异度能有效基于词汇可预测性预测处理负荷，而注意力熵能捕捉记忆干扰的方面，但单一指标都无法全面拟合阅读时间数据。目前的研究通常需要结合这些互补的度量指标，才能准确建模人类的处理过程。此外，虽然 Transformer 注意力与人类记忆之间的概念联系是直观的，但目前仍缺乏一个原则性的形式化联系，将 Transformer 与更广泛的联想记忆（associative memory）和 Hopfield 网络文献联系起来。作者指出，需要一种统一的单一度量标准，既能捕捉由预测驱动的困难，也能捕捉由整合驱动的困难，从而潜在地在 Transformer 架构与认知联想记忆理论之间架起桥梁。

研究方法

作者研究了基于能量的 Transformer，特别是 NRGPT（Energy GPT）架构，将其作为阅读难度的一种预测器。NRGPT 将 Transformer 的前向传播重新表述为在定义于 Token 状态上的标量能量函数上的梯度下降。

模型架构： NRGPT 的运行方式与标准 GPT 类似，但采用了并行结构（注意力层和前向传播层并行应用）以及递归（Transformer 块迭代应用 $k$ 次）。每一次迭代代表在能量景观（energy landscape）上的一次下降步骤。
能量函数： 模型为每个 Token 位置 $A$ $A$ 分配一个标量能量 $E_A$ $E_{A}$ ，该能量分解为注意力能量（ $E^{AT}_A$ $E_{A}^{A T}$ ）和前向传播能量（ $E^{FF}_A$ $E_{A}^{F F}$ ）。
- $E^{AT}_A$ 源自注意力分数，并与注意力熵相关。
- $E^{FF}_A$ 基于稠密联想记忆（dense associative memory）。
- 直观而言，高能量表示将 Token 整合进上下文存在困难，而低能量则表示整合容易。
实验设计：
1. 实验 1（受控实验）： 作者分析了 24 对主语相对从句（SRC）和宾语相对从句（ORC）。他们将 NRGPT 能量（第 5 层和第 6 层）、惊异度和注意力熵与已知的人类处理不对称性（特别是 ORC 中嵌入动词相对于 SRC 的难度以及名词短语起始处的难度）进行了比较。
2. 实验 2（语料库研究）： 作者对三个阅读时间语料库进行了线性混合效应模型拟合：自然故事（自步阅读）、UCL 眼动追踪以及 UCL 自步阅读。他们比较了 NRGPT 能量（第 5 层和第 6 层）以及惊异度（来自 NRGPT 和 GPT-2-small）对阅读时间的预测能力。

核心贡献

首次在心理语言学中的应用： 这是首次探索将基于能量的 Transformer 度量应用于拟合人类句子处理数据的计算心理语言学研究。
理论联系： 该工作在 Transformer 处理过程与稠密联想记忆（现代 Hopfield 网络）之间建立了原则性的形式化联系，超越了单纯的概念类比，将其转化为一个将处理视为能量最小化的数学框架。
统一预测器： 作者证明了标量能量函数可以作为一个单一的统一预测器，涵盖了此前需要同时使用惊异度和注意力熵才能解释的效果。

结果

相对从句处理：
- 惊异度未能区分 SRC 和 ORC 的动词（这与 GPT-2 的发现一致），但预测了名词短语起始处的难度。
- 注意力熵预测了 ORC 中嵌入动词的难度，但未能预测名词短语起始处的难度。
- NRGPT 能量（第 5 层）成功预测了两者的难度差异，即嵌入动词和名词短语起始处。
- 分解分析显示，第 5 层的能量效应主要是由预期注意力分数（注意力能量的一个组成部分）和前向传播能量驱动的，而非仅仅由注意力熵驱动。
阅读时间语料库：
- 在所有三个语料库中，NRGPT 能量度量都是阅读时间的稳健预测器。
- 在所有三个数据集中，能量提供的拟合效果显著优于惊异度。
- 在“自然故事”语料库中，单独使用惊异度的拟合效果优于能量，但当能量与惊异度结合使用时，能量依然显著。
- 在 UCL 语料库（包括眼动追踪和自步阅读）中，能量提供的拟合效果优于惊异度。
- 层级特异性： 第五层的能量对于自步阅读数据特别具有预测性，而第六层的能量在眼动追踪数据中表现出强大的预测能力（尽管作者指出眼动追踪数据集的观测值较少）。
- 第 5 层能量与惊异度之间的相关性为中等（ $r=0.41$ ），这表明第 5 层能量在捕捉惊异度效应的同时，也捕捉了独特的、由整合驱动的处理成本。

意义

论文声称，能量度量提供了一个单一且直接的联系，连接了 Transformer 与处理难度，可能取代对多种互补度量指标的需求。通过将 Token 整合构架为在能量景观上的下降，这项工作直接将计算心理语言学与联想记忆文献联系起来。作者认为，基于能量的 Transformer 可能捕捉到了惊异度所忽略的整合驱动型难度，同时仍能追踪可预测性。这种方法提供了一个新工具，用于研究神经语言模型中记忆与处理之间的联系，其基础是稠密联想记忆的理论框架，而非仅仅是概念直觉。作者保持了谦逊的态度，指出这仅是初步探索，其在其他架构、模型规模及语言上的泛化性仍需进一步研究。