💬 NLP

On the Proper Treatment of Units in Surprisal Theory

本文提出一个统一框架，将语言单位的定义与惊奇理论中的评估区域解耦，主张应将分词视为实现细节而非科学基本要素，以确保对人类处理努力的显式且严谨的建模。

原作者： Samuel Kiegeland, Vésteinn Snæbjarnarson, Tim Vieira, Ryan Cotterell

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Samuel Kiegeland, Vésteinn Snæbjarnarson, Tim Vieira, Ryan Cotterell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《论惊奇理论中单位的恰当处理》的解释，采用通俗易懂的语言和富有创意的类比。

核心问题：“错误的尺子”

想象你是一位心理学家，试图测量人类大脑阅读句子时的难度。你拥有一套名为**惊奇理论（Surprisal Theory）**的理论，该理论认为：一个词越难预测，阅读它所需的精神努力就越大。

为了验证这一点，你需要一把“尺子”来衡量这种努力。过去，研究人员使用与单词完美匹配的尺子（就像用英寸测量桌子）。但如今，我们使用强大的 AI 模型（如 GPT-2）来进行测量。问题在于：这些 AI 模型不讲“人类语言”。 它们讲的是"token（词元）”。

把 token 想象成乐高积木：

人类看到的是单词 "don't"。
AI 看到的是两块积木："don" 和 "'t"。
人类看到的是单词 "words"。
AI 看到一块积木："words"。
人类看到的是单词 "equal"。
AI 看到一块积木："equal"。

由于 AI 的“积木”（token）与我们的“单词”不对应，研究人员一直试图将 AI 的积木粘合起来以匹配人类单词。他们使用的是“临时”（ad hoc）胶水。有时他们将空格粘在单词前面，有时粘在后面。有时他们忽略标点符号。

论文的主要观点： 这种“粘合”既混乱又不一致。这就像试图用一把每次你看向它时长度都会改变的尺子来测量房间。作者认为，决定什么算作一个“单位”（单词、字母或短语）是一项科学决策，而不仅仅是技术细节。 我们需要停止让 AI 内部的积木结构主宰我们的科学研究。

解决方案：“自带单位”

作者提出了一个新框架，研究人员在查看 AI 之前就确切地决定什么是“单位”。

你选择单位： 你想研究整个单词？单个字母？还是特定的词性？
你翻译 AI： 不是强迫 AI 改变，而是构建一个“翻译器”（一种称为转换器 transducer的数学工具），将 AI 奇怪的积木转换为你选择的单位。

类比：
想象 AI 是一位只讲“克面粉、糖和鸡蛋”的厨师。你作为科学家，想知道正在制作多少“蛋糕”。

旧方法： 你试图根据厨师随机的测量数据，猜测多少克能组成一个蛋糕。
新方法： 你制造一台机器，将厨师的克数自动组装成完美的“蛋糕”（或“纸杯蛋糕”、“松饼”），依据的是你的食谱。厨师没有改变；你的机器只是根据你的具体问题正确解读了输出。

实验：测试不同的尺子

为了证明他们的观点，作者使用 MECO 数据集（一组来自人们阅读文本时的眼动追踪数据）进行了一项实验。他们测试了四种不同的“尺子”（单位清单），看看哪一种最能预测人们的眼睛在单词上停留的时间：

Token（词元）： 使用 AI 原生的积木（例如，将"don"和"'t"视为独立的事物）。
字符： 测量每一个字母（例如，d, o, n, ', t）。
无上下文单词： 通过简单规则分割文本（例如，“在每个空格处切断”）。这就像在每两个珠子之间的空隙处切断一串珠子，而不管珠子长什么样。
有上下文单词： 使用智能规则（如 Penn Treebank 指南），这些规则理解上下文。例如，知道"1,000"中的逗号是数字的一部分，而"Hello, world"中的逗号是一个停顿。

结果：测量什么很重要

研究发现，改变尺子会改变结果。

完整单词（有上下文）： 当他们使用尊重标点和语法的“智能”单词单位时，AI 的预测与人类的眼动非常吻合。
Token（词元）： AI 原生的积木表现尚可，但不如智能单词好。
字符： 逐字母测量无法很好地预测阅读时间。为什么？因为人类很少将眼睛停留在单个字母上；他们看的是整个单词。
“胶水”问题： 他们发现，处理空格的方式（前导空格与尾随空格）会显著改变数学计算结果。

结论：
如果你使用一把糟糕的尺子，你可能会得出“惊奇理论是错误的”或"AI 模型很糟糕”的结论，而实际上，你只是测量了错误的东西。

核心教训

该论文得出结论，分词（tokenization）仅仅是一个技术细节，就像相机镜头的品牌一样。它不应成为主角。

旧思维： "AI 使用 token，所以我们必须研究 token。”
新思维： “我想研究人类如何处理单词。我将把 AI 的输出在数学上转换为单词，以便我能正确回答我的科学问题。”

通过将“单位”的定义视为一种 deliberate（深思熟虑的）科学选择，而不是默认设置，研究人员可以获得关于人类大脑如何处理语言更清晰、更准确的答案。

以下是论文《论惊异理论中单位的恰当处理》的详细技术总结。

1. 问题陈述

惊异理论（Surprisal theory）认为，人类认知处理的努力程度由给定语境下即将出现的语言单位的负对数概率（即惊异度）决定。然而，当前的实证研究存在一个关键的方法论缺口：

不匹配：实验刺激通常被分割为具有语言学动机的单位（例如单词、词素），但现代预训练语言模型（LMs）却在固定的词元（token）字母表（例如字节对编码，BPE）上运行，这些词元与上述语言单位并不对齐。
后果：研究人员目前依赖临时的、事后的启发式方法将模型词元映射到语言单位。这些程序经常混淆两种截然不同的建模选择：
1. 单位词库（Unit Inventory, $U$ ）：语言单位的定义（例如单词、字符、短语）。
2. 感兴趣区域（Regions of Interest, ROIs）：进行评估预测的具体跨度（例如，将单词级别的惊异度聚合为句子级别的指标）。
现有方法的缺陷：近期试图形式化这种映射的尝试（例如 Oh & Schuler, 2024; Pimentel & Meister, 2024）假设单位边界可以通过符号字母表的固定划分来确定（例如，空格总是标记边界）。作者认为这在语言学上是不充分的（例如，逗号在"end, he"中是边界，但在"1,000"中是内部成分），并且在处理依赖上下文的分词时存在数学上的不一致性。

2. 方法论

作者提出了一个统一的形式化框架，将单位定义与分词解耦，将分词视为实现细节而非科学原语。

A. 形式化框架

关注点分离：论文区分了符号字母表（Symbol Alphabet, $\Sigma$ ）（语言模型的原生词元/字符）和单位词库（Unit Inventory, $U$ ）（研究人员选择的语言单位）。
单位解析器（Unit Parser, $\rho$ ）：一个随机映射 $\rho: \Sigma^* \to U^*$ ，将符号字符串转换为单位字符串。作者假设出于实际目的， $\rho$ 是确定性的。
前推概率（Pushforward Probability）：为了从符号级模型（ $p_\Sigma$ ）推导出单位上的概率分布（ $p_U$ ），他们使用了**前推（pushforward）**操作：
$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$
这汇总了所有映射到特定单位 $u$ 的符号字符串的概率。

B. 转换语言模型（Transduced Language Models）

为了处理对潜在无限符号字符串求和的计算挑战，作者引入了有限状态转换器（Finite State Transducers, FSTs）：

正则单位词库：他们假设 $U$ 是有限字母表 $\Xi$ 上字符串的“正则”子集。
转换器（The Transducer, $f$ ）：一个有限转换器 $f = h \circ \rho$ 将符号字符串 $\Sigma^*$ 映射到有限字母表 $\Delta = \Xi \cup \{SEP\}$ 上的字符串，其中 $SEP$ 是分隔符符号。
算法：通过将语言模型与转换器组合，他们可以使用束搜索近似（Snæbjarnarson et al., 2026）高效地计算前推分布。这使得能够在不重新训练语言模型的情况下，计算任意单位词库的惊异度。

C. 实验设计

数据集：多语言眼动语料库（MECO），具体为英语部分（46 名读者，12 个维基百科摘录）。
测试的单位词库：
1. 词元（Tokens）：原生 GPT-2 词元。
2. 字符（Characters）：单个字符。
3. 非上下文单词（Acontextual Words）：通过固定分隔符（空格）分割的单词，测试前导和尾随空格归属两种情况。
4. 上下文单词（Contextual Words）：使用宾州树库（PTB）规则分割的单词（例如，处理"1,000"与"end, he"中的标点符号）。
分析：
- 基线：对数线性广义加性混合模型（Log-normal GAMMs），使用单位长度、单字惊异度和溢出效应来预测阅读时间。
- 目标：基线加上上下文惊异度。
- 指标：通过留一法交叉验证获得的保留集对数似然改进量（ $\Delta llh$ ）。

3. 主要贡献

理论解耦：论文形式化地将单位的选择与分词的选择分离，论证单位选择应是由科学问题驱动的主要建模决策，而不是语言模型架构的副产品。
广义形式化：他们提供了一个“自带单位（bring your own units）”的框架，利用转换器，允许研究人员定义任意的、上下文敏感的单位词库（例如 PTB 风格的分词），并直接从预训练语言模型计算惊异度。
对当前启发式方法的批判：他们证明，固定划分方法（将空格视为通用边界标记）无法捕捉语言现实（例如标点符号的附着），并引入了关于单位同一性的数学不一致性。
实用工具包：作者发布了代码和转换器，用于将词元级模型转换为字符级或上下文感知的单词级模型。

4. 结果

作者评估了惊异度在四种单位词库上对三种阅读时间指标（首次注视时间 FF、注视持续时间 GD 和总阅读时间 TRT）的预测能力。

类单词词库：惊异度显著提高了所有类单词词库（词元、非上下文、上下文）在注视持续时间和总阅读时间上的预测效果。
首次注视：惊异度对词元、上下文单词和非上下文（尾随）显著，但对非上下文（前导）不显著。这表明前导空格归属（BPE 中常见）可能与早期认知处理不对齐。
字符级：字符级惊异度在预测阅读时间方面没有显示出显著改进。作者将此归因于单个字符很少被单独注视；认知处理单位大于单个字符。
上下文与非上下文：上下文单词词库（正确处理标点符号）的表现通常与非上下文词库相当或略好，特别是在处理复杂标点符号的情况时，验证了上下文敏感分割的必要性。
绝对分数的不可比性：研究强调，绝对对数似然值和 $\Delta llh$ 值不能在不同单位词库之间直接比较，因为这些词库导致了不同的观察粒度和基线预测器（例如单位长度）。

5. 意义

方法论严谨性：论文确立，将分词视为固定约束会限制心理语言学结论的有效性。研究人员必须明确定义其单位词库。
可复现性与灵活性：通过提供基于转换器的框架，作者使社区能够在不付出从头重新训练语言模型的昂贵代价的情况下，测试关于特定语言单位（词素、短语、话语单位）的假设。
语言学充分性：结果支持这样的观点：对于模拟人类阅读行为，上下文敏感分割（如 PTB）优于简单的基于分隔符的分割，特别是在标点符号方面。
未来方向：该框架可扩展至其他因变量（神经信号、有损上下文惊异度）和其他语言，前提是能够构建适当的转换器。

总之，论文论证了分词是实现细节，而单位选择是科学选择。通过转换器将两者解耦，研究人员可以确保其惊异度指标准确反映他们意图研究的语言单位。