N-gram-like Language Models Predict Reading Time Best

该论文提出并证实,阅读时间更依赖于简单的 n-gram 统计特征而非复杂模型学到的深层统计规律,因此那些预测结果与 n-gram 概率相关性最高的神经语言模型,在预测自然文本阅读时间(基于眼动追踪数据)时也表现最佳。

James A. Michaelov, Roger P. Levy

发布于 Wed, 11 Ma
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文探讨了一个非常有趣的现象:为什么现在的超级人工智能(大语言模型)在预测下一个词时越来越强,但用来解释人类阅读时的“停顿时间”时,效果反而变差了?

为了让你轻松理解,我们可以把这篇论文的核心思想想象成**“老练的出租车司机”与“新手导航仪”的故事**。

1. 背景:为什么我们会停下来?

想象你在开车(阅读)。当你看到前面的路标(单词)时,如果你的大脑能立刻猜到下一个路口是什么,你就会开得很快(阅读时间短)。如果你完全猜不到,或者路标很生僻,你就得踩刹车,停下来想一想(阅读时间长)。

过去几十年,科学家发现:单词出现的概率越高,我们读得越快。 比如,在“今天天气真……"后面接“好”,比接“香蕉”要快得多,因为“好”出现的概率高。

2. 问题:AI 太聪明了,反而“不接地气”了

随着技术发展,我们造出了像 Transformer 这样超级强大的 AI 模型。它们读了互联网上几乎所有的书,变得无所不知。

  • 以前的预期:AI 越聪明,它预测下一个词就越准,它算出来的“概率”应该越能解释人类为什么读得快或慢。
  • 现实情况:科学家发现,当 AI 变得强大时,它预测的“概率”和人类实际的阅读时间反而对不上了。AI 觉得某些词(比如一些生僻的名词或形容词)很容易出现,但人类读这些词时却卡住了。

这就好比一个**“超级导航仪”**,它知道全世界所有的路,甚至知道哪条小路在 100 年前就存在过。但当你开车时,它却告诉你:“前方路况极佳,全速通过!”结果你发现前面其实是个大坑,你不得不急刹车。因为它太了解“理论上的路况”,却忽略了“司机当下的反应速度”。

3. 核心发现:人类其实是个“短视”的司机

作者提出了一个大胆的观点:人类的大脑在阅读时,其实并没有像超级 AI 那样去分析复杂的长距离上下文,我们更像是在玩“接龙游戏”,只关注最近的一两个词。

  • N-gram(N 元语法):这就像是你只记得前 1 个词(Bigram,双词组)或者前 2 个词(Trigram,三词组)。
    • 比如看到“猫”,你只想到“猫鱼”,而不会想到“猫很久以前故事里鱼”。
  • 研究发现
    1. 如果我们用简单的“前 1 个词”或“前 2 个词”的统计规律来预测阅读时间,效果最好
    2. 那些最像“简单接龙”的 AI 模型(即它们的预测主要基于最近的一两个词),反而最能解释人类的阅读时间。
    3. 那些试图分析长距离、复杂语境的超级 AI,因为想得太多、太深,反而偏离了人类真实的阅读节奏。

4. 实验验证:训练过程中的“黄金时刻”

作者还观察了 AI 模型在“学习”过程中的变化,就像观察一个学生从幼儿园到博士生的成长:

  • 刚开始学(训练早期):AI 还在死记硬背,它主要学会的是“前 1 个词”和“前 2 个词”的规律。这时候,它预测人类阅读时间的效果最好
  • 学得太深(训练后期):随着它读了更多书,它开始掌握复杂的长句逻辑和深层含义。这时候,它预测人类阅读时间的效果反而下降了

这就像是一个新手司机,他只看红绿灯和前车(简单的 N-gram),开得反而很稳,符合大多数人的反应;而一个赛车专家(大模型),他考虑了空气动力学、轮胎磨损和几公里外的路况,结果在普通城市道路上反而因为想太多而反应迟钝。

5. 结论:我们的大脑喜欢“简单”

这篇论文告诉我们:

  • 人类阅读时,主要依赖的是“局部”的统计规律(比如前几个词的组合),而不是复杂的、长距离的深层逻辑。
  • 那些**“不够聪明”、只关注眼前几个词的模型,反而比那些“全知全能”的超级模型**更能模拟人类的大脑。
  • 这也解释了为什么有时候我们读不懂复杂的长难句,因为我们的眼睛和大脑在处理信息时,是**“走一步看一步”**的,而不是像超级计算机那样瞬间处理完整个篇章。

一句话总结

人类阅读时,大脑像个只关注“眼前路”的短跑选手,而不是个能规划“全程路线”的马拉松教练。所以,那些只关注“前几个词”的简单模型,反而比那些“想得太多”的超级 AI 更能预测我们什么时候会“踩刹车”。