💬 NLP

Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

本研究表明，尽管语言模型的惊异度（surprisal）与隐喻新颖度标注呈现中度相关，但其表现出迥异的缩放行为——在基于语料库的数据上，其预测能力随模型规模增大而下降，但在合成数据上则随之上升——这凸显了其作为衡量语言创造力综合指标的局限性。

原作者： Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试猜测句子中的下一个词。如果句子是“猫坐在……”（The cat sat on the...），你的大脑（以及计算机程序）可以很容易地猜出“垫子”（mat）。这很容易预测，所以它并不令人感到意外。但如果句子是“猫坐在……水母”（The cat sat on the... jellyfish）上，你的大脑会愣一下。这个词很难预测，因此具有很高的“惊奇度”（surprisal）。

这篇论文提出了一个简单的问题：这种“惊讶感”能否帮助我们区分一个陈旧、乏味的隐喻和一个新鲜、有创意的隐喻？

核心理念：可预测性 vs. 创造力

隐喻就像是心理上的桥梁。有时，这座桥是每个人都熟知的、被踩烂了的路径，比如说“我攻击了他的论点”（I attacked his argument）。大家都知道你不会对一段演讲使用武器；这是一个标准的表达方式。这就是常规隐喻（conventional metaphor）。

而另一些时候，这座桥是全新的且摇摇欲坠的，比如说“逮捕了水”（The arrested water）。你必须停下来思考：水怎么会被逮捕？字典里没有这个词。这就是新颖隐喻（novel metaphor）。

研究人员想要观察计算机程序（称为语言模型）是否能利用它们的“惊讶度量计”来识别这些新的、有创意的桥梁。其理论是：如果一个词难以预测，也许它就是一个有创意的隐喻。

实验：两个不同的世界

团队使用两种截然不同的数据测试了这个想法，结果就像是两个不同的城市：

1. “真实世界”城（基于语料库的数据）
他们观察了从书籍、新闻和对话中提取的真实句子。

结果： 在这里，“惊讶度量计”表现尚可，但有一个转折。较小、较简单的计算机模型实际上比那些庞大、超级智能的模型更能发现有创意的隐喻。
类比： 想象一个熟悉社区的小型当地侦探。他们能注意到那些古怪的新事物，因为他们不会过度思考。而那个巨大的侦探（大型人工智能）见过太多数据，以至于它开始在任何地方都预见到了奇怪的事情，这使得它对特定句子中实际存在的“新颖性”变得不再敏感。模型越大，它在这个特定任务上的表现就越差。

2. “玩具工厂”城（合成数据）
他们还使用了在实验室（或由另一个 AI）中精心构建的句子，其中唯一的区别在于隐喻是旧的还是新的。

结果： 在这里，规则反转了。更大、更聪明的模型在识别创意隐喻方面表现得更好。
类比： 在一个受控的玩具工厂里，巨大的侦探大放异彩。因为玩具是完美的，规则是严格的，庞大的大脑可以利用其巨大的力量来捕捉那些小型侦探会错过的细微差别。

“完形填空”技巧：向两边看

研究人员还尝试了一种新技巧。标准的“惊讶度”只观察目标词之前的词（比如从左到右阅读句子）。但为了理解一个隐喻，你通常也需要看到它之后的内容。

他们创建了一个“完形填空”（Cloze）方法（就像玩填空游戏）。他们隐藏了那个隐喻词，展示了整个句子（包括结尾），然后问道：“哪个词填在这里？”

结果： 这种“向两边看”的方法通常让计算机在识别隐喻方面变得更聪明。这就像是给了侦探一张整条街道的地图，而不仅仅是他们站立的那个街角。然而，这个技巧在“真实世界”的句子中效果最好，有时却会让“玩具工厂”中的模型感到困惑。

关于教 AI 像人类一样说话

团队还尝试使用了“指令微调”（Instruction-Tuned）模型（即经过训练以遵循人类指令并进行友好交流的 AI）。

结果： 出人意料的是，让 AI 说话更像人类并没有让它在识别创意隐喻方面变得更好。事实上，对于某些模型来说，这反而让它们在处理这个特定的数学问题时表现得更差。变得“健谈”并没有帮助它们变得“有创意”。

总结

论文得出结论，虽然“惊讶度”（一个词的不可预测程度）是一个尚可的寻找创意隐喻的工具，但它并不是一根魔杖。

它运作得还可以（大约 40-50% 的相关性），这意味着它很有帮助，但远非完美。
语境很重要： AI 是在观察混乱的现实世界文本，还是在观察干净的实验室制造文本，这改变了一切。
规模很重要： 大并不总是意味着更好；有时取决于数据，较小的模型反而更敏锐。

简而言之，虽然计算机可以通过测量它们有多“惊讶”来获得人类创造力的一丝线索，但它们仍然难以完全领悟真正新颖隐喻中的魔力。要理解语言的艺术，它们需要的不仅仅是一个惊讶度量计。

技术摘要：惊异度与隐喻新颖性判断

问题陈述
本文探讨了利用大语言模型（LMs）量化语言创造力的挑战，特别是区分常规隐喻（conventional metaphors）与新颖隐喻（novel metaphors）。由于隐喻理解涉及复杂的语义过程和跨域映射，将新颖隐喻从常规隐喻中分离出来对人类标注者而言仍具难度，且在计算隐喻分析中鲜有被考虑。作者研究了惊异度（surprisal）——一种基于上下文的概率预测度量，定义为单词在上下文中的负对数概率（ $-\log p(w_i | w_{<i})$ ）——是否可以作为一种可靠的新颖性指标。其目标是确定语言模型的惊异度是否与人类对新颖性的标注相关，并理解模型规模、数据集类型（基于语料库或合成数据）以及上下文建模如何影响这种相关性。

研究方法
本研究采用系统性的实验设计，涉及四个数据集和 16 种因果语言模型变体：

数据集：
- 基于语料库： VU 阿姆斯特丹隐喻语料库（VUAMC）的两个子集。
  - VUA-ratings：包含通过众包最佳-最差缩放法（best-worst scaling）获得的连续新颖性评分（-1 到 +1）。
  - VUA-dictionary：包含基于字典法的二元新颖性标签；若隐喻的上下文含义在词典条目中不存在，则判定其为新颖。
- 合成数据： 两个受控数据集。
  - Lai2009：包含特定词汇的字面、常规、新颖及异常用法的心理语言学刺激。
  - GPT-4o-metaphors：一个通过提示 GPT-4o 生成的玩具数据集，用于创建具有特定动词和名词的常规与新颖义项的句子。
模型：
- 三类仅解码器（decoder-only）的因果语言模型：GPT-2（4 种规模）、Llama 3（3 种规模）和 Qwen2.5（3 种规模）。
- 同时评估了基座模型（base）和指令微调（instruction-tuned）变体，以评估对齐（alignment）对惊异度的影响。
惊异度计算：
- 直接惊异度（Direct-surprisal）： 在给定前文语境的情况下，计算目标词的标准从左向右的惊异度。
- 完形惊异度（Cloze-surprisal）： 作者提出的一种引入右侧上下文的新方法。将目标词替换为空白，将完整句子（包括目标词）作为补全内容，并在第二次出现目标词时测量其惊异度。这使得概率以完整句子的上下文为条件。
评估：
- 计算了惊异度得分与新颖性标注之间的相关性指标（Pearson's $r$ 、Spearman's $\rho$ 、Rank-biserial $r_b$ 以及 AUC）。
- 分析涵盖了不同的模型规模、数据集类型以及文体划分（小说、新闻、学术、对话）。

核心结果

中度相关性： 在所有数据集上，语言模型的惊异度与隐喻新颖性标注均呈现显著的正向中度相关。最强的结果出现在 GPT2-base 对 VUA-ratings 的表现上（ $r = .419$ , $r_b = .638$ ）。
差异化的缩放效应： 模型规模与相关强度之间的关系取决于数据集类型：
- 基于语料库的数据： 表现出反向缩放效应。随着模型规模增加，相关强度反而降低。作者将其归因于较大的模型会对稀有词分配非人类直觉的预期，而这些稀有词在自然语料库中往往与新颖性相关。
- 合成数据： 表现出质量-能力假设（quality-power hypothesis）下的正向缩放。相关强度随模型规模增加而提高，这可能是因为合成数据集控制了词频和身份变量，从而更有效地隔离了新颖性维度。
完形惊异度（Cloze-surprisal）： 作者提出的完形惊异度方法通常能提高相关性，特别是在处理基于语料库的数据时（例如，将 GPT-2 在 VUA-ratings 上的 $r_b$ 提升至 .687）。它使惊异度分布远离零，从而更好地捕捉隐喻处理所需的完整上下文。然而，它偶尔会在合成数据集上导致性能下降。
指令微调： 指令微调并未一致性地提高惊义度与新颖性之间的相关性。在许多情况下，特别是对于 Qwen 模型和合成数据集，指令微调相比基座模型降低了相关性。
文体效应： 相关强度随文体而变化，显示出与隐喻密度和模型困惑度（perplexity）的关系。例如，对话文体表现出高困惑度，但与基于字典的新颖性标签具有强相关性。

意义与主张
本文得出结论：虽然惊异度可以部分解释隐喻新颖性的标注，但其本身仍是一个有限的指标。作者认为，理解隐喻涉及语义整合和跨域映射，这些过程超出了简单的可预测性。

本研究的主要贡献在于揭示了基于数据集性质的差异化缩放模式。研究表明，在语料库数据中观察到的阅读时间研究中的“反向缩放”可能受词频混淆因素驱动，而控制了这些因素的合成数据则揭示了正向缩放效应。作者呼吁开发能够提供跨文体和跨场景系统性新颖性标注的新型度量标准和数据集，并指出目前高质量的标注非常匮 نیز。他们将惊异度定位为一种有前景但尚不完整的工具，建议将其与直接针对新颖解释和领域映射的其他指标结合使用。

核心理念：可预测性 vs. 创造力

实验：两个不同的世界

“完形填空”技巧：向两边看

关于教 AI 像人类一样说话

总结

技术摘要：惊异度与隐喻新颖性判断

类似论文