💬 NLP

Losing My Composure: Predicting Compositionality Over Time

本文介绍了一个用于预测德语和英语名词复合词组合性历时趋势的新型数据集和任务，揭示了其透明度随时间仅有轻微下降，并证明了在捕捉这些渐进变化方面，基于狭窄且具有特定时间切片的语义模型优于基于广泛历史窗口训练的模型。

原作者： Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chris Jenkins, Emma Raimundo Schulz, Filip Miletić, Sabine Schulte im Walde

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将语言想象成一座巨大且繁忙的城市，其中的单词就像是建筑。有些建筑是仅由一块砖头构成的简陋棚屋；而有些则是通过将两个较小的建筑拼接在一起而建成的复杂摩天大楼，比如“coffee house”（咖啡馆）或“freight train”（货运列车）。长期以来，语言学家对这些摩天大楼一直有一种直觉：他们认为随着这座城市的变老，这些建筑会逐渐失去它们的“蓝图”。他们相信，经过几个世纪，一个“coffee house”将不再看起来像是一个用来喝咖啡的房子，而是变成一个奇怪、神秘的单元，你必须死记硬背它，从而失去它与“coffee”和“house”这两个词之间的联系。

这篇论文就像是一群决定测试这种直觉的时光旅行侦探。他们并没有只观察两个时期的城市快照（过去的一个和今天的一个），相反，他们制造了一台高速摄像机，每十年拍摄一张照片，持续了数百年的时间。他们专注于 23 个德语和 26 个英语的复合词，比如“bosom friend”（挚友）或“Kaffeehaus”（咖啡馆），并要求人类志愿者在 0 到 5 的刻度上进行评分，评估在每个特定的十年中，整个单词的含义在多大程度上仍与其组成部分的含义相匹配。

大惊喜：蓝图依然稳固
侦探们发现，旧有的直觉在很大程度上是错误的。他们并没有发现一种大规模的、全城范围内的趋势，即这些词汇建筑正在崩塌成谜团。事实上，这些变化微乎其微，几乎难以察觉。如果测量这些单词随时间变化的“透明度”，平均变化是一个微小的负值（英语约为 -0.016，德语约为 -0.001）。这就像每十年检查一次摩天大楼的高度，却发现它甚至连一粒沙子的增减都没有。论文表明，与普遍观点相反，这些复合词通常能保持其“建筑方案”的完整；它们并不一定会因为时间的流逝而变得不再符合逻辑或变得更加习语化。

时光旅行摄像机
为了进行这些测量，该团队构建了大约 100 个不同的“摄像机”（计算机模型）来模拟一个单词在不同时代是如何被理解的。他们尝试了两种主要的类型：

“上下文感知型”摄像机（类似于现代的 BERT）： 这些是高端、高科技的镜头，它们通过观察目标词周围的词来理解其含义，就像你会根据“bank”旁边是“river”（河）还是“money”（钱）来理解这个词的不同含义一样。
“静态”摄像机（类似于 Word2Vec）： 这些是更简单的镜头，它们根据一个词的历史给出单一、固定的定义，就像一个永远不会改变的字典条目。

他们还测试了向这些摄像机输入多少“历史数据”量。有些被喂入了长达 50 年的历史数据块（“全量”窗口），而另一些则只喂入了一个十年的数据，或者是一个随时间推移逐年增长的滑动窗口。

结果：少即是多
这里剧情变得复杂了。团队发现，那些“高端”的上下文感知型摄像机并不一定能在比赛中胜出。事实上，那些更简单的、静态的摄像机表现得同样出色，甚至在预测组合性随时间变化方面表现得更好。

更重要的是，论文指出，喂给摄像机的历史数据“规模”至关重要。当他们使用长达 50 年的大段文本（“全量”计划）来训练模型时，模型会感到困惑并错过那些细微的、逐十年的变化。然而，当他们使用狭窄的、单十年的切片（“十年”计划）进行训练时，模型的表现与人类评分的契合度更高。这就像试图通过阅读一份 50 年前的报纸存档来理解一座城市的情绪，其效果不如阅读你感兴趣的那一天的日报。论文表明，对于追踪这些微小且渐进的变化，你需要聚焦于特定的十年，而不是将其与过去模糊地混合在一起。

结论
那么，最终的定论是什么？这篇论文并不声称它已经永远解决了语言之谜。相反，它暗示了“复合词必然会随着时间推移而变得‘缺乏组合性’”这一观点很可能是一种夸张。变化确实存在，但它们是微小且杂乱的，而不是一条向下的直线。

这项研究也警告我们，虽然高端 AI 模型很酷，但它们并不总是进行历史侦探工作的最佳工具。有时，一个基于非常特定的时间切片（仅一个十年）训练的简单模型，比一个基于半个世纪数据的超复杂模型更准确。作者使用统计得分（例如最好的英语模型 R² 值约为 0.36）来衡量这些结果，这表明计算机的猜测与人类评分之间存在着相当不错但并非完美的匹配。

最后，这篇论文提醒我们，语言是一场旅程，但对于这些特定的词汇建筑而言，这场旅程并未演变成一场向混乱的剧烈崩溃。它们大多保持了最初的蓝图，岁岁年年，证明了有时，观察过去最简单的方法就是一次只看一年。

技术摘要：失去我的沉着：预测随时间变化的组合性

问题陈述

本研究调查了德语和英语名词复合词的语义变化，特别关注其组合性程度（即复合词含义与其组成部分之间关系的透明度）随时间演变的规律。作者挑战了词汇语义学变化领域中普遍存在的假设，即复合名词倾向于随着时间的推移变得不再具有组合性（更加习语化），即从透明的组合演变为不透明的整体。

现有的词汇语义变化检测（LSCD）工作主要依赖于“两时期”范式（比较两个不同的时间段），这可能会掩盖渐进式的变化。此外，以往关于组合性的历时性研究受限于缺乏跨越多个时间步长的地面真值（ground-truth）数据。本文认为，有趣的语义偏移并不一定发生在单一的时间分界线上，而是逐渐展开的。因此，作者引入了**组合性趋势预测（CTP）**任务，旨在对细粒度的时间切片（十年）进行建模和预测组合性评分，而不是将数据聚合在大型且无差异的时间跨度上。

研究方法

数据与标注

本研究使用了两个历时语料库：

德语： Deutsches Textarchiv (DTA)，涵盖 1680–1920 年。
英语： Corpus of Historical American English (COHA)，涵盖 1810–2000 年。

作者根据频率稳定性以及“拐点”（相对频率发生显著变化的年代）的存在，选择了 23 个德语和 26 个英语目标名词复合词。对于每个目标词，他们在这些拐点周围的最多五个年代内抽取了上下文示例。

标注： 人类标注员针对每个组成部分（修饰语和中心词）在 0–5 的量表上对每个复合词实例的组合性进行评分。
质量控制： 使用 Krippendorff's alpha 测量标注者间的一致性，并通过事后过滤剔除低一致性的标注者。最终生成的数据集提供了每十年的评分，并允许计算组合性趋势 ( $\Delta$ )。

实验设置

作者为每种表示类型训练了大约 100 个模型，涵盖了语料库中 1 到 5 个年代的时间窗口。他们评估了三个主要的实验变量：

表示类型：
- 上下文型（Contextual）： 现代 BERT（从头开始在历史数据上训练）和二阶随机索引（2nd-order Random Indexing）。
- 静态型（Static）： Word2Vec（CBOW 和 Skip-gram）以及逐点互信息（PMI）关联列表。
时间窗口方案：
- 全量（Full）： 在一个 5 个年代的窗口上训练的单一模型。
- 年代（Decades）： 在单个年代上训练的独立模型。
- 滑动全量（Sliding-Full）： 增量扩展的窗口（例如，[1940], [1940–1950], [1940–1960]）。
相似性度量：
- PRT（原型）： 平均向量之间的余弦距离。
- APD（平均成对差异）： 所有对之间的平均余弦距离。
- JSD（詹森-香农散度）： 应用于聚类表示（仅针对上下文模型）。

评估指标

模型根据人类标注进行评估，主要使用两个指标：

对齐度 ( $R^2$ )： 预测的每十年组合性得分与标注评分之间的线性回归。
趋势预测 (Spearman's $\rho$ )： 模型预测的复合词变化程度排名与标注的变化程度排名 ( $\Delta$ ) 之间的相关性。

关键结果

关于组合性趋势的经验观察 (RQ1)

与“复合词随时间推移通常变得不再具有组合性”的假设相反，标注数据显示不存在决定性的普遍趋势。

德语： 平均 $\Delta$ 为 $-0.0012$。
英语： 平均 $\Delta$ 为 $-0.0161$。
观察到的变化极其微小，通常小于连续年代之间的方差。虽然特定的复合词（如德语中的 Donnerwetter）表现出向非组合性的转变，但汇总数据并不支持向不透明性演变的普遍规则。

计算性能 (RQ2)

实验探讨了具有细粒度时间数据的上下文模型是否优于具有粗粒度数据的静态模型。

时间粒度： 使用较窄时间窗口（特别是 decades 和 sliding-full 方案）训练的模型，其表现始终优于在整个 5 个年代 full 窗口上训练的模型。这表明，将数据聚合在长时期内会稀释用于准确预测组合性的特定语义信号。
表示复杂度： 静态表示（Word2Vec, PMI）与复杂的上下文表示（Modern BERT）相比具有竞争力，在某些情况下甚至表现更好。
- 在英语中，采用 decades 方案的 Modern BERT 获得了最高的 $R^2$ 分数 (0.363)。
- 在德语中，2nd-order Random Indexing 和 Skip-gram 表现最好。
- BERT 的性能提升并不足以证明其在历史数据上从头训练的计算成本是合理的。
相似性度量： 聚合度量（PRT 和 APD）通常优于基于聚类的度量（JSD）。聚类方法（尤其是结合 BERT 嵌入时）效果最差。

贡献

数据集与任务： 引入了一个全新的、跨越多个年代的、具有细粒度上下文组合性评分的德语和英语数据集，从而实现了**组合性趋势预测（CTP）**任务。
经验发现： 基于历时性标注，反驳了“向非组合性普遍漂移”的假设，证明这种趋势是微乎其微且高度依赖于特定复合词的。
建模洞察： 提供了证据，表明对于时间敏感的语义任务，细粒度的时间训练窗口比模型复杂度更为重要。研究表明，在狭窄的时间切片上训练的简单静态模型，可以与在聚合数据上训练的复杂上下文模型一样有效，甚至更好。

重要性与主张

本文声称 CTP 任务成功编码了时间依赖性，证明了在特定的时间窗口内（即“在其岁月的旅程中”）评估目标词，比宽泛的聚合建模更能实现与历史语义变化的对齐。

作者谨慎地总结道，虽然其方法可以检测特定复合词的语义变化，但由于组成部分含义随时间的不稳定性，该任务本质上是困难的。他们警告不要在没有仔细研读的情况下过度解读关联列表，指出现代偏见可能会影响对历史数据的解释。最终，研究表明，在处理小规模、历史性的场景下的语义变化建模时，具有高时间分辨率的简单表示比复杂的聚合模型更具优势。