技术摘要：用于可解释历时义项追踪的以词为中心的语义图

问题陈述

语义演变（semantic shift）——即由于文化、技术和社会因素导致的词义随时间发生的转变——是历史语言学和自然语言处理（NLP）领域的核心挑战。尽管近期的计算方法在检测语义变化方面取得了进展，但现有方法在表示多义性（polysemy，即一个词具有多种含义）方面仍面临显著局限。

• 静态嵌入方法： 依赖于静态词嵌入（如 Word2Vec）的方法将多个义项压缩为单个向量。这种聚合使得区分特定义项的变化变得困难，因为模型无法区分是主导义项发生了偏移，还是出现了新的义项。
• 上下文嵌入方法： 虽然上下文模型（如 BERT、RoBERTa）可以表示多个义项，但它们通常需要通过聚类或监督分类，将标记（token）表示聚合为离散的义项清单。这引入了关于跨时间可比性、对聚类数量的敏感性以及将用法相似性与语义相关性混淆等挑战。
• 可解释性差距： 许多现有方法依赖于预定义的义项清单（如 WordNet），或者产生缺乏透明度、缺乏结构化解释的“黑盒”向量漂移。

作者认为，需要一种能够以关系方式表示词义、捕捉多义性动态（且无需预定义清单）、并在义项和词汇层面提供可解释性的框架。

方法论

本文提出了一种以词为中心的语义图框架，该框架整合了静态分布相似性与上下文词汇可替换性，以建模义项的演变。其方法论分为四个阶段：

1. 构建以词为中心的语义图

对于特定时间切片 $t$ 中的目标词 $w$，作者通过整合两种互补的语义证据来构建图 $G^t_w = (N^t_w, E^t_w)$：

• 分布邻居（静态）： 使用在时间切片语料库上训练的 Skip-gram (Word2Vec) 模型，选取与 $w$ 余弦相似度最高的 top $k_i$ 个词。这些词捕捉了全局词汇关联。
• 替换邻居（上下文）： 一个在相同语料库上微调过的 RoBERTa 掩码语言模型，通过预测 $w$ 的掩码出现处的替换词来捕捉受用法调节的含义。预测出的 top $k_c$ 个替换词构成了替换集，捕捉了基于用法的含义。
• 图扩展： 初始邻域是这两个集合的并集。随后，图通过逐层扩展（深度最高为 $L$）来捕捉间接关联。如果节点之间存在分布或替换关系，则在它们之间添加边。

2. 通过外围连通性识别义项社区

为了在不直接对嵌入向量进行聚类的情况下识别不同的义项，作者分析了外围图（$G^t_{w,per}$），即移除原始图中的中心目标节点 $w$ 及其关联边后的图。

• 连通分量： 外围图的连通分量被定义为义项社区（$C^t(w)$）。
• 原理： 由于中心节点会平凡地连接所有邻居，移除它便能揭示出邻居之间基于相互语义相关性的底层结构。外围图中的不连通分量代表了不同的、共存的义项（多义性）；而单一的大型连通分量则表明存在统一的含义。

3. 时间对齐与精炼

为了追踪不同时间点的义项，该框架根据节点重叠将时间 $t$ 的聚类与 $t-1$（或更早时期）的聚类进行对齐：

• 对齐策略： 将聚类 $C^t_i$ 对齐到使节点集合交集最大化的聚类 $C^{t-1}_j$。
• 历史对齐： 为了处理重新出现的义项，对齐过程也可以回溯到任何之前的时刻 $k < t$。
• 精炼： 未能持续至少两个时期的聚类会被合并为一个残余聚类，以过滤掉瞬时噪声或短暂的用法激增。

4. 义项用法分布估计

义项的频率通过归一化聚类质量来估计。聚类的大小（节点数量）相对于总图规模提供的概率分布 $P^t(C_i | w)$，从而允许追踪义项的主导地位、扩大或缩小。

核心贡献

1. 统一的基于图的表示： 本文引入了一种新颖的框架，将静态分布相似性和上下文可替换性整合进单一的图结构中，避免了纯向量法或纯清单法的缺陷。
2. 可解释的义项追踪： 通过将义项定义为外围图中的连通分量，该方法提供了一种透明的、结构化的多义性及语义变化解释，且无需依赖预定义的义项清单。
3. 无需向量空间对齐的历时对齐： 该方法通过节点重叠而非复杂的嵌入空间对齐来追踪义项的连续性。
4. 细粒度的语义偏移分析： 该框架能够区分不同类型的语义变化，包括事件驱动的义项替换、渐进式的关联偏移以及语义稳定性。

结果与应用研究

该框架被应用于《纽约时报杂志》（New York Times Magazine）的历时语料库（1980–2017），重点研究了三个具有对比特征的目标词：trump、god 和 post。

• Trump（事件驱动的替换）：
  • 1980年代： 图表现出密集的、凝聚的结构，对应于字面意义上的“纸牌游戏”（低多义性）。
  • 1990年代–2000年代： 图发生扩张和破碎，揭示了与商业和房地产相关的非连通社区（指唐纳德·特朗普的职业生涯），表明这是一个高多义性时期。
  • 2015–2017年： 图经历了实质性的重构。字面意义上的“纸牌游戏”语义从邻域中消失，完全被政治社区（候选人、竞选）所取代。这展示了由历史事件驱动的完整义项替换。
• God（语义稳定性）：
  • 图在时间推移中保持了结构的一致性，具有高度的节点间相似性，且没有出现不连通的社区。
  • 外围聚类产生了许多小聚类，但它们在语义上是同质的且高度互连，这表明它们代表了一个单一底层含义的各个侧面，而非截然不同的含义。这突显了该方法区分真实多义性与过度分割的能力。
• Post（渐进式关联偏移）：
  • 该词在 2005–2010 年左右之前表现出稳定的邻域。
  • 随后，图扩展到了与数字通信（如 twitter, video, email）相关的节点。与 trump 不同，这并非旧义项的替换，而是随着技术融入日常生活，其关联范围的扩大。

重要性与主张

作者将这项工作定位为迈向可解释且透明的语义分析的一步。

• 可解释性： 不同于“黑盒”向量漂移，图结构允许研究人员直观且结构化地检查义项如何出现、共存和消失。
• 无需预定义清单： 该方法允许义项结构从语料库证据中动态生成，避免了固定词典或聚类超参数带来的偏差。
• 多义性动态： 该框架成功捕捉了词汇的“多义性动态”，展示了连通模式（密集 vs 不连通）如何反映多义性的程度。
• 研究范围限制： 文中明确指出这是一个应用研究而非基准测试评估。它强调的是该框架带来的可解释性和定性洞察，而非声称在标准检测基准上具有优越的定量性能。作者也承认了在超参数敏感性和潜在语料库偏差（例如《纽约时报杂志》的编辑立场）方面的局限性。

总之，本文证明了以词为中心的语义图为探索义项演变提供了一种紧凑且灵活的表示方式，能够成功建模具有对比轨迹的语义变化，且无需依赖外部义项清单。