Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

技术摘要：轻动词还是实义动词？用于探测语言模型词组能力（Phraseological Competence）的最小对组数据集

问题陈述
高频英语动词（如 make, have, take）表现出双重词汇-功能状态：它们既可以作为实义谓词（full lexical predicates，例如 make a cake），也可以在轻动词结构（LVCs）中作为轻动词（support verbs）发挥作用，此时语义权重由名词基底承担（例如 make a decision）。虽然现有的计算语言学工作广泛将 LVCs 处理为识别或提取问题——即确定给定的动词-名词对是否构成 LVC——但目前仍存在一个空白，即无法理解语言模型（LMs）是否在内部表示了这两种用法之间的区别。现有模型可能通过分布关联或名词类别线索来识别 LVC，但并未编码支持动词用法与实义动词用法之间特定的词汇-功能对比。现有的最小对基准测试（如 BLiMP, Syntax-Gym）通常对比语法正确与不正确的句子；然而，探测 LVC 能力需要对比两个语法正确且自然的句子，而这两个句子仅在同一表层动词的词汇-功能状态上有所不同。

方法论
作者引入了一个大规模、受控的数据集，旨在通过最小句系列（minimal sentence series）来探测这一区别。

• 数据集构建： 该数据集涵盖了五种已知出现在 LVCs 中的高频英语动词（make, take, give, have, receive）。对于每种动词，作者根据标准（如谓词性名词基底和典型搭配关系）筛选了 20–40 个 LVC 候选词，并将其与使用具体物体名词的实义动词对应项进行配对。
• 实验设计： 该数据集生成了句系列，其中相同的上下文与不同的宾语配对，从而产生一半为 LVC 读解、一半为实义动词读解的句子。这些句子以主动语态和被动语态两种配置构建（例如：they made a decision 对比 they made a cake；a decision was made 对比 a cake was made）。
• 探测实验： 作者使用 Gemma 3 270m 模型通过两种互补的方法进行了评估：
  1. 基于惊异度（Surprisal）的探测： 计算关键区域的标记级惊异度（负对数概率）。在主动语态句子中，关键区域是宾语名词；在被动语态句子中，则是名词基底后的动词。这用于测试模型是否根据上下文为预期的构造类型分配更高的概率。
  2. 对比嵌入分析： 提取宾语名词短语的隐藏状态，对标记嵌入进行平均，并应用降维（PCA）和聚类（KMeans），以确定模型的内部表示是否在匹配的句法和动词上下文中，将 LVC 宾语与实义动词宾语区分开来。

核心贡献

• 一个最小对数据集： 发布了一个可重用、可扩展的最小变化英语句系列数据集，该数据集隔离了轻动词与实义动词的词汇-功能对比，同时保持句法框架和上下文不变。
• 方法论框架： 实现从“接受/不接受”句子对比向针对动词词汇-功能状态的“语法/语法”对比的转变。
• 开放资源： 作者发布了数据集、生成代码及相关材料，以支持向更广泛的上下文、更多动词以及其他语言的扩展。

结果

• 惊异度发现： 模型表现出了对 LVC 区别的敏感性。在主动配置中，LVC 中的名词基底（如 make a decision 中的 decision）通常比其对应的实义动词对象获得更低的惊异度，这表明模型为传统的轻动词搭配分配了更高的概率。在被动配置中，谓词性名词基底增加了与其关联的轻动词的可预测性，尽管在不同动词之间存在差异（例如，make 显示出的效应最强）。
• 嵌入发现： 针对对象级隐藏状态的聚类分析表明，模型的内部表示能够区分 LVC 对象与实义动词对象。这种分离在后期层级以及分析层间表示变化（$\Delta_l$）时尤为明显，这表明模型会根据构造类型以不同的方式更新对象表示。

意义与主张
本文主张，语言模型即使在最小上下文中也能区分轻动词与实义动词用法，并在对象类型之间表现出可分离的模式。研究结果表明，模型捕捉到了 LVC 中“动词-名词”和“名词-动词”的双向预期，并将这种区别体现在标记级概率和上下文对象表示的几何结构中。作者将这项工作定位为一种受控的探测工具，用于研究词组能力，从而超越简单的识别任务，进而评估模型是否表征了底层的词汇-功能对比。该框架旨在支持未来的扩展，包括增加动词、扩大上下文范围以及跨语言应用，尽管目前的研究仅限于英语和特定的动词集。