💬 NLP

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

本研究利用 HPSG 形式化框架和多样性指标，将两代大型语言模型与人类撰写的新闻文本进行比较，结果显示：尽管人类写作保持稳定，但经过指令微调的新模型在句法和词汇多样性方面显著降低，这表明尽管连贯性有所提升，其表达范围可能存在收窄趋势。

原作者： Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位音乐评论家，正在比较两支乐队：“人类乐队”（专业记者）和**“机器人乐队”**（人工智能）。你想看看它们的音乐随时间发生了怎样的变化。

这篇论文就像是对这两支乐队的乐谱进行深度剖析。研究人员没有仅仅聆听旋律（文字），而是审视了语法（和弦与结构）和词汇（所使用的具体乐器），以此观察机器人是否听起来更像人类，或者是否正在变成某种完全不同的存在。

以下是他们发现的简明总结：

1. 背景设定：两个时代，两支乐队

研究人员比较了两个不同的时间段：

人类乐队：他们分析了《纽约时报》在2023 年和2025 年撰写的新闻文章。
机器人乐队：他们比较了两代 AI 模型：
- 旧机器人（2023 年）：这些是“基础”模型。把它们想象成未经训练的原始音乐家，想到什么就演奏什么。
- 新机器人（2025 年）：这些是“指令微调”模型。把它们想象成接受了严格规则手册指导、并有教练明确告知如何表现、说什么以及如何变得“有用”的音乐家。

2. 重大发现：“更对齐，更多样性缺失”

主要发现有些出人意料。你可能会认为，随着 AI 变得更聪明、更与人类指令“对齐”，它会开始听起来更像人类作家。

现实情况是：较新的 AI 模型实际上听起来更不像人类，也更不像它们自己早期的版本。

人类乐队：专业记者的变化不大。在过去两年里，他们的写作风格、句子结构和用词保持稳定且多样。他们就像一支不断即兴创作、融入新想法的爵士乐队。
旧机器人：这些模型实际上相当多样。它们使用了各种各样的句子结构和词汇，有时在词汇多样性方面甚至比人类还要丰富。
新机器人：这些模型变得枯燥且高度一致。它们失去了“风味”。
- 句法多样性（结构）：它们使用的句子结构类型更少。
- 词汇多样性（用词）：它们使用的词汇范围狭窄得多。它们避免使用具体的名称、日期和独特的细节。

3. “安全过滤器”效应

机器人为什么会改变？论文指出，这是因为指令微调。

想象旧机器人是狂野的画家，把颜料到处乱泼。而新机器人则是被教导“不要犯错，不要产生幻觉，并坚持事实”的画家。

为了遵守这些规则，较新的 AI 模型开始采取保守策略。

它们不再使用具体的名称（如“华盛顿”或“本·卡丁参议员”），因为不想搞错事实。
它们不再使用可能带来风险的复杂句子结构。
相反，它们开始使用冗长、安全、重复的句子，这些句子易于理解，但缺乏人类写作中的“火花”。

4. “易于阅读”的悖论

这里有一个奇怪的转折：较新的 AI 模型写的句子比人类更长，但这些句子对计算机来说却更容易分析。

类比：想象一位人类作家建造了一座复杂、蜿蜒的城堡，里面藏着暗门和秘密通道。它很美，但很难绘制地图。
较新的 AI 建造的是一条非常长、笔直的走廊，没有门。它比人类的城堡更长，但走起来却异常容易，因为它太可预测了。

研究人员发现，较新的 AI 文本如此规整和公式化，以至于计算机语法检查器几乎可以完美处理它（99% 的成功率），而人类写作则略显混乱，更难解析（94-95% 的成功率）。

5. 结论

论文总结道，虽然较新的 AI 模型在遵循指令和听起来“有用”方面表现更好，但它们用创造力和多样性交换了安全性和可预测性。

它们不再是“普通”的作家；它们正在变成“安全”的作家。它们将表达范围缩小到了如此程度，以至于现在的多样性甚至低于人类记者和较旧的、训练较少的 AI 模型。

简而言之：机器人更擅长遵守规则，但在此过程中，它们忘记了如何变得有趣。

技术摘要：更对齐，更多样性？分析两代大语言模型的语法与词汇

问题陈述
尽管大语言模型（LLM）正日益在语言维度上与人类写作者进行比较，但量化这些差异的稳健方法仍发展不足。具体而言，指令微调（instruction tuning）和基于人类反馈的强化学习（RLHF）对模型输出语法和词汇多样性的影响尚不明确。先前的研究已证实基础模型与人类文本存在差异，但尚不清楚更新的、经过指令微调的模型世代与人类及其自身前代相比如何。本研究旨在填补这一空白，调查旨在实现更好对齐和连贯性的更新 LLM 是否牺牲了句法和词汇的多样性。

方法论
作者采用形式语言学框架，而非标准的基于 NLP 任务的指标，以确保稳健性和可推广性。

框架：本研究利用基于头驱动的短语结构语法（HPSG）和英语资源语法（ERG）。与统计解析器或通用依赖关系不同，ERG 是一种确定性的、穷尽式的图表解析器，旨在为所有合乎语法的英语句子提供结构，从而允许分析罕见的语言现象和可解析性。
数据集：
- 人类文本：来自《纽约时报》（NYT）两个不同时期的导语段落：2023 年（用于先前工作）和 2025 年（新收集）。
- LLM 文本：比较了两代模型：
  - 较老一代（2023 年之前）：2023 年 10 月之前训练的基础模型（LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B）。
  - 较新一代（2024 年）：训练至 2024 年的指令微调模型（Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3）。
- 生成协议：对于 2025 年的人类数据，LLM 被提示使用 NYT 标题和导语段落的前三个词来生成合成导语。指令微调模型需要明确系统/用户提示来模拟完成任务。
指标：多样性使用生态学和信息论指数进行量化：
- 香农 - 维纳指数（ $H'$ ）：衡量分布的丰富度和均匀度。
- 辛普森指数（ $D$ ）：衡量两个随机选择的标记属于不同类别的概率。
- 这些指标应用于句法类型（短语结构配置）和词汇类型（复杂的 HPSG 词约束表示，区别于表面词汇）。

主要贡献

历时比较：与先前将单代 LLM 与人类进行比较的工作不同，本研究直接将两代 LLM（基础模型与指令微调模型）与两个时间样本的人类写作进行对比。
形式语言学分析：使用 HPSG/ERG 提供了一种基于语言学、理论独立的句法和词汇分析方法，避免了 NLP 任务表现或粗略词性标注中固有的偏差。
多样性指标应用：将香农和辛普森指数应用于语法结构，提供了一种系统的方法来追踪模型世代间的风格转变。

结果

人类稳定性：2023 年和 2025 年的英语新闻文本在句法和词汇多样性指标上均表现出显著的稳定性，表明专业新闻中多样性具有一致的平衡。
LLM 分歧：
- 句法多样性：较新的指令微调模型（2025 年）与较老的基础模型（2023 年）相比，句法多样性显著降低。虽然较老的模型更接近人类多样性，但较新的模型倾向于涉及修饰和并列的结构（例如带有修饰语的名词短语），同时避免具体的细节，如姓名和日期。
- 词汇多样性：词汇多样性的下降更为明显。令人惊讶的是，较老的 LLM（2023 年）表现出最高的词汇多样性，超过了人类文本和较新的模型。较新的模型（2025 年）显示出最低的词汇多样性，依赖“基础”词汇类型（形容词、常见名词、及物动词），并避免具体的指称对象。
- 标点符号：较新的模型使用标点符号的多样性显著降低，与人类写作者和较老的模型相比，生成的破折号、分号和引号更少。
可解析性与长度：
- 与较老的模型（比人类文本短）相比，较新的模型生成了更长的句子（比人类文本长 15–30%）。
- 尽管长度增加，较新的 LLM 输出更易于解析（成功率接近 99%），且比人类文本或较老的 LLM 输出所需的计算资源更少。这表明较新的模型生成了结构规则、简化的句子，这些句子与语法中最可预测的部分相一致，而人类文本则触发了更复杂、较不可预测的现象。

意义与主张
该论文声称，虽然指令微调增强了连贯性和对提示的遵循，但其副作用是缩小了模型输出的表达范围。研究结果表明存在一种权衡：对齐范式为了风格控制和事实安全性（表现为避免具体姓名/日期以及减少易产生幻觉的结构）而牺牲了词汇和句法的多样性。

作者得出结论，更大、更新的模型并未在专业新闻写作中趋近于人类语言行为；相反，它们正在偏离，变得比人类和早期的基础模型更公式化、多样性更低。这凸显了未来研究指令微调如何影响语言能力，以及这些能力是否能在不损害对齐的前提下得以恢复的必要性。该研究范围适度，局限于英语新闻文本，指出该方法论具有广泛的适用性，但目前受限于其他语言中广泛覆盖的 HPSG 语法的可用性。