Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)
本文介绍了词覆盖分数（WCS），该指标表明大型语言模型中的标准解码采样过滤器系统地修剪了语境恰当但低频的人类词汇，从而充当了非预期的审查机制，抑制了词汇多样性并使生成的文本趋于同质化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一位大语言模型（LLM）如同一位坐在浩瀚无尽图书馆中的说书人。这座图书馆收藏了人类语言中的每一个词汇，从“the”和“and"这样的常用词，到“ephemeral"（转瞬即逝）或"petrichor"（雨后泥土的芬芳）这样罕见、精致而优美的词汇。
根据这篇论文，尽管这位说书人能够查阅整座图书馆，但他们选择下一个词汇的方式，却仿佛有一位极其严格、过度保护编辑站在其肩头。这位编辑并非仅提供帮助，而是主动切断各种路径，迫使说书人只能使用最常见、最安全、最乏味的词汇。
以下是该论文发现的要点，辅以简单的类比说明：
1. “分岔路径的花园”
作者将模型的决策过程比作豪尔赫·路易斯·博尔赫斯（Jorge Luis Borges）的一个著名故事：一个花园中，所有可能的未来路径同时存在。
- 理想状态：在这个花园里，说书人可以选择任何路径，包括那些蜿蜒曲折、通向独特且多彩表达的罕见路径。
- 现实情况：模型的“采样过滤器”（用于挑选词汇的设置）如同一把链锯。在说书人甚至还没来得及审视那些有趣、罕见的路径之前，链锯已将它们全部砍倒。模型被迫只能行走在宽阔、铺设整齐的主干道上，那里只居住着最常见的词汇。
2. “词汇覆盖率得分”（WCS）：一场生存测试
为了证实这一点，研究人员发明了一项名为“词汇覆盖率得分”（Word Coverage Score, WCS）的测试。
- 设置：他们选取了一份“中长尾”词汇列表——这些词汇既不像“the"那样超级常见，也不像"flibber"那样毫无意义。正是这些词汇赋予了人类写作独特的风味和质感。
- 测试：他们将这些词汇嵌入人类撰写的真实句子中。随后，他们向人工智能提问：“如果你来撰写这个句子，你当前的设置是否允许你选中这个特定的词汇？”
- 结果：答案往往是否定的。尽管人工智能知道这个词（它存在于训练数据中），但它用来挑选词汇的数学规则（如 Top-p 或 Top-k）在数学层面上阻止了该词被选中。在那个时刻，这个词实际上被从人工智能的词汇表中“抹去”了。
3. “对齐”陷阱
论文发现，使人工智能变得更“安全”、更乐于助人（这一过程称为对齐或指令微调），实际上加剧了这一问题。
- 类比：想象一位狂野、富有创造力的艺术家（“基座”模型），他使用极其丰富的色彩。随后，一位经理（“对齐”过程）告诉这位艺术家：“请只使用顾客最喜欢的颜色。”
- 结果：艺术家开始使用更少的颜色。论文中测试的“指令”或“对齐”版本模型，比原始、未经微调的版本抹去了更多的词汇。它们变得更加同质化，语调更加平淡、重复。
4. “默认设置”问题
研究人员检查了公司推荐的日常使用设置（如聊天或撰写电子邮件）。
- 发现：在这些标准设置下，大量“中长尾”词汇（在某些模型中高达 22% 至 57%）完全无法被触及。
- 隐喻：这就像给一位厨师配备了一个装满异国香料的厨房，却告诉他：“你只能使用盐、胡椒和番茄酱。”厨师可能知道藏红花或松露油是什么，但厨房的规则阻止了他们使用这些香料。
5. 长期隐患：“扁平化”的世界
论文警告了一种危险的循环。
- 循环：如果人工智能模型开始生成仅使用常见词汇的文本，而未来的模型又基于这些人工智能生成的文本进行训练，那么“罕见”词汇将从训练数据中彻底消失。
- 结果：“分岔路径的花园”最终将变成一条单一、笔直且乏味的走廊。人类语言丰富、多样的质感可能被永久性地平滑成一种同质化、重复的淤泥。
总结
该论文指出，我们用来使人工智能文本变得“连贯”和“安全”的工具，无意中充当了审查者的角色。它们在数学层面上修剪了人类语言中独特、罕见且富有表现力的部分，留给我们的是一种安全、一致却极度乏味的英语版本。作者建议，我们需要重新思考如何从模型中挑选词汇，以保持这座“花园”的生机，使其充满多样的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。