Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French
这项研究表明，尽管英语、西班牙语和法语的大型语言模型普遍能够理解标量蕴含（scalar entailments），但它们经常无法将“通过过度进行的纠正性否定”（例如，“不是温暖而是沸腾”）解释为拒绝一个程度较弱的词而非否定一个事实，尽管当这种纠正被“而是”（but rather）等短语明确标记时，它们的准确率会有所提高。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言模型是当今许多数字工具背后的引擎，它们能够生成文本、翻译语言，并以惊人的流利度回答问题。为了理解这些系统是如何运作的，研究人员经常观察它们如何处理人类交流的基础构建块，例如描述程度的形容词。像“温暖”（warm）、“热”（hot）和“沸腾”（boiling）这样的词存在于一个递增的热度量级上，人类自然理解如果某物是“沸腾”的，那么它至少也是“温暖”的。这种逻辑联系被称为“蕴含”（entailment）。然而，人类语言充满了转折之处：我们否定一个较弱的词，并不是为了说相反的情况成立，而是为了说明更强的词才是正确的。当有人说一碗汤“不是温暖而是沸腾”时，他们并不是在否定这碗汤有热度，而是在拒绝将“温暖”作为一种程度不足的描述。这种特定的纠正类型——即说话者用一个强描述替换一个弱描述——是对机器是否真正理解词语关系，还是仅仅在进行模式匹配的微妙测试。
一组研究人员试图观察现代语言模型是否能够驾驭这种复杂的语言领域。他们关注了一种被称为“过度纠正性否定”（corrective negation by excess）的现象，即句子通过否定一个较弱的形容词来肯定一个更强的形容词。该团队收集了数百对来自英语、西班牙语和法语的形容词对，例如“昏暗”（dim）和“黑暗”（dark），或“好”（good）和“卓越”（excellent），这些词按强度排列。随后，他们要求五个不同的语言模型在各种条件下对这些词对进行判断。首先，他们确认了模型是否知道这些词的顺序，即识别出“黑暗”是“昏暗”的更强版本。接着，他们测试了模型是否理解如果某物是“黑暗”的，它必然至少是“昏暗”的。最后，他们向模型展示了纠正性句子，如“它不是昏暗而是黑暗”，并询问该物体是否仍然至少是“昏暗”的。
结果显示，模型所掌握的知识与其应用方式之间存在显著差距。在模型能正确识别词序并接受“黑暗”蕴含“昏暗”这一基本逻辑的单元上，它们在处理肯定陈述时的成功率达到了 93.4%。它们也能正确回答简单的否定问题（准确率为 99.2%），但这种高准确率具有误导性：模型通常倾向于整体回答“否”（“是”的比例在 34% 到 44% 之间），这种偏见人为地提高了它们在正确答案为“否”的问题上的表现。当面对纠正性句子“它不是昏暗而是黑暗”时，它们的表现大幅下降。在同一组此前已显示理解词语关系的项中，它们在 452 个案例中未能识别出这种纠正，而仅在 6 个案例中成功识别。模型并没有理解汤仍然是温暖的（只是程度更高了），而是经常将该句子视为简单的否定，从而得出结论认为该物体根本不具备“昏暗”的特征。
这种失败并非源于对词汇本身的缺乏了解。当研究人员使用相同的词进行类似的结构测试时，例如“它不是昏暗而是非常昏暗”，模型的表现非常出色，正确率达到 94.4%。这表明模型在处理单词完全相同时可以处理这种句式结构，但当它们必须在纠正框架内连接两个不同的词时，就会陷入困境。这种错误模式在所有五个受试模型以及三种语言中都是一致的。在许多情况下，模型会对“该物体是否至少具备较弱项的特征”回答“否”，实际上忽略了提供纠正信息的后半句。这表明模型的失败不在于无法对形容词进行排序，而在于当句子结构要求它们用一个更强的替代项来否定一个较弱的描述时，它们难以克服对否定词的字面理解。
研究还探讨了使纠正更加明确是否会有所帮助。在英语中，研究人员将标准的“不是 X 而是 Y”（not X but Y）与添加了“反而/而是”（rather）一词的版本进行了比较，即“不是 X 而是反而 Y”（not X but rather Y）。这种微小的变化更清晰地传达了纠正信号，使模型的准确率从 36.1% 提升到了 49.3%。虽然这是一种进步，但并未完全解决问题，因为模型在超过一半的情况下仍然无法理解其含义。研究人员指出，在西班牙语中，由于使用了一种特定的连词来进行纠正，模型的表现略优于英语或法语，但根本性的困难依然存在。数据表明，这些系统拥有如何关联词汇的原始知识，但当句子结构要求它们通过否定一个较弱的描述来肯定一个更强的描述时，它们往往无法运用这种知识。
这一发现的影响超出了学术好奇心的范畴。语言模型越来越多地被用于总结评论、分析反馈以及处理客户投诉。如果一个模型读到一条评论说产品“不是好，而是卓越”，它可能会误解这种强烈的赞美为一个负面陈述，因为它未能领悟这种纠正性的本质。研究人员总结道，目前对这些系统的评估需要包含这种特定类型的语言挑战。仅仅检查模型是否知道“卓越”比“好”更强是不够的；模型还必须接受测试，看它能否在句子通过否定较弱项来肯定较强项时应用这种知识。在模型能够可靠地处理这类纠正之前，它们面临着误读人类交流语气和意图的风险，从而将高度的赞美误判为批评，并错失了赋予语言力量的细微差别。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。