💬 NLP

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

本文介绍了 MERGE，这是一种利用掩码语言模型自动生成现有自然语言推理数据集的最小表达替换形式的测试，揭示了当前最先进的推理模型难以鲁棒地泛化到这些非对抗性变体中。

原作者： Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一名学生参加驾驶考试。你向他们展示一辆红色的汽车，他们正确地回答道：“那是一辆汽车。”你向他们展示一辆蓝色的汽车，他们说：“那是一辆汽车。”他们以优异的成绩通过了考试。

但随后，你提出了一个刁钻的问题：“如果我把答案中的‘汽车’改为‘卡车’，它还通顺吗？”或者，“如果我在描述中把颜色从‘红色’改为‘蓝色’，逻辑还成立吗？”

这正是论文 MERGE（最小表达替换泛化，Minimal Expression-Replacement GEneralization）所探讨的内容。这是一种新的测试方法，旨在测试人工智能模型是真的具备“智能”在进行推理，还是仅仅在模仿模式——就像一个只背下了特定练习题答案的学生一样。

以下是使用简单类比对该论文进行的解析：

1. 问题所在：“背诵者” vs. “思考者”

目前的 AI 模型非常擅长处理自然语言推理（NLI）任务。这类任务包含两个句子：

前提： “一个女孩抱着一个小女孩。”
假设： “有一个小女孩。”
任务： 前面的句子是否能证明后面那个句子？（是）。

模型在标准测试中的得分接近 100%。但作者怀疑，这些模型就像是背诵了考试中精确词汇的学生。它们并不是真的理解了“逻辑”，而只是捕捉到了“女孩”这个词在两个句子中都出现了。

2. 解决方案：“最小替换”测试 (MERE)

作者创建了一个名为 MERGE 的新测试。他们并没有给 AI 一个全新的、令人困惑的问题，而是拿出一个 AI 已经掌握的问题，并对其进行微小的、最小程度的修改。

这就像是在玩一个带有转折的“找不同”游戏：

原始版本： “一个女孩抱着一个小女孩。”
替换版本： AI 被要求处理：“一个男孩抱着一个小男孩。”或者：“一个女孩抱着一个快乐的女孩。”

这个游戏的规则（称为 MERE 生成）非常严格：

保持逻辑： 如果原始句子意味着“是”，那么新句子也必须意味着“是”。
保持结构： 不要改变语法或句子的长度。
保持重叠： 原句中共享的词汇在新的句子中也必须保持共享。

他们使用了一种叫做“掩码语言模型”（Masked Language Model）的工具（可以将其想象为一个非常聪明的词语建议引擎，类似于你手机键盘上的自动补全功能）来自动生成这些替换词。

3. 新的评分系统：“一致性检查”

在普通的测试中，如果你答对了 90%，你就通过了。但在 MERGE 测试中，评分更加严格。

想象你有一个原始问题（种子句）和 20 个略有不同的版本（变体）。

旧方法： 如果 AI 在 20 个问题中答对了 18 个，它会获得高分。
MERGE 方法： AI 必须答对所有（或几乎所有）这 20 个变体，才能算作“解决”了原始问题。

如果 AI 答对了原始问题，但在“男孩”版本上失败了，这意味着 AI 只是记住了“女孩”这个词，而不是理解了“某人抱着某人”这个概念。

4. 结果：AI 崩溃了

作者在许多不同的 AI 模型上进行了测试，从小型模型到像你今天正在使用的这类大型语言模型（LLMs）。

研究结果令人惊讶：

“背诵者”失败了： 当 AI 需要处理这些细微变化时，其表现显著下降。它可以处理原始问题，但只要词汇稍有变动，它就会陷入混乱。
“一致性”差距： 即便是最优秀的模型，也只能稳定地处理大约 50% 的变体。如果测试要求它们在 60% 或更多的变化中保持一致，它们的得分就会骤降。
最难的词汇： 研究发现，改变动词（动作）对 AI 来说是最难的，其次是名词（事物），最后是形容词（描述）。看起来，当“动作”发生变化时，AI 最容易出错。
并非“魔法”来源： 他们想知道，如果词语建议来自于与正在接受测试的 AI 同类型的 AI，AI 的表现是否会更好。他们发现没有区别。无论这些新词来自哪里，AI 依然难以泛化。

5. 结论

论文得出结论，目前的 AI 模型是脆弱的。它们非常擅长解决训练过的特定问题，但缺乏真正的“泛化能力”。它们并没有学会深层的逻辑规则，而只是学会了识别特定的模式。

当你稍微调整一下模式（比如把“女孩”换成“男孩”），AI 的信心和准确性就会崩溃。作者称之为 MERGE 测试，它表明在 AI 能够像人类一样进行“推理”，而不是像鹦鹉一样进行“模式匹配”之前，我们还有很长的路要走。

简而言之： AI 擅长背诵剧本，但如果你要求它根据一个词的变化来进行即兴发挥，它就会僵住。

技术摘要：MERGE —— 最小化表达替换泛化性

问题陈述
目前的自然语言推理（NLI）模型在标准测试集上表现出色，往往是利用了从训练数据中学习到的启发式特征（如词汇重叠或仅限假设部分的特征），而非真正的推理能力。虽然已有研究使用分布外（OOD）数据集来揭示这些弱点，但现有方法通常依赖于刻意破坏常见启发式特征的对抗性样本，或使用破坏语法结构的非语法保留修改，从而引入不合理性。此外，手动构建高质量推理数据集成本高昂且难以规模化，而自动生成方法在历史上一直受到偏差或产生不合语法变体的问题困扰。因此，需要一种鲁棒的自动化方法，用于评估模型在非对抗性的、最小化变化的测试集上的泛化能力，同时确保这些变化能够保留原始问题的底层逻辑推理和句法结构。

方法论：MERE 与 MERGE
作者提出了 MERGE（Minimal Expression-Replacement GEneralization，最小化表达替换泛化），这是一个构建在 MERE（Minimal Expression REplacement，最小化表达替换）——一种自动化生成技术之上的模型鲁棒性评估框架。

MERE 生成过程：
- 种子选择： 过程始于一个原始的 NLI “种子”问题，由前提（ $p$ ）、假设（ $h$ ）及标签（ $l$ ）组成。
- 目标识别： 系统识别出 $p$ 和 $h$ 之间共享的开类词（名词、动词、形容词、副词）。
- 通过 MLM 进行替换： 使用掩码语言模型（MLM）为这些共享词汇建议上下文概率较高的替换词。
- 约束条件： 为确保有效性，替换词（ $r$ $r$ ）必须满足三个条件：
  1. 在 MLM 的掩码上下文中， $r$ 的概率高于原始词（ $o$ ）。
  2. $r$ 不已经在句子中出现。
  3. $r$ 与 $o$ 属于相同的词性（词类）。
- 交叉验证： 替换词需在 $p$ 和 $h$ 两者之间进行验证，以确保它们被同一个模型在句子内的多次出现中同时建议，并在配对中保持一致。
- 质量过滤： 通过多阶段过滤过程移除子词、标点符号和低概率候选词。人工验证确认了流利度以及是否保留了原始的推理关系。
- 数据集构建： 对于每个种子，通过替换共享词来生成多个变体。最终数据集（Var）通过随机采样变体来构建，以避免高度生产性种子被过度代表。
MERGE 评估指标：
- 不同于标准的基于样本的准确率，MERGE 引入了 种子-变体（SV）准确率。
- 只有当一个种子问题的生成变体达到了最小 正确性阈值（CT） 时，该种子问题才被视为分类正确。
- 匹配正确性（MC） 阈值定义为：当模型的 SV 分数与标准种子准确率最接近时的 CT 值。较低的 MC 指示较差的泛化能力。

核心贡献

自动化方法论： 一个完全自动化的流水线（MERE），用于创建“友好型”泛化测试集，该测试集在引入极小词汇多样性的同时，保留了推理、句法和词汇重叠。
关于泛化能力的实证发现： 证据表明，经过微调的 NLI 模型和大型语言模型（LLMs）在面对最小化变体时泛化能力较差。当变体仅在形式上发生轻微变化时，模型难以保持一致性。
语言学分析： 识别出动词通常是泛化难度最大的词类，其次是名词和形容词。
来源独立性： 研究表明，用于生成变体的特定 MLM 来源不会显著偏置所评估的 NLI 模型的性能。

结果

泛化差距： 虽然模型在单个变体上表现良好（标准准确率），但在评估每个种子的变体一致性时（SV 准确率），其表现显著下降。大多数模型仅在正确性阈值设定在约 50% 或更低时才能维持其原始性能。超过此阈值后，性能急剧下降，对于 LLMs 而言尤为明显。
数据集比较： 模型在 MNLI 变体上的泛化表现略优于 SNLI 变体。
词类敏感度：
- 动词： 始终是最难泛化的词类，尤其是在较高的正确性阈值下。
- 名词： 在 MNLI 中通常比形容词更难，但在 SNLI 的高阈值下比动词更难。
- 形容词： 通常是最容易泛化的词类。
MLM 来源影响： 替换词的来源（例如，使用 BERT 为基于 BERT 的 NLI 模型生成变体）并未导致系统性地更高或更低的得分，这表明生成方法本身不会使评估过程向特定的模型架构产生偏置。
种子难度： 模型在最初分类错误的种子问题上的表现明显更差，其变体正确率仅约为 80%，而对于分类正确的种子，该比例约为 97%。

意义与主张
本文声称，MERGE 提供了一种严谨的、非对抗性的泛化测试，揭示了当前最先进模型被标准指标所掩盖的弱点。通过强制要求在最小的、保持标签不变的变体之间保持一致性，本研究证明了模型过度依赖特定的词汇线索而非鲁棒的推理。作者将 MERGE 定位为一种工具，旨在无需昂贵的人工数据集构建或引入对抗性噪声的情况下，揭示推理模型中的“新型弱点”。尽管目前主要应用于 NLI，但作者指出该方法论同样适用于其他推理任务。

局限性
作者承认存在以下局限性：

该方法不替换被切分为子词（subwords）的词，以避免概率聚合伪影。
当一个词出现多次时，每次仅掩码其中一个实例，这可能会引入偏差（尽管此类情况在种子数据集中很少见）。
为了避免在名词复合词中出现错误，并未对形态派生词进行替换，这偶尔会导致生成的变体流利度较低。
分析未包含除已测试模型之外更大的 LLMs。