🤖 machine learning

FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks

本文介绍了 FormInv，这是一种测量协议，它揭示了数学推理基准中语义不变性缺陷如何扭曲模型排名，并揭示了总体准确率与语义一致性之间的关键差距，证明了基准设计选择隐性地决定了哪些模型显得更优越。

原作者： Nishal Thomas, Noel Thomas

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Nishal Thomas, Noel Thomas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文"FormInv"的解释。

核心理念：“变形”测试

想象一下，有一个学生正在参加数学考试。你问他：“根号 4 是否大于或等于 0？”他回答：“是。”然后，你问完全相同的问题，只是稍微改变了措辞：“根号 4 是否小于或等于 0？”

如果这个学生真的聪明，他对两个问题都应该回答“是”。但如果他第一个答对了，第二个却答错了呢？

这正是该论文关于最先进 AI 模型（如 GPT-4o、Claude 和 DeepSeek）的发现。尽管它们在数学方面表现出色，但却出奇地脆弱。如果你在不改变含义的情况下改变问题的形式，AI 往往会感到困惑并给出不同的答案。

作者将这种缺乏稳定性的现象称为“语义不变性差距”（Semantic Invariance Gap）。用通俗的话说：AI 并不理解数学；它只是识别句子的模式。

问题所在：“陷阱题”的陷阱

该论文认为，当前的基准测试（AI 的标准测试）存在缺陷，因为它们只以一种特定的方式提问。这就像只让司机在笔直的高速公路上测试驾驶技术。他们在那里可能开得完美无缺，但如果你让他们在同一条路线上行驶，只是交换了车道，他们可能会撞车。

研究人员发现：

高分具有误导性：AI 在标准测试中可能答对了 96% 的问题。但是，当你用不同的方式提出同样的问题时，这个"96%"会显著下降，因为 AI 未能意识到这些问题是相同的。
“排名反转”：这是最令人震惊的部分。取决于你如何提问，获胜者会发生变化。
- 如果你按“顺序 A"提问，模型 X 获胜。
- 如果你按“顺序 B"提出同样的问题，模型 Y 获胜。
- 这就像一个体育联盟，每次你改变比赛规则，赢得冠军的球队都会发生变化，尽管参赛选手是一样的。

解决方案：“一致审计”

如何揪出这些有问题的题目？作者创建了一个名为 FormInv 的协议。

把它想象成才艺表演中的评委团。如果你有 9 位不同的评委（AI 模型），并且他们都一致认为某个特定问题令人困惑或有缺陷，那么很可能是题目本身有问题，而不是评委有问题。

协议：他们拿出一道题，让 9 个不同的 AI 模型回答。
发现：如果 9 个模型中有 6 个在回答“改写”（重述）版本的问题时出错，但都能答对原始版本，系统就会将该改写的问题标记为有缺陷。
结果：他们发现，现有测试中约 3% 到 47% 的“改写”问题实际上在数学上是错误的或令人困惑的。AI 并没有在数学上失败；是测试在 AI 身上失败了。

“无免费基准”规则

该论文提出了一个大胆的主张：没有完美的测试。

想象一下你试图对 9 辆不同的汽车进行排名。

如果你测试它们的速度，A 车获胜。
如果你测试它们的燃油效率，B 车获胜。
如果你测试它们的操控性，C 车获胜。

作者表示，AI 数学测试也会发生同样的情况。由于没有任何单一的 AI 能完美应对每种类型的改写，设计测试的人可以选择包含哪种类型的问题。通过选择问题，他们实际上是在秘密决定谁赢得比赛。该论文提供了一种工具，使这种选择透明化，这样我们就知道模型获胜的原因。

关键要点

准确率并非一切：一个模型的准确率可能达到 96%，但当你改写问题时，它仍有一半的时间会失败。这意味着它并没有真正“理解”数学；它只是基于模式进行猜测。
“不变性差距”：这是一个衡量 AI 一致性程度的新指标。如果 AI 无论问题如何被提出，都能对同一问题给出相同的答案，它就具有高“不变性”分数。研究中最好的模型在一致性上仅达到约 82%，这意味着它们在近五分之一的问题上表现不一致。
修复测试：作者构建了一个工具（FormInv），通过观察多个 AI 模型是否会对测试题感到困惑，来自动检查测试题是否“有缺陷”。他们利用这一工具修复了现有测试，从而改变了顶级 AI 模型的排名。

总结类比

想象你在测试一名翻译。

旧方法：你让翻译将“猫在垫子上”翻译成法语。他完美地完成了。你给了他 A。
新方法（FormInv）：你让他翻译“垫子上有一只猫”、“猫在垫子上吗？”以及“坐在垫子上的是猫”。
结果：翻译答对了第一句，但其他几句都失败了。你意识到他实际上并不懂法语；他只是背下了第一句话。

FormInv 是迫使我们提出第二组问题的工具，这样我们就能看清谁真正理解了语言，而谁只是在记忆模式。

技术摘要：FormInv：数学推理基准中语义不变性的测量协议

1. 问题陈述

当前大型语言模型（LLM）的数学推理基准严重依赖基于规范问题表述计算的聚合准确率指标。本文认为，此类指标是不充分的，因为它们假设模型性能独立于问题的表述方式。作者指出了一个关键的“测量差距”：模型在标准基准上往往表现出高准确率，却未能保持语义不变性——即在逻辑等价的改写中产生一致答案的能力。

本文强调，标准基准（如 GSM8K、MATH、MathCheck）缺乏对改写语义等价性的严格验证。因此，基准排名可能是特定表述方式的产物，而非推理能力的真实衡量。作者借鉴心理测量学理论，特别是项目差异功能（DIF）和概化理论，将这一问题形式化。他们提出，如果模型的答案随语义等价的重新表述而改变，则表明其未能真正理解数学，而是依赖于表面模式识别。

2. 方法论

2.1 FormInv 协议

作者提出了FormInv，一种旨在审计和量化语义不变性的测量协议。该协议包含三个核心组件：

不变性差距（IG）与语义一致性率（SCR）：
- IG： 形式化定义为模型在一组等价改写中的二元答案的标准差。数学上， $IG(f, [x]_\sim) = \sqrt{p(1-p)}$ ，其中 $p$ 是等价类内正确答案的概率。IG 为 0 意味着完美的不变性。
- SCR： 模型在所有改写形式下均给出正确答案的定理比例。与衡量方差的 IG 不同，SCR 衡量的是正确性与不变性的交集。
- Cochran's Q： 用作统计检验，以判断在 $k > 2$ 个改写族中，模型的失败率是否存在显著差异（边际同质性检验）。
8 族改写分类法：
该基准根据验证严格程度将模型评估分为八个不同的变换族：
- T1（形式可认证）： 族 F4（符号表示）、F6（顺序）、F7（展开）和 F8（等价）。这些依赖于 Lean4/一阶逻辑（FOL）规则或计算机代数系统（CAS）验证（例如 SymPy）。
- T2（条件有效）： 族 F1（句法）、F2（量词）和 F3（被动语态）。这些依赖于类型上下文，并通过模板或适用的 CAS 进行验证。
- T3（启发式）： 族 F5（连接词变化）。这些依赖于自然语言启发式方法，需要领域专家审查。
跨模型一致审计：
一种新颖的质量控制机制：如果绝大多数模型（例如 $\ge 6/9$ ）在通过规范版本的同时未能通过改写版本，则该改写被标记为语义错误。这基于一个假设：即普遍失败是由改写本身的系统性错误引起的，而非模型的推理问题。

2.2 基准构建

基础： 评估使用了来自 Mathlib4（经 Lean4 验证）的 103 个精心策划的定理，涵盖数论、代数和实分析等领域。
数据集： 主要数据集（FormInv v1）包含 760 个项目（103 个定理 $\times$ 约 7.4 个改写）。扩展的"Track B"评估使用了来自 ntp-mathlib 的 100 个更难的定理（811 个项目）。
验证： 改写由 GPT-4o 生成，并通过多阶段协议进行验证：代数族使用 CAS，表面族使用模板保证，定义族（F7/F8）则进行 100% 的人类专家审查。

2.3 实验设置

本研究评估了9 个前沿模型（包括 GPT-4o、Claude Sonnet/Haiku、DeepSeek V3/R1、Gemini 2.5 Flash 和 Llama 3.3 70B），测试项目数量为 366 至 811 个。模型在零样本模式下进行评估，并施加严格的 TRUE/FALSE 约束。

3. 主要结果

3.1 不变性差距与准确率

最显著的发现是聚合准确率与语义一致性之间的脱节。

Claude Haiku 4.5 实现了 86% 的准确率，但SCR 仅为 50%，意味着其一半的正确答案在改写间是不一致的。
DeepSeek V3 实现了 96.4% 的准确率和82% 的 SCR。
10 个百分点的准确率差距掩盖了32 个百分点的 SCR 差距。论文指出，仅凭准确率对这种结构性失败是“宪法性失明”的。
准确率与平均 IG 之间存在强烈的负相关（ $r = -0.965$ ），表明更准确的模型通常具有更强的不变性，但这种相关性是由 IG 的定义代数驱动的，并不能保证特定族的不变性。

3.2 排名反转与互补性

模型排名并不稳定；它们会根据改写族的不同而发生反转：

F6（比较顺序）： GPT-4o 的项目失败率为 0.0%，而 Claude Sonnet 为 16.7%。
F7（定义展开）： Claude Sonnet 的失败率约为 6%，而 GPT-4o 为 10.0%。
这种互补性失败模式意味着没有单一模型能在所有族中实现帕累托最优。因此，基准设计者隐含地选择了对各族的加权方式，从而决定了获胜者。论文将此形式化为**“无免费基准”推论**：对于任何目标排名，都存在一种对改写族的加权 $\lambda$ 可以实现该排名。

3.3 质量审计发现

跨模型一致协议成功识别了现有基准中语义错误的改写：

MathCheck 审计： 应用于 MathCheck 中的 129 组，该协议标记了 4 个语义错误的改写（3.1%）。剔除这些错误后，GPT-4o 的排名从第 2 位降至第 4 位，而 Claude Haiku 和 DeepSeek V3 的排名上升。
FormInv v1 审计： 该协议在 GPT-4o 生成的项目中识别出 11 个错误，包括双条件句过度延伸、被动语态倒置和类型上下文剥离。这些错误在单模型评估中不可见，但通过一致性审计得以暴露。

3.4 难度体制依赖性

在使用更难定理的"Track B"评估中：

准确率与不变性之间的相关性减弱（ $r = -0.415$ ，不显著）。
F5（连接词变化）的具体难度消失；所有族聚集在相似的失败率（28–35%）。
推理模型（DeepSeek R1, o4-mini）在难定理上显示出最低的 IG，表明思维链（Chain-of-Thought） deliberation 仅在定理需要高级推理时才能降低对表面的敏感性。

4. 贡献

不变性框架： 将SCR和IG形式化为语义不变性的主要指标，基于 Doob 条件期望定理和 DIF 理论。根据验证严格程度将改写族分类为 T1、T2 和 T3 层级。
FormInv 基准： 一个源自 Lean4 验证定理的 760+ 项目数据集，在 9 个模型上进行了评估，并实施了严格的跨模型一致审计。
FormInvSelector： 一种算法，利用各族的 SCR 概况，推荐在特定任务体制下（例如，选择用于定义推理与比较任务的模型）预期失败率最低的模型。
改写质量审计： 证明了跨模型一致性（ $\ge 6/9$ 的模型未能通过改写）是一种自动化、低成本的检测语义错误基准项目的方法，能有效区分基准错误与模型错误。

5. 意义与主张

本文主张 FormInv 是首个将测量不变性理论和基于 DIF 的指标应用于形式化数学推理的协议。其意义在于三个方面：

揭示隐藏缺陷： 它揭示了标准准确率指标可能具有误导性，掩盖了表面性能与真实语义理解之间“32 个百分点的差距”。
基准完整性： 它为基准构建者提供了一种工具，可在发布前审计其数据集，防止排名成为有缺陷改写的产物。作者断言：“如果你通过程序生成改写，你就不知道其中有多少是错误的。”
体制感知评估： 它挑战了单一“最佳”模型的概念，证明了排名是体制依赖的（随改写族和难度而变化）。论文结论指出，基准设计者通过选择包含哪些族来隐含地选择获胜者，而 FormInv 使这一选择变得明确且可审计。

作者在局限性方面保持谦逊，指出通过 Lean4 对所有改写进行全面认证是未来的工作，且当前研究依赖于 103 个精心策划的定理（尽管在 Track B 中扩展到了 100 个更难的定理）。他们强调，FormInv 是一种补充性指标，旨在增强而非取代现有的基于准确率的评估。