💬 NLP

Measuring Representation Robustness in Large Language Models for Geometry

该论文提出了 GeoRepEval 评估框架，揭示大型语言模型在几何推理中存在显著的代表性敏感问题（特别是向量形式下的表现），表明其依赖特定表示启发式而非抽象推理能力，并发现“先转换后求解”的提示策略可有效提升高容量模型的表现。

原作者： Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做一场特殊的“几何体检”。研究人员发现，虽然这些 AI 在数学题上表现不错，但它们非常“看脸”——题目换个说法，它们可能就不认识了。

下面我用几个生活中的比喻，带你轻松读懂这篇论文的核心内容：

1. 核心问题：AI 是个“死记硬背”的学生，还是真正的“数学天才”？

想象一下，你教了一个学生做几何题。

欧几里得几何（Euclidean）：就像老师用自然语言描述：“三角形 ABC 的底是 5，高是 12，求面积。”（这是最像人类说话的方式）。
坐标几何（Coordinate）：老师把图形画在方格纸上，告诉你 A 点在 (0,0)，B 点在 (5,0)……（这是用数字坐标说话）。
向量几何（Vector）：老师用箭头和公式说话：“求向量 AB 和 AC 的叉积的一半。”（这是用更抽象的符号说话）。

这三个题目在数学上完全是一回事，答案也一样。

这篇论文的研究者问：如果 AI 真的懂了数学，它应该不管题目怎么变，都能做对。但如果它只是死记硬背了某种“解题套路”，那换个说法，它可能就会懵圈。

2. 实验过程：给 AI 出“变装题”

研究者找来了 158 道经典的中学几何题，把每一道题都“变装”成三种不同的样子（欧几里得版、坐标版、向量版），总共出了 474 道题。然后，他们让 11 个不同的 AI 模型（从小的 7B 模型到大的 GPT 系列）来做这些题。

这就好比给同一个学生出了三套卷子：

语文卷（欧几里得）：用文字描述。
表格卷（坐标）：用数字列表。
公式卷（向量）：用复杂的符号。

3. 惊人发现：AI 的“偏科”严重

结果发现，AI 们普遍存在严重的“偏科”现象：

最擅长“语文卷”：当题目用自然的文字描述时，AI 做得最好。
最害怕“公式卷”：当题目变成向量（那些箭头和叉乘符号）时，AI 的错误率飙升。
差距巨大：有些模型在文字版能拿 60 分，到了向量版直接掉到 46 分，差距高达 14 个百分点。

最扎心的是“全对率”（Invariance@3）：
研究者定义了一个指标，叫“三题全对率”。意思是：同一道题，三种说法都要做对才算数。

表现最好的模型（GPT-OSS-20B），三题全对率也只有 66.5%。
表现差的模型（LLaMA-3.1-8B），三题全对率竟然只有 4.4%！
这意味着，对于那个小模型来说，100 道题里，只有 4 道题它能不管怎么变说法都做对。其他的题，只要换个说法，它就错了。

4. 为什么会这样？（AI 的“小秘密”）

研究者分析了为什么 AI 在向量题上这么拉胯，提出了几个有趣的猜想：

比喻一：训练数据的“口味”
就像人类学生，初中课本里全是文字和坐标几何，向量几何通常是高中或大学才学的。AI 的训练数据主要来自互联网和教材，所以它看文字题看得多，看向量题看得少。它还没把向量题练熟。
比喻二：走路的“步数”
做文字题，AI 可能只需要走两步（直接套公式）；但做向量题，它需要走很多步（先算向量，再算叉乘，再算模长）。路越长，AI 越容易在半路上“摔跟头”（算错数）。
比喻三：死记硬背的“模板”
AI 似乎记住了“文字题”的解题模板，一旦题目变成向量，它试图强行套用文字题的模板，结果就“水土不服”了。

5. 灵丹妙药：先翻译，再解题（Convert-Then-Solve）

研究者想：既然 AI 怕向量题，那能不能让它先把向量题“翻译”成它擅长的文字题，然后再做？

实验结果：
- 对于能力强的模型（如 GPT、Gemini），这个“翻译”策略简直是神技！向量题的正确率直接从 45% 飙升到 97%。
- 这说明：这些 AI 其实懂数学，它们只是不习惯用向量这种“方言”说话。只要帮它翻译一下，它就能做对。
- 对于能力弱的模型（如 LLaMA-8B），这个策略没用。翻译了还是做不对。这说明它们的问题不是“方言”问题，而是脑子（算力/逻辑）本身就不够好。

6. 总结与启示

这篇论文告诉我们一个重要的道理：

不要只看 AI 做对了一道题，要看它能不能用不同的方式做对同一道题。

现状：目前的 AI 更像是“擅长特定语境的模仿者”，而不是“真正理解几何本质的思考者”。它们对题目的“长相”（表示形式）太敏感了。
风险：在现实应用中，如果题目稍微换个说法（比如从文字描述变成工程图纸数据），AI 可能会突然变笨，这在安全关键领域（如医疗、工程）是非常危险的。
未来：我们需要像 GeoRepEval 这样的新标准，去测试 AI 是否真的“融会贯通”，而不仅仅是“死记硬背”。

一句话总结：
现在的 AI 做几何题，就像是一个只会说中文的翻译官。你让他用中文翻译，他行云流水；你让他用向量符号（一种他不太熟的“外语”）翻译，他就卡壳了。虽然让他先“想成中文”再翻译能救急，但这暴露了他还没真正掌握这门外语的真相。

这是一份关于论文《Measuring Representation Robustness in Large Language Models for Geometry》（大语言模型几何推理中的表示鲁棒性测量）的详细技术总结。

1. 研究背景与问题 (Problem)

尽管大语言模型（LLMs）在数学推理任务上表现日益增强，但现有研究主要关注固定格式下的准确率，忽视了模型对“等价问题不同表示形式”的鲁棒性。

核心问题：在几何领域，同一个数学问题可以用欧几里得（Euclidean，文字/关系描述）、**坐标（Coordinate，笛卡尔平面）或向量（Vector，点积/叉积）**三种形式表达。它们在语义上完全等价，但符号密度和语言结构不同。
现有缺陷：目前的基准测试（Benchmarks）通常只测试单一格式，隐含地假设模型具有“表示不变性”（Representation Invariance）。这掩盖了模型可能仅依赖特定表示形式的启发式规则（Heuristics），而非真正的抽象几何推理能力。
研究目标：探究现代 LLM 是否具备跨表示形式的几何推理能力，并量化不同表示形式对性能的影响。

2. 方法论 (Methodology)

作者提出了 GeoRepEval，这是一个感知表示形式的评估框架，包含四个阶段：

2.1 数据集构建 (Dataset Construction)

来源：从印度高中及初级学院的标准数学教材（NCERT, RD Sharma, RS Aggarwal）中精选了 158 道核心几何问题。
平行生成：每道核心问题被转化为三种数学等价的表示形式（欧几里得、坐标、向量），共生成 474 个实例。
质量控制：所有变体均由数学专家手动验证，确保约束条件、解题路径和答案的唯一性完全一致。
分类：问题涵盖长度/距离、面积/体积、比例/比率、角度/方向四大类。

2.2 评估指标 (Evaluation Metrics)

除了传统的单表示准确率外，GeoRepEval 引入了两个高阶指标：

Invariance@3 (不变性)：模型在所有三种表示形式下均回答正确的比例。
- 公式： $Invariance@3 = \frac{1}{N} \sum_{i=1}^{N} c_{euc}^i \cdot c_{coord}^i \cdot c_{vec}^i$
- 性质：该指标受限于最弱表示形式的准确率（木桶效应）。
Consistency@3 (一致性)：模型在三种表示形式下输出完全相同（无论对错）的比例。
- 用于区分“系统性错误”（所有形式都错）和“表示敏感性错误”（某些形式对，某些形式错）。

2.3 统计分析

使用 McNemar 检验（配对卡方检验）和 Bootstrap 置信区间来验证不同表示形式间性能差异的统计显著性。
通过回归分析控制表面特征（如 Token 长度、符号密度），以排除非推理因素导致的性能差异。

2.4 实验设置

模型：评估了 11 个 LLM，包括开源模型（LLaMA, Gemma, Mistral, Qwen 等）和闭源模型（GPT, Gemini, Claude）。
设置：零样本（Zero-shot）推理，温度设为 0.0，确保确定性。
干预实验：测试了“先转换后求解”（Convert-then-Solve, CTS）策略，即提示模型先将向量/坐标问题转换为欧几里得形式再求解。

3. 主要贡献 (Key Contributions)

GeoRepEval 框架：提出了首个针对几何推理的表示感知评估框架，包含形式化定义的指标（Invariance@3, Consistency@3）及其数学性质证明。
平行基准数据集：发布了包含 158 道核心问题、474 个实例的平行基准，涵盖三种等价表示，所有数据均经过严格验证。
实证发现与解释：
- 揭示了高达 14 个百分点的准确率差距（仅由表示形式选择引起）。
- 发现向量表示是主要的失败点，Invariance@3 在某些模型中低至 0.044（即不到 5% 的问题能在三种形式下全对）。
- 提出了导致向量表示脆弱的四个假设：表面复杂性、过程链长度、训练数据分布偏差、代数错误累积。
提示干预策略：证明了“转换后求解”策略能显著提升高容量模型的向量推理能力（提升高达 52 个百分点），表明失败源于表示敏感性而非能力缺失；但低容量模型无此提升，揭示了其深层推理能力的局限。

4. 实验结果 (Results)

4.1 准确率差异 (Accuracy Gaps)

表现排序：欧几里得形式 > 坐标形式 > 向量形式。
差距显著：例如，Claude-Haiku 在欧几里得形式下准确率为 0.60，而在向量形式下仅为 0.46（差距 14%）。
不变性极低：除 GPT-OSS-20B (0.665) 外，所有模型的 Invariance@3 均低于 0.47。LLaMA-3.1-8B 仅为 0.044。

4.2 错误模式分析 (Failure Patterns)

CCW 模式主导：即“欧几里得正确、坐标正确、向量错误”（Correct-Correct-Wrong）的模式出现频率是“仅欧几里得错误”（WCC）的 2-5 倍。
结论：模型能熟练运用欧几里得和坐标的推理模板，但在处理向量运算（如叉积、模长计算）时表现出脆弱性，容易在代数步骤中出错。

4.3 统计显著性

欧几里得与向量形式之间的性能差异在统计上显著（p < 0.05），且这种差异无法完全通过 Token 长度或符号密度等表面特征来解释。

4.4 干预效果 (Convert-then-Solve)

高/中容量模型：通过提示模型先将向量问题转换为欧几里得形式，向量推理准确率大幅提升（例如 Gemini-2.5-Flash 从 0.45 提升至 0.97）。这证明模型具备底层概念理解，但缺乏向量运算的熟练程序。
低容量模型：LLaMA-3.1-8B 在干预后无明显提升（0.13 -> 0.16），表明其存在根本性的推理能力瓶颈。

5. 意义与启示 (Significance)

重新定义推理能力：高准确率并不等同于抽象推理能力。如果模型仅在特定表示形式下表现良好，说明它依赖的是表示特定的启发式规则，而非真正的几何理解。
评估范式的转变：现有的单一格式基准测试可能高估了模型的鲁棒性。未来的评估必须包含平行表示形式，以检测“表示敏感性”。
安全关键应用：在需要高可靠性的应用场景中，问题的表述方式（如使用向量还是坐标）会直接影响模型的可靠性。GeoRepEval 提供了一种系统性的风险诊断工具。
训练与微调方向：结果暗示当前模型在向量几何领域的训练数据分布可能不足，或者缺乏长链条代数推理的强化。未来的工作应关注增强模型对多种表示形式的泛化能力。

总结：该论文通过严谨的统计框架和大规模实验，揭示了当前 LLM 在几何推理中存在严重的“表示脆弱性”。模型往往无法在不同数学表示间保持推理的一致性，这一发现对理解 LLM 的推理机制及改进评估标准具有重要意义。