GeoBuildBench: A Benchmark for Interactive and Executable Geometry Construction from Natural Language
本文介绍了 GeoBuildBench，这是一个包含 489 道中文几何题的新基准，用于评估多模态智能体根据自然语言生成可执行领域特定语言程序以构建几何图形的能力，结果显示尽管初始表现尚可，但在结构准确性和约束满足方面仍存在显著挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何仅根据口头描述（例如“画一个三角形，其中一条边是另一条边的两倍长，且顶角为 90 度”）来绘制完美的几何图形。
目前大多数人工智能模型就像那些擅长在多项选择题中猜测答案或描述图片内容的学生。但本文介绍了一项名为GeoBuildBench的新挑战，它测试的是人工智能能否真正按照严格规则一步步执行绘图，并在绘图出现错误时自行修正。
以下是用简单类比对这篇论文的拆解：
1. 问题所在：“魔术戏法”与“蓝图”
此前，研究人员让 AI 模型查看几何问题和图片，然后只需回答“答案是 45 度”。AI 往往能通过识别文本或图像中的模式来猜出正确数字，即使它并不真正理解图形是如何构建的。
GeoBuildBench改变了游戏规则。它不再要求 AI 给出答案，而是要求 AI 扮演一名建筑师。
- 任务：AI 必须编写一段计算机程序（一套指令），从零开始构建图形。
- 限制：AI 不能仅仅“声称”图形存在。它必须使用一种特殊的、受限的词汇表（即“领域特定语言”或 DSL）来实际构建图形。
- 类比：想象你在玩一个“乐高”游戏，你不能只说“建一座塔”。你必须给出具体指令：“在这里放一块红砖，然后在上面放一块蓝砖。”如果你试图在半空中放一块砖，游戏引擎会报错：“错误！那块砖还不存在。”
2. 环境：“严格的老师”
研究人员构建了一个数字游乐场，让 AI 尝试构建这些图形。
- 循环：AI 编写一组指令 -> 计算机尝试构建 -> 计算机检查图形是否有效。
- 反馈：如果 AI 试图画一条不连接任何物体的线，或者忘记画一个必需的圆，计算机会立即指出：“你漏掉了一个圆！”或者“你试图连接两条平行且永不相交的线！”
- 目标：AI 必须不断尝试，阅读反馈，并重写指令，直到图形完美无缺。
3. 数据集：489 道“教科书”谜题
该团队创建了一个基准测试，包含从中文数学教科书中提取的489 道几何问题。
- 筛选：他们非常谨慎地剔除了那些依赖看图才能理解文本的问题（例如“如图 1 所示，角 A 是……"）。他们只保留了那些仅凭文本就足以构建图形的问题。
- 多样性：问题难度从“非常简单”（1 级）到“困难”（4 级）不等，涵盖三角形、圆形和复杂角度。
4. 结果：AI 的“幻觉”
研究人员在此环境中测试了多种顶级 AI 模型（如 GPT-5.1、Gemini 等）。以下是他们的发现：
- 好消息：最聪明的模型（GPT-5.1 和 Gemini）答对了约**75-79%**的问题。它们通常能够构建出正确的图形。
- 坏消息：即使是最好的模型也 struggle 于结构性幻觉。
- 这里的“幻觉”是什么？ 是指 AI 写下类似“画一条连接点 X 和点 Y 的线”的指令，但它从未在之前的指令中实际创建过点 X 或点 Y。这就像一位厨师说“加入秘制酱汁”，却从未制作过酱汁。
- “未定义引用”问题：最常见的错误是引用尚未存在的对象。AI 忘记了追踪它已经构建的内容。
- 恢复问题：当计算机会告诉 AI“你犯了一个错误”时，最聪明的模型能迅速修正（通常只需 1 或 2 次尝试）。而较弱的模型则反复犯同样的错误，无法从反馈中学习。
5. “视觉”惊喜
研究人员测试了如果给 AI 提供它正在构建的图形的图片（视觉反馈）会发生什么。
- 结果：效果喜忧参半。对于某些模型，看到图片有助于它们产生更好的想法，但也让它们更困惑于哪些具体的点已经被画出来了。这就像给画家一面镜子：他们可能会看到自己的错误，但也可能因此分心，忘记自己正拿着哪支画笔。
6. 结论：“看似合理”不等于“正确”
主要结论是：看起来对并不等于实际上对。
- AI 可以生成一幅在人类眼中看起来像三角形的图片，但如果计算机检查数学逻辑，线条可能实际上并未相交，或者角度可能是错误的。
- GeoBuildBench证明，虽然 AI 在谈论几何方面越来越擅长，但在以严谨、逐步、无错误的方式执行几何方面仍然挣扎。它凸显了“猜测答案”与“构建真理”之间的差距。
简而言之：这篇论文为 AI 的几何技能建立了一个严格的“驾驶考试”。它发现，虽然有些 AI 司机能到达目的地，但许多司机仍在走错路、忘记检查后视镜，甚至偶尔撞墙，尽管它们看起来似乎知道该往哪里开。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。