How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling
该论文提出了一种面向问题的分阶段评估框架，通过对比人类专家验证发现，尽管大语言模型在数学建模竞赛的问题识别与 formulation 阶段表现良好，但在模型求解、代码实现及结果分析等执行阶段仍存在显著缺陷，且这种“理解 - 执行”差距无法单纯通过增加模型规模来弥补。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给现在的人工智能（AI）做一场“数学建模奥林匹克”的体检。
想象一下，现在的 AI（大语言模型）就像是一个才华横溢的“理论家”。它们读书万卷，能写出漂亮的文章，能解释复杂的概念，甚至在回答简单的数学题时比大多数人都强。但是，当把它们扔进一个真实的、复杂的工程现场，要求它们从头到尾解决一个实际问题时，它们的表现如何呢？
这篇论文就是去探个究竟。
1. 为什么要搞这个测试？（背景）
以前的考试（基准测试）就像是在考 AI 做“填空题”或“选择题”。比如问它："1+1 等于几？”或者“写一段 Python 代码打印 Hello World"。AI 在这些单项技能上已经非常厉害了。
但现实世界的问题（比如设计一个城市交通系统、预测台风路径）不是填空题。它需要一套完整的流程：
- 听懂问题（到底要解决什么？）
- 简化问题（哪些因素可以忽略？）
- 建立模型（用数学公式怎么描述它？）
- 求解模型（算出结果）
- 写代码实现（把公式变成可运行的程序）
- 验证结果（算得对吗？靠谱吗？）
以前的评价方法太粗糙，只看最后报告写得漂不漂亮。这就像只凭作文写得好看就判定一个建筑师能盖出摩天大楼，结果楼盖出来塌了，因为地基没打好。
2. 他们做了什么？（新方法）
为了更公平地评价，作者们设计了一套**“分阶段、看细节”的评分系统**。
- 比喻：以前的评分像是一个模糊的“整体印象分”（比如：这篇报告 80 分）。
- 新的评分：像是一个**“流水线质检员”**。他们把解题过程拆成 7 个环节（识别问题、建立假设、构建模型、求解、写代码、分析结果等），每个环节都有严格的“检查清单”。
- 如果你“问题识别”做得好，但“代码实现”是一团乱麻，质检员会直接给你打低分，而不是因为前面写得好就给你凑分。
- 他们还邀请了人类专家（拿过数学建模金牌的研究生）来当“裁判”，确保这套评分标准是靠谱的。
3. 发现了什么？（核心结论）
测试结果让人既惊讶又失望，发现了一个巨大的**“懂行”与“干活”之间的鸿沟**：
AI 是“纸上谈兵”的高手：
在前几个阶段（理解问题、提出假设、构思模型），AI 表现得非常像专家。它们能写出漂亮的方案，逻辑通顺，甚至能提出很巧妙的数学思路。- 比喻：AI 就像一个顶级的建筑设计师，能画出完美的图纸，告诉你这栋楼怎么盖最科学。
AI 是“动手执行”的矮子：
一旦到了后几个阶段（真的去算数、写代码运行、验证结果），AI 就原形毕露了。- 代码写不出来：或者写了一堆跑不通的代码。
- 结果没法验证：算出来的数不知道对不对，也没有做对比实验。
- 错误会传染：如果在“假设”阶段偷懒没写清楚，到了“求解”阶段就会出错，而且 AI 不会回头去修正，而是顺着错误继续往下编，导致最后结果完全不可用。
- 比喻：这个设计师不会砌砖，也不会开搅拌机。图纸画得再美，他也没法把楼盖起来。
4. 模型越大越好用吗？（关于“卷”参数）
大家可能会想：“是不是因为现在的 AI 还不够聪明？如果模型再大一点（参数更多），是不是就能解决这个问题了？”
作者测试了从 70 亿参数到 2350 亿参数的各种模型，发现：
- 模型变大，确实让“画图”（理解问题）更好看了。
- 但是，模型变大，并没有让“砌砖”（写代码、验证结果）变强多少。
- 比喻：这就好比给一个只会动嘴皮子的理论家喂了更多的书。他现在的理论讲得更深奥了，但他依然不会动手干活。单纯靠“吃更多数据”或“变大模型”，解决不了“执行力”的问题。
5. 总结与启示
这篇论文告诉我们：
目前的 AI 在**“想”（理解、构思）方面已经很强了，但在“做”**（执行、验证、纠错）方面还很弱。
- 现在的 AI：能帮你出主意，能帮你写大纲，但如果你指望它独立搞定一个复杂的工程项目，它目前还做不到。它就像一个只有 50% 能力的专家，前面 50% 很完美，后面 50% 经常掉链子。
- 未来的方向：我们不能再只盯着把模型做得更大了。未来的突破点在于**“流程控制”**。我们需要教 AI 像人类专家一样，每一步都严格检查，发现错了就回头修正，而不是盲目地往下编。
一句话总结：
现在的 AI 是个**“理论满分、实操不及格”的学生。要想让它真正像人类专家一样解决现实问题，光靠“刷题”（训练更多数据）是不够的，得教它学会“脚踏实地”和“自我纠错”**。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。