💬 NLP

Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

本研究通过模型蒸馏方法评估了大语言模型解决静力学问题的能力，结果表明，尽管它们在纯文本问题上表现良好，但当涉及图表和多步推理时，其准确率会显著下降，这是由于在一致性应用视觉信息方面存在挑战，而非图像识别能力的限制。

原作者： Tanner Culleton, Hung-Fu Chang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tanner Culleton, Hung-Fu Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的学生名叫“ChatGPT”，他几乎读遍了图书馆里的每一本书。你想测试这个学生是否真的能解决高难度的工程作业题，特别是在一个叫做静力学（Statics，研究力如何在静止物体上保持平衡，例如桥梁或起重机）的学科中。

以下是研究人员所做的工作，用简单的语言解释如下：

1. “复制粘贴”问题

首先，研究人员尝试了最显而易见的方法：他们直接拿教科书上的题目去问 ChatGPT。

结果： 场面一度非常混乱。这个“学生”感到很困惑，尤其是当题目涉及 3D 图形时。它会搞混方向（比如把“右”说成“上”），并且会让数学计算出错。
类比： 这就像是让一个学生去读一张用他几乎还不精通的语言编写的地图。他认识那些词汇，但却无法理解其中的方向。

2. “逆向工程”技巧（模型蒸馏）

由于教科书的问题太难了，研究人员尝试了一个聪明的技巧，叫做模型蒸馏（Model Distillation）。他们不再要求 ChatGPT 去解决“别人”提出的问题，而是要求它编写自己的问题。

逻辑： 他们的想法是：“如果 ChatGPT 能写出一个好的问题，那么它很可能知道那个特定类型问题的答案，因为它从自己的训练数据中‘学习’了它。”
过程： 他们要求 ChatGPT 生成 50 个静力学题目。他们注意到这个“学生”总是反复编写同样的简单、2D（平面）问题。因此，他们挑选了 ChatGPT 似乎理解得最好的 25 个独特的题目。

3. 三个层级的测试

研究人员利用这 25 个问题创建了三场不同的“考试”，以观察这个学生的思维方式：

考试 A（纯文本）： 他们要求 ChatGPT 仅使用文字来解决它自己编写的问题。
- 结果： 满分（100%）。 这个学生知道答案，因为问题就是它自己写的！
考试 B（带图片）： 他们针对这些纯文本问题绘制了简单的示意图。
- 结果： 分数降至 68%。 这个“学生”虽然还能读懂文字，但图片干扰了它。它难以将绘图与数学逻辑联系起来。
考试 C（“新数字”测试）： 他们使用了考试 B 中的图表，但更改了所有的数字（例如，将一个力从 10 磅改为 15 磅）。
- 结果： 分数降至 60%。 这证明该学生并不是在死记硬背答案。它是在尝试重新解决问题，但在中间的过程中不断出错。

4. 他们学到了什么？

研究人员将 ChatGPT 与另一个 AI 学生“Gemini”进行了对比。

重大发现： 问题不在于 AI 看不到图片，而在于它无法进行步骤化思考。
类比： 想象一位厨师能完美地阅读食谱（纯文本）。如果你把食材和一道菜的照片递给他（图表），他仍然可以烹饪。但如果你要求他烹饪一顿复杂的、多道菜的盛宴，且要求他在中途调整食谱（多步骤推理），他就会开始掉落食材或忘记下一步要做什么。
结论： AI 非常擅长简单的、单步的数学运算。但当它必须观察一张图片、提取信息，然后将这些信息用于三四个不同的步骤以得到最终答案时，它就迷失了。它遵循了正确的方法，但往往得到了错误的数字。

总结

论文得出结论：虽然 AI 在阅读和写作方面变得非常出色，但在视觉推理和长且复杂的逻辑链方面仍然显得有些笨拙。它就像一个理论知识完美，但一旦被要求将理论应用于带有变化数字的真实世界图纸时就会不知所措的学生。

注：研究人员仅测试了这些特定的工程问题。他们并未声称这适用于医疗诊断、法律建议或其他领域，也没有提出未来如何改进 AI 的建议。他们只是报告了 AI 在这组特定的工程谜题中的表现。

技术摘要：调查大语言模型（LLM）的问题解决能力——关于静力学问题的研究

问题陈述
大语言模型（LLM）已迅速影响教育领域，展现出完成各类学科作业和考试的能力。然而，现有的关于其对教育影响的研究通常依赖于公开或开放的问题数据集，且缺乏针对特定主题的分析，尤其是在机械工程领域。目前对于 LLM 在特定问题类型（如静力学）上的表现情况，以及其能力是否已进化到足以支撑更新教育评估的程度，仍缺乏系统的调查。传统的评估方法（即直接使用教科书中的问题向 LLM 进行提问）已显示出局限性，特别是在处理三维问题和图表解析方面。

研究方法
为了填补这些空白，作者采用了受模型蒸馏启发的方法，而非传统的直接测试。研究通过以下阶段进行：

初步评估与转向： 使用来自“McGraw Hill Connect”教科书问题的初步测试显示，LLM（特别是 ChatGPT）在处理三维静力学问题时表现出显著困难，经常在坐标轴之间错误分配向量分量。此外，当被提示生成静力学问题时，模型生成的题目具有重复性，且大多是二维且简单的题目。
通过蒸馏构建数据集： 意识到 LLM 在与其内部训练分布一致的问题上表现更好，研究人员提示 ChatGPT 生成了一套大规模的静力学问题集。通过一个生成与比较的迭代过程，研究人员过滤掉了重复的实例，最终创建了一个包含 25 个独特的二维静力学问题的纯文本数据集。这些问题按难度进行了分类：
- 概念类（简单）： 8 道题目，测试定义和定性推理。
- 直接计算类（中等）： 7 道题目，要求应用公式。
- 多步应用类（困难）： 10 道题目，要求多步推理和策略性设置。
数据集扩展： 为了评估视觉推理和泛化能力，研究人员基于纯文本集构建了两个额外的数据集：
- 基于图表的数据集： 将文本描述通过 Notability 应用手动转换为清晰的二维图表。
- 数值变更的图表数据集： 对前一组中的图表进行了修改，更改了力、力矩和距离的数值，以测试模型是在回忆解法还是在进行真正的推理。
评估： 对模型（ChatGPT-5 和 Gemini）在所有三个数据集上进行了测试。性能通过准确率（ $A = N_c / 25$ ）来衡量，其中 $N_c$ 定义为正确解答的问题数量。

核心贡献

创新的评估框架： 本研究引入了从模型蒸馏视角评估 LLM 在工程教育中表现的方法。研究并非测试模型在可能缺乏接触的外部基准测试中的表现，而是评估它们在可能生成过或在训练期间遇到过的题目上的表现，从而提供对其内部推理能力的更清晰观察。
细粒度的性能分析： 研究不仅通过总分，还通过问题类型（概念类、计算类、多步类）和输入模态（文本、图表、数值变更图表）对 LLM 的表现进行了剖析。
识别推理瓶颈： 研究隔离了特定的失败模式，区分了图像识别限制与多步推理缺陷。

结果
实验结果强调，随着问题复杂度和模态的变化，性能出现了显著下降：

纯文本数据集： ChatGPT-5 达到了 100% 的准确率，而 Gemini 达到了 60%。值得注意的是，Gemini 未能解决任何多步应用类问题（准确率为 0%）。
基于图表的数据集： ChatGPT-5 的准确率降至 68%。虽然它在概念类问题上保持了 100% 的准确率，但在直接计算类问题上降至 71.43%，在多步应用类问题上降至 40%。
数值变更的图表数据集： ChatGPT-5 达到了 60% 的准确率。其在多步应用类问题上的表现略有提升至 60%，但直接计算类问题的表现降至 42.8%。
误差分析： 在所有测试中，两种模型均能始终遵循正确的解题程序和方法。然而，错误频繁发生在最后的数值计算环节，或是在连续推理阶段中无法一致地应用提取出的视觉信息。

意义与主张
论文声称，从纯文本转向基于图表及多步问题的性能下降，并非主要由图像识别能力的局限引起。相反，作者得出结论，性能下降源于多步推理的困难，以及无法在整个解题过程中一致地应用提取出的视觉信息。

研究表明，虽然 LLM 在结构化的文本类静力学问题上可以接近专家水平，但在处理需要严密逻辑一致性的复杂多步工程任务时，仍然不可靠。作者认为，这一见解对于教育工作者和课程设计者调整教学策略和评估方式至关重要，以确保其促进概念理解和高阶思维，同时减轻对 AI 工具的不当依赖。该研究承认了其局限性，包括使用模型生成的题目进行评估可能存在的偏差，以及数据集规模较小（25 个问题），但断言其发现为理解当前 LLM 在机械工程教育中的能力提供了必要的基准。

1. “复制粘贴”问题

2. “逆向工程”技巧（模型蒸馏）

3. 三个层级的测试

4. 他们学到了什么？

总结

类似论文