技术摘要：EngTrace —— 用于工程推理可验证过程监督的符号基准测试

1. 问题陈述

大型语言模型（LLM）正越来越多地被部署在受严格定量标准和不变物理定律约束的安全关键型工程工作流中。然而，针对该领域进行严谨的推理能力评估仍然难以实现。现有的基准测试（如 MMLU、MATH 和 HumanEval）主要评估孤立的认知技能（事实召回、抽象逻辑或算法转换），并依赖于结果匹配。这些方法无法捕捉到工程领域核心的物理落地且综合性的推理能力，即科学原理、定量建模与实际约束必须高度融合。此外，静态基准测试面临模型饱和和数据污染的问题，而学科碎片化则阻碍了对整体工程问题解决能力的评估。因此，迫切需要一种能够强制执行可验证过程监督的基准测试，以确保中间推理步骤与最终答案具有同等的重要性。

2. 方法论

2.1 EngTrace 设计与分类法

EngTrace 是一个符号基准测试，旨在生成具有唯一性、抗污染性的问题实例，并配以金标准（gold-standard）推理轨迹。

• 范围： 该基准测试涵盖三大主要工程分支（化学、电气、机械）、九个核心领域及 20 个细分领域。
• 生成机制： 它利用由领域专家编写、基于权威教科书（如 Fogler, Ulaby & Ravaioli）和手册的 90 个参数化 Python 模板。
• 参数化： 不同于简单的变量替换，这些模板采用了领域感知的参数采样。这改变了物理机制、控制方程和推理路径，同时通过源自权威数据源（如 NIST、IEEE 标准）的约束条件确保物理上的合理性。
• 输出： 该流水线生成了 1,350 个唯一的测试用例（每个模板 15 个实例），并提供序列化的自然语言问题和逐步解决方案。

2.2 验证协议

为了将 EngTrace 确立为“金标准”，实施了稳健的两阶段验证流程：

1. 自动化 AI 预筛选： 一个由三个前沿模型（GPT-5、Claude Opus 4.5、Gemini 3）组成的“AI 法庭”根据多维度量表对模板进行评估。模板必须满足共识条件（中位数得分 $\ge$ 4、多数投票安全性以及低歧义方差）方可进入下一阶段。
2. 专家人工认证： 存留的模板经过领域专家的双盲评审。通过使用 Fleis' $\kappa$ 测量二元可采纳性的专家间一致性，以及使用 Gwet's AC2 测量定序质量评分，从而在存在分数集中的情况下确保高可靠性。

2.3 评估框架

EngTrace 引入了一个两阶段评估框架，旨在超越最终答案的准确性，转而验证中间推理轨迹：

• 最终答案准确率 (FAC)： 衡量严格的数值正确性，允许 2% 的相对误差容限。
• 分层推理验证：
  • 第一层（自动化符号验证）： 检查语法和数值精度。若对齐度高，则接受该链条。
  • 第二层（多模型启发式评估）： 被升级的链条由“AI 法庭”进行评估，以识别有效的替代推导过程或对差异进行分类（例如：计算错误 vs. 概念错误）。
• 指标： 该框架使用匈牙利算法（Hungarian matching）将预测步骤与地面真值（ground truth）进行对齐，从而计算恢复推理 F1 分数 ($F1_{rec}$)，以捕捉超越字符串匹配的结构保真度。

3. 核心贡献

1. EngTrace 基准测试： 一个包含 1,350 个抗污染测试用例的符号基准测试，横跨三个工程分支，专为可验证的过程监督而设计。
2. 评估框架： 一种结合了自动化符号验证与异构 AI 法庭的新型两阶段协议，用于评估推理过程质量，其与专家的对齐度（$\rho = 0.632$）显著高于标准 NLP 指标（$\rho = 0.325$）。
3. 全面评估与错误分类学： 对 27 种领先的 LLM（包括前沿模型、开源权重模型及数学增强模型）进行了评估，并对 2,200 个标注的失败轨迹引入了六类错误分类学。

4. 实验结果

4.1 模型性能

• 前沿模型 vs. 开源权重模型： 前沿私有模型（如 Gemini 3.1 Pro、DeepSeek R1）在最终答案准确率 (FAC) 和推理 F1 分数方面均处于领先地位。开源权重模型表现明显落后，尤其是在高级任务中。
• 数学增强模型的局限性： 与同规模的通用模型相比，专门进行数学训练的 7B 模型表现较差，这表明抽象数学预训练并不能有效迁移到受物理约束的工程推理中。
• 复杂度悬崖 (The Complexity Cliff)： 随着任务难度的增加，可以观察到明显的性能下降。开源权重模型（如 Llama 3.1 70B）表现出剧烈的“复杂度悬崖”现象，准确率从简单任务的 ~52% 骤降至高级任务的 ~23%。前沿模型则保持相对稳定。

4.2 分支与领域分析

• 分支难度： 化学工程始终是最难的分支，其次是电气工程，机械工程相对最容易（通常依赖单公式代入）。
• 领域专业化： 模型的能力呈现“尖峰状”分布；模型在特定子领域（如数字通信）表现出色，但在紧密相关的领域（如电磁学）却表现挣扎，这表明缺乏通用的工程推理能力。

4.3 错误分析

• 失效模式：
  • 前沿模型： 失效主要表现为计算错误（算术执行），其物理推理和控制方程基本正确。
  • 开源权重模型： 随着难度增加，失效转向概念错误（公式/原理、设定/假设）。例如，Llama 3.1 70B 在高级水平下显示出大量的公式/原理错误，表明其失效在于领域知识的崩溃而非仅仅是算术问题。
• 数学增强模型： 这些模型往往在正确执行数学步骤的同时，因选择了错误的物理定律（公式/原理错误）而失败，这证实了仅靠数学预训练不足以应对工程任务。

5. 重要性与主张

本文主张 EngTrace 填补了抽象逻辑演绎与工程所需的综合性、物理落地推理之间的关键空白。其核心意义在于：

• 可验证性： 通过将唯一的题目实例与金标准轨迹配对，它实现了对推理过程而非仅对结果的监督。
• 诊断能力： 该基准测试揭示了当前的 LLM（即使是前沿模型）在处理集成性工程问题时仍存在困难。它识别出了一个“复杂度悬崖”，即抽象预训练无法转化为高级工程能力。
• 安全影响： 研究结果表明，在安全关键型工程工作流中部署 LLM，不仅需要高准确率，更需要可验证的、具备物理落地推理能力的进程，而目前的模型尚未完全具备这种能力。

作者强调，EngTrace 的定位是作为一种侧重于深度、针对可验证过程监督的评估，而非全学科覆盖或生产级智能体工作流，这一设计选择是基于对金标准推理轨迹的需求。未来的工作将转向工具增强型推理和不确定性量化。