技术摘要：VEHBench

问题陈述

设计用于无电池物联网（IoT）设备的振动能量收集器（VEH）涉及紧密耦合的机械-电气相互作用以及严格的物理约束（例如，振动频谱、功率目标、尺寸限制、材料属性和安全裕度）。虽然大语言模型（LLM）越来越多地被用作工程工作流的接口——负责转换需求、审查反馈并提出设计修改建议——但现有的工程基准测试主要评估最终产物的有效性。这些端到端的评估无法揭示 LLM 在不同的耦合物理设计工作流阶段中的表现。具体而言，目前的基准测试无法诊断模型是否能正确处理不完整的简报、在物理反馈后进行有界编辑、从损坏的设计轨迹中恢复，或遵循明确的选择策略。这种缺乏阶段局部诊断性的问题，使得难以识别特定的工作流故障（例如，入口控制错误 vs. 搜索失败），并阻碍了针对特定工程角色进行模型选择或路由的过程。

方法论

作者引入了 VEHBench，这是一个工程原生诊断基准，旨在通过基于阶段局部、由验证器驱动的任务来评估 LLM 辅助的 VEH 协同设计。

基准构建

• 领域： 该基准专注于早期阶段的悬臂梁压电 VEH 协同设计，这是一个涉及结构动力学、智能材料和电路设计的紧凑且高度耦合的领域。
• 数据来源： 任务源自对 209 篇论文的文献审计，由此产生了 52 个经过清洗的“设计锚点”（具有变量、边界和约束条件的归一化物理状态）。
• 验证： 基于闭式欧拉-伯努利梁理论（Euler–Bernoulli beam theory）和机电耦合方程的解析物理预言机（Oracle）负责计算可行性和目标质量。评分过程不使用人工标签或“LLM 作为评判者（LLM-as-a-judge）”。
• 任务分解： 工作流被分解为四个不同的设计角色（探针），每个角色都有特定的信任状态、允许的操作和失败后果：
  1. P1（规范分选/Triage）： 模型接收设计简报（完整、缺失或不可行），必须决定是提出方案、弃权还是请求缺失信息。
  2. P2（验证器引导搜索）： 给定种子设计和预言机反馈，模型执行有界编辑以改进候选方案。
  3. P3（损坏状态恢复）： 模型暴露在损坏或误导性的设计轨迹中，必须进行重置、重新锚定或稳定以脱离陷阱。
  4. P4（策略约束选择）： 给定一组可行候选方案，模型根据明确的工程策略（例如，优先考虑功率 vs. 可靠性）进行排序或选择。

评估框架

• 模型： 对 12 个完整模型运行（包括 Qwen, Gemini, DeepSeek, GPT, Hunyuan 等）在所有 763 个任务上进行了评估。
• 指标：
  • 核心指标： P1-综合得分（加权认证得分）、P2 最终可行功率比、P3-成功率（恢复后的最终可行性）以及 P4 Kendall $\tau_b$（排序一致性）。
  • 诊断剖面： 从日志中提取响应控制剖面（动作纪律、编辑风格、反馈调节、状态重置努力、策略执行）以映射故障与行为信号之间的关系。
  • 错误族： 计算非排他性的错误率（例如，过度行动、不可行闭合、逃逸后失败、策略失配）以识别特定的故障模式。

核心贡献

1. 基准框架 (VEHBench)： 首个用于评估 LLM 辅助 VEH 设计的诊断性基准，它超越了最终产物的有效性，转而评估阶段局部的设计行为。它结合了基于文献的任务构建、外部解析验证和特定阶段的评估。
2. 实证发现与解释： 作者系统地评估了当前的 LLM，并发现其能力具有强烈的阶段依赖性。没有单一的模型能在整个工作流中占据主导地位。他们引入了一个将实证结果与可解释的行为特征（如动作纪律、有界编辑、状态恢复）联系起来的框架。
3. 阶段感知引导： 论文展示了阶段局部结果如何为实际工程应用提供指导，包括模型选择、路由和适配。它识别了特定的能力差距（如规范分选、损坏状态恢复），为未来的工程智能体指明了方向。

实验结果

• 阶段依赖型排名： 没有模型在整个工作流中领先。
  • P1 (分选)： qwen3-max 表现最好，因为它在平衡动作纪律（抑制不安全的输入和对缺失信息的遗漏）方面做得更好。
  • P2 (搜索)： gemini-3.1-pro-preview 领先，归功于其高可行闭合度和有效的功率比。
  • P3 (恢复)： hunyuan-hy3-preview 在从损坏状态中逃逸并实现稳定方面表现出色。
  • P4 (选择)： gpt-5.4 实现了最高的策略执行力和排序一致性。
• 故障模式：
  • P1： 主要错误是“过度行动”（在简报不可行时仍提出方案）和“信息缺失遗漏”，而非过度拒绝。
  • P2： 大多数模型可以遵循输出协议，但在关闭物理搜索循环（不可行闭合）或面临效用损失方面表现不佳。
  • P3： 主要瓶颈不是逃离陷阱，而是逃离后的稳定（逃逸后失败）。
  • P4： 故障主要是“策略失配”（未能执行既定的工程优先级），而非解析错误或不可行的候选方案选择。
• 干预与路由：
  • 状态接口： 用验证器编写的状态摘要替换原始损坏的历史记录，使 P3 恢复率从 50.0% 提升至 63.2%（平均值），并减少了级联失败。
  • 路由： 阶段感知路由器（为不同阶段选择不同模型）将平均归一化留出得分从 0.892（最佳单一模型回退值）提高到了 0.945，这主要是通过切换 P3 专家模型实现的。

意义与主张

本文主张 LLM 在工程设计中的能力是依赖于角色的，聚合排名不如阶段兼容性信息量大。VEHBench 为评估、选择、路由和改进基于验证器的工程 LLM 提供了基础，通过暴露其在工作流中行为失效的具体环节。

作者强调，VEHBench 并非有限元分析（FEM）模拟、制造评审或硬件认证的替代品。相反，它作为一个诊断层，用于确定 LLM 在每个设计阶段是否能恰当地利用物理有效性信号。该基准的范围限定在解析可验证的悬臂梁 VEH 协同设计，作者指出，同样的架构可以实例化到更丰富的模拟器和其他耦合领域中。这项工作认为，对于工程应用，重点应从“自主硬件设计”转向“阶段局部辅助”，即根据模型在设计工作流中的特定行为剖面来进行选择和路由。