🤖 AI

CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation

本文介绍了 CAX-Agent，这是一种轻量级框架，旨在通过实施带有恢复梯度的多层架构来提升 APDL 自动化的可靠性，并通过实证基准测试证明，模型驱动的再生在任务完成率和干预减少方面显著优于基于规则或无恢复的策略。

原作者： Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但略显冲动的建筑师（即人工智能）如何依据一本非常严格、老派的施工手册（名为 MAPDL 的软件）来建造一座桥梁。这位建筑师擅长绘制蓝图，但如果手册显示“错误：梁太细”，建筑师可能会感到困惑，尝试绘制一张犯同样错误的新蓝图，或者干脆彻底放弃。

本文介绍了CAX-Agent，一位设计用于坐在建筑师与手册之间的“施工现场经理”，以确保桥梁能够真正建成。

以下是其工作原理及研究人员发现的详细拆解，采用简单的类比说明：

1. 问题：“一次性完成”的陷阱

通常，当你要求人工智能编写仿真代码时，它只会尝试一次。如果计算机显示“错误”，人工智能往往会惊慌失措或停止运行。整个项目因此失败。

论文观点： 如果没有经理来捕捉错误，单个错误就会阻断整个流程。

2. 解决方案：“代理 harness"（现场经理）

作者没有让人工智能肆意妄为，而是构建了一个Harness（代理框架）。你可以将其想象为一位严格的现场经理，他：

监视人工智能： 观察人工智能编写的内容。
检查手册： 运行代码并读取错误信息。
决定下一步行动： 如果出现错误，经理决定是应用一条快速规则来修复，还是要求人工智能再次尝试。

该系统由三层构成：

人工智能（建筑师）： 编写代码。
Harness（经理）： 组织工作、检查错误并管理重试。
求解器（施工队）： 实际构建仿真。

3. “恢复阶梯”（他们如何修复错误）

当施工队遇到阻碍时，经理拥有一套从易到难的“阶梯”式修复方法：

第一级（规则）： “哦，网格太大了？让我们自动把数字调小。”（就像一张预先写好的作弊小抄）。
第二级（模型）： “错误日志显示梁有问题。人工智能，阅读这个错误并自己重写蓝图。”
第三级（上下文）： “让我们给人工智能提供更多关于问题的细节。”
第四级（人类）： “好吧，我们卡住了。叫一位人类工程师来。”

4. 实验：三支队伍之间的竞赛

研究人员在 50 个简单的桥梁构建任务（梁、板和圆柱体）上测试了三种不同的错误处理方式。为了确保结果可靠，每项任务都运行了三次。

A 队（无恢复）： 人工智能尝试一次。如果失败，立即停止。
- 结果： 就像司机遇到坑洼就立刻停车。他们经常失败。
B 队（仅规则）： 人工智能尝试一次。如果失败，经理应用一条严格的、预先写好的规则来修复（例如：“如果错误 X，则执行 Y"）。
- 结果： 比 A 队好，但规则过于僵化。有时那张“作弊小抄”并不适用于具体问题。
C 队（仅模型）： 人工智能尝试一次。如果失败，经理强制人工智能阅读错误信息并自己重写代码，最多重试三次。
- 结果： 这支队伍以压倒性优势获胜。人工智能足够聪明，能够理解为什么失败并富有创造性地修复它。

5. 结果：为什么“仅模型”获胜

研究人员让两名人类评审员查看最终的蓝图（盲测，即他们不知道是由哪支队伍生成的）并进行评分。

成功率： C 队（仅模型）的成功率为93%。B 队（规则）的成功率为77%，而 A 队（无恢复）仅为69%。
自主性： C 队在**84%的情况下无需人类介入就完成了任务。而当 B 队和 A 队失败时，它们100%**需要人类帮助。
“人类”因素： “仅规则”队伍实际上需要人类确认修复方案后才能再次尝试，这就是他们的“零干预”得分为 0 的原因。而由人工智能驱动的队伍能够自行修复问题。

6. 局限性（不足之处）

作者诚实地指出了他们研究的局限性：

简单任务： 他们仅测试了简单、直截了当的结构（如直梁）。他们没有测试复杂、扭曲或“混乱”的现实世界工程问题。
特定工具： 他们仅使用了一款特定软件（MAPDL）和一个特定的人工智能模型。
“薄壁”问题： 即使是获胜队伍，在处理非常薄、精细且难以划分网格的部件（如极薄的金属板）时也遇到了困难。人工智能有时无法弄清楚如何为这些特定形状构建网格。

结论

这篇论文证明，如果你希望人工智能自动化工程仿真，你不能只是让它编写代码并寄希望于好运。你需要一位经理（Harness），迫使人工智能阅读自己的错误并再次尝试。

虽然简单的“作弊小抄”（规则）有所帮助，但让人工智能思考自己的错误并重新制定计划，是构建一个可靠系统的唯一途径，该系统无需在每次人工智能跌倒时都需要人类手把手地扶持。

技术摘要：用于可靠 APDL 自动化的 CAX-Agent

问题陈述

部署用于机械分析与设计（MAPDL）有限元仿真的大语言模型（LLM）面临显著的可信度挑战。虽然 LLM 能够生成代码，但它们通常缺乏工程工作流所需的结构化执行控制、工具封装和故障恢复机制。在仿真流程中，即使是结构简单的任务，运行时错误（如网格划分失败、收敛问题或缺失结果）也屡见不鲜。若缺乏明确的恢复机制，单次失败就会导致整个流程终止。现有的智能体框架通常期望 LLM 自行管理其执行，这无法为稳健、可重复的自动化提供必要的工程骨架。目前缺乏在重复条件下、经人工验证结果后，对不同恢复策略（例如基于规则与基于模型）进行受控比较的经验证据。

方法论

系统架构：CAX-Agent

本文介绍了CAX-Agent，这是一种轻量级、领域原生的智能体框架，专为 APDL 自动化设计，而非对通用框架的适配。该架构分为三层：

LLM 服务层：包含一个本地轻量级模型（Qwen-27B）用于快速首先生成，以及一个外部高能力 API（Claude Sonnet 4.6）用于复杂推理和修复。
智能体框架（编排器）：该中间件管理工具生命周期、工作流状态和故障诊断。关键在于，是编排器而非 LLM 拥有重试预算、工具分发和停止条件。它实施了一个恢复阶梯，从确定性规则修补升级至模型驱动的重新生成、上下文丰富化，最终升级至人工干预。
求解器后端：一个统一接口，连接至 MAPDL 引擎（PyMAPDL、CLI 或回退模式）。

实验设计

本研究在50 个标准结构任务（静力、模态和热载荷下的梁、板和圆柱体）的基准测试上评估了三种不同的恢复策略。这些任务被刻意设计得简单，以隔离恢复策略的影响，而非任务难度。

无恢复：单次执行，无修复尝试。
仅规则：确定性、基于日志的修补，使用四种字符串转换规则（例如，针对网格失败加倍单元尺寸，针对收敛问题插入时间步），无需额外的模型推理。
仅模型：基于错误日志条件的模型重新生成，带有有界重试（最多 3 轮强制重试），其中 LLM 读取错误日志、诊断失败原因并重新生成脚本。

评估指标

总共 450 次案例运行（50 个任务 × 3 种策略 × 3 次重复）使用以下指标进行评估：

任务评分（ $t_i$ ）：人工评估的输出图像正确性和完整性评分（0–4 分）。
自主性评分（ $a_i$ ）：系统根据是否需要人工干预得出的评分（0–3 分）。
恢复效率评分（ $e_i$ ）：基于重试次数和求解器结果。
总分（ $q_i$ ）：上述各项之和（ $t_i + a_i + e_i$ ），范围为 0 到 10。
完成率：二元指标，指示是否至少生成了一个后处理图像。
统计分析：使用 Cliff's $\delta$ （效应量）和 Mann–Whitney U 检验进行成对比较，评分者间一致性通过二次加权 Cohen's $\kappa$ （0.84）进行衡量。

主要贡献

CAX-Agent 架构：一种三层、MAPDL 原生的智能体框架，具有恢复阶梯和以编排器为中心的控制模型，将语义修复（LLM）与执行控制（框架）分离。
受控经验评估：在 50 个标准化 APDL 任务上，对三种恢复策略进行了严格的重复运行比较，采用盲评人工打分和评分者间验证。
经验证据：证明了模型驱动的恢复在完成率、输出质量和自主性方面显著优于基于规则的修复和无恢复基线。

结果

仅模型策略在所有指标上的表现均优于仅规则和无恢复：

完成率：仅模型（0.9267）显著优于仅规则（0.7733）和无恢复（0.6933）。仅模型的 95% 置信区间与基线无重叠。
任务质量：仅模型的平均任务得分为3.59/4，而仅规则为 3.17/4，无恢复为 2.74/4。
总分：仅模型得分为9.16/10，显著高于仅规则（7.03/10）和无恢复（5.60/10）。
零干预率：仅模型达到0.84，而仅规则为0.00。论文指出，仅规则的零分反映了其设计要求在重新执行前必须有人工确认步骤，从而阻碍了完全自主的运行。
效应量：在仅模型与其他策略之间观察到了较大的效应量（Cliff's $\delta$ = 0.81–0.87），表明随机选择的仅模型运行优于仅规则运行的概率很高。

失败分析：残余失败集中在静力结构设置中，特别是涉及薄壁或对网格敏感几何特征的情况。确定性规则被证明不足以应对长尾求解器和脚本路径失败，而模型驱动的修复则能适应更广泛的失败特征。

意义与主张

论文主张，CAX-Agent证明了一种轻量级、领域原生的框架可以将 MAPDL 仿真从分散、不可靠的 LLM 调用转变为标准化、可追溯且可重复的工程工作流。

主要发现包括：

恢复的必要性：明确的恢复机制是系统可靠性的核心；若无这些机制，单次失败将终止流程。
模型驱动修复的优越性：虽然确定性规则相比无恢复提供了一些改进，但它们无法可靠地提高输出质量或实现完全自主。模型驱动的恢复是当前 CAX 部署中最实用的默认策略。
以编排器为中心的控制：将 LLM 的推理与框架的执行控制（重试预算、停止条件）分离，提供了单纯提示无法匹敌的行为保证。
方法论贡献：本研究提供了一个可复现的经验框架评估模板（受控消融、重复运行、多轴评分），可应用于其他框架组件和仿真后端。

作者对研究范围保持了谦逊，指出基准测试使用了简单的几何形状和线性弹性。他们表示，在复杂的工业环境中进行实际部署之前，需要在更大、更多样化的基准测试以及跨多个求解器后端上进行验证。然而，核心发现——即在受控条件下，模型驱动的恢复优于基于规则和无恢复的方法——被呈现为稳健且具有统计学显著性。