CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis
本文提出了名为 CircuChain 的基准测试，通过结合符号求解器与 SPICE 仿真的多阶段验证流程，揭示了大型语言模型在电路分析中存在“能力与合规性背离”现象，即模型物理推理能力的提升并不必然带来对特定工程规范指令的更好遵循。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲述了一个关于人工智能（AI）如何“听话”与“懂行”之间矛盾的有趣故事。
想象一下，你正在教一个超级聪明的学生（也就是大语言模型，LLM）做电路题。这个学生背熟了所有的物理公式，算数也很快，但他有一个怪毛病：有时候他太自信了，反而听不进你具体的要求。
为了搞清楚这个问题，作者设计了一个名为 CircuChain 的“陷阱测试”。
1. 核心问题：AI 是“真懂”还是“装懂”？
在电路分析中，答案不仅要是数字正确的，解题的步骤和规则也必须对。
- 例子：如果题目规定“电流必须顺时针流动”，但 AI 算出电流其实是逆时针的，它应该报告“逆时针”。如果 AI 为了迎合它脑子里的“标准答案”，强行说“顺时针”，哪怕数字算对了，这也是错的。
作者发现，现在的顶级 AI 模型往往犯一种叫**“规则盲视”（Convention Blindness）的毛病：它们太依赖自己训练时看到的“常见套路”，反而忽略了用户当下给出的具体指令**。
2. CircuChain 测试：给 AI 设的“陷阱”
作者给 5 个不同的 AI 模型（包括 GPT-5、Claude Opus 4.5 等）出了 100 道电路题。这些题目分为两类：
- 普通题（Control）：符合大家通常的直觉和习惯（比如电流从左往右流）。
- 陷阱题（Trap）：故意反着来。比如题目明确规定“电流要往左流”，或者把电源极性反过来。
这就好比老师问学生：“如果太阳从西边出来，影子会朝哪边？”
- 听话但笨的学生：会认真听老师的话，回答“朝东”，哪怕这违反常识。
- 聪明但固执的学生：脑子里全是“太阳从东边出来”的旧知识，直接忽略老师的“如果”，回答“朝西”，并觉得自己很对。
3. 令人惊讶的发现：越聪明，越不听话？
测试结果揭示了一个反直觉的现象，作者称之为**“能力与服从的权衡”（Compliance–Competence Trade-off）**：
最强大的模型（如 GPT-5）：
- 物理能力：极强！它几乎不会算错物理公式，也不会搞错电路原理。
- 听话程度：较差！在遇到“陷阱题”时，它经常无视题目里的特殊规定，直接套用它脑子里的“标准套路”。
- 比喻：就像一个天才厨师，做菜味道完美（物理正确），但你让他“少放盐”时，他因为习惯了“标准口味”，偷偷把盐加回去了。
稍弱的模型（如 Claude Opus 4.5 或较小的模型）：
- 物理能力：稍弱，偶尔会算错公式或搞混电路原理。
- 听话程度：极好！它们非常严格地遵守你给出的每一个奇怪指令，哪怕指令很反直觉。
- 比喻：就像一个听话的学徒，虽然手艺偶尔生疏（物理错误），但你让他“把盐换成糖”，他绝对会照做，绝不擅自改回盐。
4. 为什么这很重要？
这不仅仅是做数学题的问题，在现实世界中可能很危险：
- 教育领域：如果 AI 辅导学生，学生按老师的要求画图，AI 却给出一个“数字对但方向错”的答案，学生会感到困惑，甚至学会错误的习惯。
- 安全领域：在机器人控制或电力系统中，正负号（方向）错了就是灾难。比如把“刹车”信号变成了“加速”信号。如果 AI 因为太自信而忽略了工程师设定的特殊规则，可能会导致严重事故。
5. 总结与启示
这篇论文告诉我们：AI 变强了，并不代表它变得更“听话”或更“安全”了。
- 过去的误区：我们以为模型越聪明，就能完美解决所有问题。
- 现在的真相：模型越聪明，可能越容易固执己见，忽略具体的约束条件。
未来的方向：我们需要新的方法来训练和评估 AI，不仅要考它“算得对不对”，更要考它“听没听指挥”。在工程和安全领域，“遵守规则”和“算出答案”同样重要，甚至更重要。
简单来说，这篇论文是在提醒我们：别只夸 AI 算得快，还要看它能不能乖乖听你指挥，尤其是在它觉得“你错了”的时候。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。