Evaluating Large Language Models for Detecting Architectural Decision Violations
本研究通过对109个开源仓库的980份架构决策记录（ADRs）进行多模型评估，发现大语言模型在检测与代码相关的显式架构决策违规方面表现出较高的准确性，但在处理依赖部署配置或组织知识的隐式决策时仍存在局限，因此目前仅能作为辅助手段而非完全取代人工专家。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于“如何利用人工智能（AI）来检查软件设计是否‘走样’”的研究论文。为了让你轻松理解，我们可以把写软件的过程想象成**“盖大楼”**。
1. 背景：大楼的“设计蓝图”与“施工违规”
想象一下，你正在建造一座摩天大楼。在开工前，建筑师会写下一份**《建筑决策记录》（ADR）**。这份记录就像是“施工手册”，上面写着：“为了防震，所有的承重柱必须用这种特种钢材”或者“为了美观，所有的窗户必须是对称的”。
随着大楼越盖越高，施工队可能会因为偷懒、粗心或者临时改主意，偷偷把钢材换成了普通的，或者把窗户装歪了。这些行为就叫**“架构决策违规”**。如果这些违规行为没人发现，大楼迟早会出问题，甚至倒塌。
问题在于： 现在的软件项目非常庞大，靠人工去检查每一行代码是否符合当初的“设计手册”简直是天方夜谭，太累也太容易出错。
2. 实验：请 AI 当“监工”
研究人员想：既然现在的 AI（比如 ChatGPT 这种大语言模型）很聪明，能不能让它们来当这个**“智能监工”**？
他们设计了一个“监工小组”：
- 主监工 (LRM)： 负责盯着施工现场（代码），对照手册（ADR），然后大喊：“这块砖头不对！”或者“这块砖头没问题！”
- 三位副监工 (Validators)： 专门负责听主监工的理由。如果主监工说错了，副监工要出来纠正。
他们一共检查了 109 个开源项目，涉及近千条“设计决策”。
3. 结果：AI 监工的表现如何？
✅ 它的强项：眼尖的“细节控”
当设计手册写得很明确，比如“所有函数名必须用小写”时，AI 表现得极其出色，准确率超过了 90%。它就像一个拿着放大镜的老师傅，一眼就能看出代码里有没有违反那些“看得见”的规矩。
❌ 它的弱点：理解不了“潜规则”和“环境题”
AI 也有掉链子的时候，主要集中在以下三个方面：
- “看不见的装修” (基础设施与部署)：
如果手册说：“大楼的电路要符合某种特定的工业标准”，但这些电路是藏在墙壁深处的复杂系统里，AI 只能看到表面的墙皮（代码），看不见里面的线路，就会一脸懵逼。 - “玄学的设计理念” (原则驱动型决策)：
如果手册写得太抽象，比如：“设计要追求优雅和简洁”。AI 会很困惑：“什么是优雅？什么是简洁？这太主观了！”它无法理解这种没有硬性指标的“感觉”。 - “没给全的线索” (信息不足)：
有时候，手册里说的是关于“公司预算”或者“团队协作流程”的事。AI 盯着代码看半天，发现代码里根本没写这些，它就会陷入纠结，不知道该说“没违规”还是“没证据”。
4. 总结：AI 是“助手”，不是“总工程师”
这篇论文给出的结论非常务实：
AI 监工是一个非常棒的“初级助理”。 它能帮你处理那些枯燥、重复、规则明确的检查工作，帮你过滤掉 90% 的低级错误。
但是，它还不能取代“总工程师”（人类专家）。 对于那些涉及复杂逻辑、深层环境、或者需要“艺术直觉”的架构决策，人类的经验和判断力依然是不可替代的。
一句话总结：
AI 可以帮你盯着砖头有没有放歪，但它还看不懂整座大楼的设计灵魂。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。