Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

在重工业领域，即向砂型中浇注熔融金属以制造大型构件的钢铁铸造业中，完美零件与缺陷零件之间的区别往往取决于肉眼不可见的物理现象。当铸件出现故障时，工程师必须进行根本原因分析——这是一种严谨的调查过程，通过整合来自机器日志、实验室测试以及关于金属如何冷却和凝固的复杂计算机模拟中的线索来还原真相。几十年来，这项工作一直依赖于能够阅读数千页手册并解读数据中微妙模式的人类专家。最近，一种新的工具进入了人们的视野：大语言模型。这些是强大的计算机程序，能够阅读海量文本并以极高的流利度回答问题。然而，它们带有一个显著的缺陷：即使在错误的情况下，也会表现得极其自信。在像钢铁铸造厂这样高风险的环境中，一个自信但错误的答案可能会导致危险的错误或代价高昂的生产损失。因此，挑战不仅在于如何使用这些智能计算机，而在于如何构建一个迫使它们保持诚实、有据可查且可验证的系统。

本文描述了这样一个系统的创建过程，该系统由一名独立研究员为捷克共和国的一家钢铁铸造厂开发。该项目名为 Digital Foundry PRO，其设计初衷并非取代人类工程师，而是作为一个处理历史数据的法医式助手。这项工作的核心发现是：你不能仅仅告诉大语言模型要“小心”或“检查你的事实”。相反，研究人员必须构建一个由数字闸门组成的刚性框架，从物理层面阻止计算机提出未经证实的断言。该系统在一家使用绿砂模生产钢铸件的铸造厂的真实数据上进行了测试。在六个月的时间里，该系统从一个简单的原型演变成了一个能够分析铸件缺陷和设备故障的复杂工具。最重要的发现是，系统寻找问题真因的能力并非来自于给予计算机更多的工具或更多的数据，而是来自于改变给予它的特定指令。通过强制计算机观察缺陷形成的精确时刻和位置，而不是扫描整个模拟过程寻找任何异常情况，系统的准确性得到了显著提升。

开发过程始于对当前技术局限性的深刻认识。在一次早期测试中，一个标准的聊天机器人被问及为什么浇注单元停止了循环。该机器查看了温度数据，假设金属是铝，并宣布超过 1300 摄氏度的记录温度在物理上是不可能的。随后，它建议更换传感器并降低报警设置。这个建议听起来既自信又合理，但完全是错误的，因为该铸造厂浇注的是钢而非铝。这一错误凸显了那种虽然听起来权威但缺乏自我事实核查机制的系统的危险性。为了解决这个问题，研究人员在软件中构建了一系列“闸门”。这些不是给计算机遵循的建议，而是硬编码的规则，如果未满足特定条件，就会停止处理流程。例如，除非通过其库中的文档确认了特定的金属类型，否则系统不会开始分析。如果计算机尝试引用手册中的某一页，软件会检查该页的实际文本，以确保引用的内容逐字逐句完全一致。如果计算机尝试引用模拟图像，软件会验证该图像文件是否真实存在并与描述相符。这些闸门充当了安全网，确保计算机不会捏造事实或凭空臆造证据。

该系统还引入了一种阅读冷却过程计算机模拟的新方法。通常，计算机可能会扫描整个模拟视频，寻找任何异常迹象，例如热点或快速流动的金属。这种方法往往会导致误报，因为高温或高速流动有时是工艺过程中的正常部分。新系统改变了规则：它只在特定缺陷已知发生的精确位置、精确时刻以及高于精确阈值的地方查看模拟数据。例如，如果某种缺陷是发生在铸件芯部附近的收缩缺陷，系统会忽略模具的其他部分，仅专注于金属凝固期间的那个特定区域。这种方法可以防止计算机被无关数据分散注意力。此外，系统对待机械手册的态度极其谨慎。一台设备的说明书通常会描述该机器可能具备的所有功能，而不仅仅是工厂里那台特定机器实际拥有的功能。系统被编程为对有关设备的每一项主张分配一个“信任等级”。只有那些经过实际机器运行数据验证的主张才被允许用于正式程序。仅基于手册的主张会被标记为未经证实，从而防止系统推荐该特定机器无法执行的操作。

最重大的突破出现在研究人员测试如何让系统进行更深层次思考时。最初，计算机可以读取数据并生成报告，但报告内容很浅显，且经常遗漏实际问题。研究人员尝试增加更多工具和更多数据，但结果并未改善。随后，他们改变了任务本身。他们给了计算机五条具体的指令，即“指令集（mandates）”，迫使它以不同的方式看待问题。这些指令告诉计算机去检查铸件芯部周围的区域，将中心热点与周围区域分离，并积极尝试推翻简单的解释。通过这些新指令，在没有增加任何新工具的情况下，系统的性能发生了蜕变。在针对特定钢铸件的一系列测试中，系统正确识别实际缺陷位置的次数从零跃升至同一份报告中的三到十六次。计算机开始发现真正的难题——即环绕芯部的一种细微孔隙缺陷，而不是教科书式的显而易见的大型收缩孔。这证明了分析的深度取决于问题的质量，而非数据的数量。需要注意的是，用于测试该系统性能的参考分析并非来自独立的专家报告，而是由大语言模型在作者指导下编写的。

在整个项目中，研究人员也记录了哪些尝试是失败的，这与成功同样重要。他们构建了一个“数字孪生”模型，即整个生产线的虚拟模型，旨在实时预测故障。然而，他们发现喂给这个模型的数据存在缺陷。该系统使用的限制值和数值是猜测出来的，或者是从另一台机器上抄来的，导致它几乎将每一项测量都标记为错误。研究人员意识到，系统并不是在寻找工厂的故障，而是在寻找其自身对工厂理解的故障。他们果断拆除了这个数字孪生模型，移除了界面和机器模型，因为该模型尚未准备好投入现实世界。他们还发现，温度升高与气体缺陷增多之间的统计联系实际上是由一个错误的传感器读数造成的幻觉。当他们检查数据源时，发现温度读数并不可靠，因此撤回了该发现。这种拆除自己的工作并承认结果错误的意愿，成为了系统可靠性的核心部分。

最终的结果是基于简单而强大原则运行的系统：计算机提议，人类签字。该系统被设计为离线运行，分析已经从工厂导出的历史数据。它不连接到机器的实时控制系统，也不自主做出决策。相反，它扮演着一个高度自律的助手角色，收集证据，根据严格规则核实自身事实，并将报告呈交给人类工程师。人类随后审查发现结果，验证证据，并对最终决策负责。研究人员发现，该系统可以识别慢性故障（例如导致停机数月的浇注单元轴线失准问题），并能区分真实的缺陷与数据错误。然而，他们也指出该系统并不完美。它在量化某些缺陷的确切严重程度方面仍有困难，并且高度依赖于所给数据的质量。如果数据缺失或错误，系统无法自行修复。

论文最后对这项技术在工业领域的未来提出了明确建议。研究人员认为，这类系统所能达到的最高自主水平应该是“准备级（preparatory level）”。在此级别下，系统可以准备一个数值或建议，将其与安全限制进行比对，并在采取任何行动前等待人类确认。他们明确反对允许此类系统直接向工厂的控制系统写入数据，即使该系统已通过充分验证。最终产品的责任属于人类工程师，而这一责任绝不应移交给软件。该项目表明，虽然大语言模型是处理信息的强大工具，但必须将其包裹在确定性的、由代码强制执行的规则层之中，才能在关键工业环境中发挥作用。该系统的成功不在于让计算机变得更聪明，而在于让围绕它的规则变得更严格。通过迫使计算机证明其主张、在正确的时间关注正确的地点，并在测试中通过改进指令实现了约五倍的检索性能提升，研究人员创造了一个能够真正协助专家解决复杂钢铁铸造问题的工具。这项工作为如何在现实世界的 AI 系统建设中提供实践指南——在现实世界中，错误的代价不仅仅是一个错误的答案，而是一台损坏的机器或一件失败的产品。