Tuning the Stochastic Machine: A Systems Engineer's Operating Model for Human-AI Engineering
本文借鉴三十年的系统工程经验，指出大语言模型（LLM）反复出现的错误源于缺乏操作纪律而非工具限制，并提出了一种七原则运行模型，旨在通过将版本控制、监控和退役等传统系统管理概念进行适配，从而有效地治理人机工程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界里，一种特定的挫败感在与这些工具共事的专家中变得非常普遍。一位经验丰富的工程师或作家可能会花费数小时来纠正 AI 助手犯下的一个细微错误，却发现同样的错误会在未来的对话中再次出现。工具并没有记住这项纠正，因为它从未真正被告知要记住它。这是因为当前的设计将每一次新的对话都视为一个全新的开始，将刚才学到的东西清空，如抹平白板一般。本文探讨了这种差距：一方面是机器生成文本的能力，另一方面是人类对于一个能够学习并随时间记住纠正内容的系统的需求。文章认为，解决方案不是一种新型的软件或更聪明的算法，而是一套借鉴自成熟的系统工程领域的运营习惯，在那个领域，管理复杂且不可预测的机械是日常惯例。
作者是一位拥有三十年经验的系统工程师，他观察到，业界过度关注那些让 AI 具备记忆能力的工具，例如持久化记忆文件或指令指南。然而，本文指出，如果使用者没有一套严谨的过程来管理这些工具，那么仅仅拥有这些工具是不够的。如果没有严格的方法来记录为何进行纠正、检查纠正是否奏效，以及最终停用不再需要的规则，那么指令的集合将会变成一堆杂乱无章、低效的废料。核心发现是，缺失的部分不是技术，而是纪律。作者提出了一个七步操作模型，将 AI 视为一件需要仔细配置、持续监控以及具备清晰错误学习闭环的设备，而非一个神奇的预言机。
这种方法始于一个简单但强大的认知：AI 的知识是固定的，就像运行中的计算机芯片无法更改一样；而对话本身是暂时的，就像计算机中掉电即失的内存一样。当人类在聊天过程中纠正 AI 时，这种纠正仅对该特定会话有效。一旦会话结束，纠正便会消失。要让 AI 真正变得更好，必须将纠正内容写入一个每次系统启动时都会加载的永久配置文件中。论文称之为“回写路径”（write-back path）。这就像是告诉一名工人修复一次问题，与更新官方手册的区别——后者能确保每一位未来的值班人员都知道如何避免同样的错误。
所提议的系统依赖于七项指导原则来管理这一过程。首先，每一次有意义的纠正都必须保存为永久记录；否则，它就会丢失。其次，这些规则必须组织成不同的层级，将适用于所有任务的通用规则与针对特定项目的具体规则分开存放，以防止混乱和重复。第三，由于 AI 本质上是不可预测的，它产生的是一系列可能的答案而非单一确定的答案，因此目标是管理整个结果范围，特别关注该范围边缘那些罕见但危险的错误。第四，人类专家充当最终的安全检查员，捕捉机器无法自行检测到的错误，并确保修复内容被回写到永久系统中。
剩余的原则侧重于测量与维护。作者警告说，仅仅统计工具的使用次数是衡量成功的糟糕指标，因为这奖励的是活动量而非质量。相反，团队应该追踪特定类型的错误是否随着时间的推移而停止发生。他们还必须定期审查规则列表，移除不再有用的规则，确保系统不会被过时的指令所拖累。最后，团队必须始终验证他们瞄准的是一个真实的目标；如果一个过程只是随机的噪声，那么无论多少纪律都无法使其变好。
为了展示这在实践中如何运作，作者分享了三个现实世界的案例。在一个案例中，AI 根据其声誉建议了一种加速计算机程序的方法，但该方法在特定情况下失败了，导致了原本旨在防止的减速现象。通过应用新的纪律，工程师不仅修复了代码，还创建了一条永久规则，防止 AI 在不检查特定条件的情况下再次选择该方法。在另一个例子中，一条旨在阻止未经授权访问的安全规则由于编写过于拙劣，反而意外地允许了所有人进入。系统通过询问一个特定问题——即该规则是否可能造成其试图防止的伤害——从而捕捉到了这一点。第三个例子展示了系统的反向作用：AI 审查了人类的工作，并发现了人类思维中的一个漏洞，从而引导了一次改进人类框架的纠正。这证明了这种伙伴关系是双向的，人类与机器在相互纠正。
文章总结道，虽然人工智能的技术是全新的，但安全运行它所需的纪律却并非如此。所述方法与数十年来管理复杂工业机器和交易系统的办法完全一致。作者认为，业界目前正趋向于一种设计，即 AI 在对话之间会忘记一切，这对机器而言是高效的，但对用户而言却是危险的。解决方案是在机器周围建立一层人类治理层，确保每一次学到的教训都能被保留、测试，并用于随着时间的推移来收紧系统的性能。作者承认，这是一个基于经验和逻辑的提议，而非最终的科学证明，并概述了一个未来通过硬性数据测试这些想法的计划。在此之前，信息很明确：为了从这些强大的工具中获得最大收益，我们不能将它们视为魔法，而应将其视为需要稳健的操作手感和清晰规则的机器。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。