Trust in LLM-Supported Engineering Work: The Role of Downstream Dependency
这项定性个案研究引入了“下游依赖”的概念，用以解释机器人开发领域的工程师如何并非通过孤立的质量，而是通过大语言模型生成输出在多阶段工作流中的可检查性、可控性和可逆性来进行评判，从而将信任研究从输出验证转向工作流层面的社会技术管理。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代工程领域，构建像机器人这样复杂的机器通常需要海量的训练数据。从现实世界中收集这些数据可能既缓慢、危险，又过于昂贵。为了解决这个问题，工程师们使用“合成数据”，即模仿现实的计算机生成信息。这一过程并非单一步骤，而是一个漫长且相互连接的任务链。工程师可能会定义一个场景，创建数字对象，配置这些对象的生成方式，检查结果，并最终为机器人的学习准备数据。如果这个链条中的早期环节出现错误，它可能会产生连锁反应，影响后续每一个步骤，从而毁掉最终的产品。
最近，工程师们开始使用大语言模型——一种能够生成文本和代码的强大计算机程序——来帮助加速这一过程中的部分环节。这些工具可以起草描述、编写数字对象的代码，或建议如何连接系统的不同部分。然而，一个关键问题仍然存在：当工程师使用这类工具时，他们如何决定是否信任其结果？仅仅知道答案现在看起来是否正确是不够的。工程师还必须知道，那个答案是否能在接下来的旅程中生存下来。如果计算机生成了一个目前看起来正确的数字对象，但其中隐藏了一个缺陷，那么这个缺陷可能会在数月后的机器人训练过程中导致失败。本文探讨了专业工程师如何应对这种不确定性，即如何从对工具的简单信任，转向对该工具输出在复杂工作流中表现如何进行更谨慎的判断。
研究人员对一家构建机器人合成数据流水线的小型工程公司里的四名工程师进行了研究。他们不仅询问这些工程师对人工智能的看法，还观察了他们的实际工作。研究团队记录了工程师执行一系列十五个连续任务的过程，从启动项目到生成并检查数据。其中有两个任务涉及使用语言模型来创建数字资产或构建系统部件，而另外十三个任务则提供了周围的上下文环境。研究人员还对工程师进行了访谈，并要求他们在工作时大声说出自己的想法，解释他们注意到了什么、检查了什么以及为何做出某些决策。
研究发现，工程师并不简单地将计算机的输出视为“值得信赖”或“不可信”。相反，他们的信任是具有条件的，并且会根据所处的工作流阶段以及未来可能发生的情况而变化。研究人员提出了一个核心概念，称之为“下游依赖”（downstream dependency）。这描述了当前由计算机生成的某项工作与未来必须使用该项工作的后续任务之间的关系。如果计算机生成的是一个计划的初步草案，工程师可能会乐于接受；但如果同一个想法将成为训练机器人的永久组成部分，工程师就会变得更加谨慎。他们担心现在的微小错误可能会扩散并导致未来的重大问题，例如破坏整个数据集或导致机器人变得不安全。
由于对未来问题的担忧，工程师们开发了特定的方法来管理他们对计算机的依赖。一种方法是“阶段相关验证”（stage-dependent verification）。这意味着他们检查计算机工作的方式会根据任务的不同而改变。当计算机建议一组数字或设置时，工程师会逐一检查每个数字，就像核对清单一样。但当计算机建议一个复杂的结构或系统中的新模块时，工程师会在接受之前要求对其如何构成的整体进行高层级的解释。他们不仅检查答案是否正确，还检查该答案在整个系统语境下是否合理。
第二种方法是“范围控制”（scoped control）。工程师希望明确知道计算机被允许修改哪些内容，以及哪些内容是不允许修改的。如果计算机在修复一个问题的同时，意外地改变了附近原本运行正常的其他内容，工程师就会感到焦虑。在一次观察到的案例中，一名工程师要求计算机创建一个特定的数字对象，但系统同时也改变了一个整个场景的设置。工程师立即停止了操作，检查了该更改，并在继续之前将其修复。他们需要能够看到计算机所做的每一项更改，将这些更改限制在清晰的边界内，并能够在必要时撤销它们。如果计算机做出意料之外的更改，或者每次要求修正时结果看起来都不一样，工程师的信心就会下降，并停止依赖该工具。
研究表明，对于人工智能在工程领域真正发挥作用而言，其设计目标不能仅仅是产生快速、看似合理的答案。它必须被设计成可检查且可控的。计算机应该展示其分步工作的过程，解释为什么做出某些连接，并清晰地标记出它所修改的边界。它应该允许工程师看到今天的决策可能会如何影响明天的任务。研究人员总结道，信任并不是工程师对机器的一种感觉，而是一种基于能否验证工作、能否控制更改、以及能否确保输出不会在后续环节引发麻烦而做出的即时实践判断。目标不是让工程师盲目信任机器，而是赋予他们安全依赖机器的工具，让他们确切地知道风险所在以及如何管理这些风险。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。