Testing and Evaluation of Agentic AI Systems In Military Command and Control
本文认为，代理型人工智能系统固有的属性削弱了当前军事测试与评估方法的八项基本假设，从而破坏了测试证据与实战行为之间的逻辑联系，这使得必须转向更窄、可恢复的保证声明，以及一种将部署视为持续风险管理行为的管理模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在高度紧张的军事指挥领域，领导者依赖一套系统来收集信息、理解信息并提出行动建议。这套被称为“指挥与控制”的系统是行动的神经系统，将地面和空中的传感器连接到必须决定派遣部队或舰船的指挥官手中。几十年来，用于这些系统的工具一直是可预测的机器：它们遵循严格的规则，如果你两次输入同样的信息，它们会给出同样的结果。但一种全新的技术正在进入这些领域。它们不仅仅是遵循命令的工具，更是“智能体”（agents）。与简单的计算器不同，智能体可以观察情况，决定它需要寻找哪些信息，主动去获取信息，然后利用这些新信息来改变自己的计划。它可以记住过去的事件，与其他类似的系统对话，并在无需人类明确告知下一步该做什么的情况下适应突发状况。这种灵活性使它们功能极其强大，但也让它们变得难以理解。军事部门面临的核心问题不再仅仅是这些智能体是否有效，而是我们如何确保它们在风险最高的时刻能安全运行。
一组研究人员致力于回答这个问题，他们通过检查我们目前如何测试这些新型、灵活的系统来进行研究。他们查看了军事和工业专家用于测试软件及自主系统的 240 种不同方法。他们的目标是观察这些旧方法能否应对智能体这种能够学习、记忆并实时变化的全新现实。他们发现了一个根本性的问题：我们目前测试这些系统的方式依赖于一些对于智能体而言根本不再成立的假设。传统的测试假设系统是一个固定的对象，就像一辆汽车，其零件不会改变，行为也是可预测的。它假设如果你今天测试这辆车，结果在明天依然有效，并且你可以单独测试汽车的每个部件，从而了解整车的表现。
研究人员发现，智能体系统打破了其中的每一项假设。首先，这些系统不是固定的。智能体会通过选择使用哪些工具和收集哪些信息来构建自己的路径。因为它在工作过程中做出这些选择，所以正在测试的系统与最初设计的系统已经不同了。这就像是在测试一辆汽车的同时，驾驶员还在同步更换发动机和轮胎。其次，系统是不稳定的。智能体会记住之前任务中发生的事情，而这种记忆会改变它在下一次任务中的行为。即使软件代码从未改变，由于其内部状态发生了偏移，智能体的行为也会发生变化。这意味着上周的测试结果可能并不适用于今天。第三，这些系统通常由许多较小的智能体协同工作组成。当它们这样做时，会出现任何单个部分都不具备的新行为。一群智能体可能会以任何个体都无法预见的方式解决问题，从而产生一种通过孤立测试各部分而无法预见的执行结果。
由于这些变化，研究人员发现，目前的测试方法可能会产生一份在纸面上看起来近乎完美、符合所有官方规则的报告，但却无法证明该系统在现实生活中是安全的。测试可能显示系统在特定的、受控的条件下运行良好，但它们无法保证系统在面对混乱且多变的环境时，在实地部署中仍能表现一致。测试结果与现实世界表现之间的联系已经断裂。证据确实存在，但将这些证据转化为安全承诺的论证过程已不再足够有力。
论文并非说我们应该停止使用这些系统，也不是说它们无法被测试。相反，它建议我们必须改变构建“安全性证明”的方式。我们不能依赖于“系统在所有情况下都安全”这种宽泛的承诺。相反，我们必须做出更窄、更具体的声明。例如，我们可以测试系统是否保持在一个特定的、有限的行动范围内，或者测试它是否遵循正确的步骤路径，即便最终答案会有所不同。我们也可以接受某些证据只能在系统实际投入使用时才能获得。这意味着将智能体投入使用的决策不再是一个单次性的事件。它是一个持续的过程，我们需要不断监控系统、检查其记忆，并验证其是否仍按预期运行。如果系统发生了我们未曾预见的漂移或变化，我们必须准备好停止它或对其进行调整。
研究人员还研究了人类如何监督这些智能体。他们发现，仅仅让一个人类在场是不够的。如果智能体运行得太快、过于复杂或过于晦涩，人类就无法足够快地理解正在发生什么，从而无法进行干预。系统的设计必须确保人类了解智能体正在做什么、为什么要这样做，并有足够的时间在出现问题时将其制止。否则，人类只会成为旁观者，而非监督者。
最终，这项研究得出结论：虽然我们目前还无法证明这些复杂且不断变化的系统在每种可能的情况下都绝对安全，但我们仍然可以管控风险。我们通过诚实面对我们的未知来实现这一点。我们定义系统被允许采取行动的界限，在它运行时进行严密监控，并接受我们的信心始终是暂时的。使用这些智能体的决策不再是一个最终的批准印章；它是一个持续治理的过程，在此过程中，我们不断权衡证据，管理不确定性，并确保人类判断始终处于控制地位。前进的道路不在于寻找一个能一次性证明安全的完美测试，而在于建立一套制衡机制，使我们在使用这些强大工具的同时，能将风险控制在我们的管理能力之内。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。