Adaptive Policy Portfolios for Robust Markov Decision Processes
本文引入了自适应策略组合，作为针对动力学部分可辨识环境下的标准鲁棒马尔可夫决策过程的一种较不保守的替代方案，同时确立了认证与合成此类组合均为计算上不可行的问题（分别为 -完全且 -完全），并提出了一种适用于运行时专门化的离线构建方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，机器经常通过模拟无数种可能的未来来学习如何做出决策。想象一下，一个机器人在房间里导航，或者一个软件智能体在管理电网。为了做好这些工作，它们依赖于一个数学框架，该框架可以预测它们的行动将如何改变世界。然而，这些预测从未完美无缺。现实世界是混乱的，用于构建这些模型的数据往往包含缺失或错误。当人工智能基于有缺陷的模型采取行动时，可能会犯下灾难性的错误。为了应对这一问题，研究人员开发了一种称为鲁棒决策的方法。这种方法不再押注于单一的最可能结果，而是为可能性范围内的最坏情况做准备。它会追问：“如果我采取这个行动，绝对最坏的情况会是什么，我该如何生存下来？”这种方法保证了安全性，但代价高昂：人工智能会变得过度谨慎。它可能会因为为了规避极小的灾难风险（即便这种灾量发生的概率微乎其微）而拒绝行动，或者选择一条平庸的路径。
本文探讨了人工智能在面对不确定性时的一种更聪明的折中方案。来自比利时和荷兰的研究人员提出了一种系统，它不会强迫人工智能致力于一个单一、僵化的计划。相反，他们建议预先准备一小组经过精选的不同策略。这可以想象成一名飞行员携带了一份针对晴朗天空的飞行计划、一份针对强湍流的计划，以及第三份针对突发风暴的计划。飞行员不知道会出现哪种天气，但他们为每种情况都准备好了相应的计划。用研究人员的术语来说，这就是一个“自适应策略组合”（adaptive policy portfolio）。该系统在离线状态下合成这些不同的策略，为各种潜在的现实情况计算出最佳行动。然后，一旦系统投入使用，它会观察环境的变化。随着它收集到关于实际情况正在发生什么的证据，它会切换到最契合的策略。这使得人工智能能够在保持安全的同时，不会因恐惧最坏情况而陷入瘫痪。
团队在两个截然不同的挑战上测试了这一想法。第一个是数据中心的模拟，其中控制器必须管理温度、湿度和计算机作业队列。系统并不知道其冷却风扇的具体效能如何，也不知道外界空气会带来多少热量。第二个挑战涉及一架在三维网格中飞行的无人机，它需要应对不确定的阵风以及电机失效的风险。在这两种情况下，研究人员都构建了一个策略库，每个策略都针对特定的风力强度或冷却效率组合进行了优化。随后，他们使用一种简单且快速的算法，在无人机飞行或数据中心运行时挑选出库中最优的策略。结果令人瞩目。通过使用仅由少量策略组成的组合，该系统与使用单一、过度谨慎的计划相比，大幅减少了失误。通过使用包含十个策略的小型库，无人机的错误率降至接近于零，而数据中心控制器则以极低的能量损耗保持了环境的稳定。
然而，论文也揭示了一个显著的局限性。虽然这种实用方法效果良好，但研究人员证明，对于复杂问题，寻找“完美”的一组策略在数学上是不可能高效解决的。他们表明，判定一组给定的策略是否足够好，或者寻找绝对最优的一组策略，属于计算机极难解决的一类问题。即使是在问题的简化版本中，其复杂度也高到不存在能够解决所有情况的快速通用算法。这意味着，尽管研究人员可以构建一个非常优秀的实用系统，但他们无法保证它就是绝对最好的一个。这种困难源于系统必须考虑到环境可能表现出的每一种行为方式，而不同策略之间的相互作用创造了一个过于庞大、无法完全理清的可能性的网络。
研究结论认为，这种方法为应对不确定性提供了一种强大的、可验证的方式。它弥合了僵化的单一计划与同时为每一个可以想象的未来进行规划这一不可能任务之间的鸿沟。研究人员证明，通过接受一小组可控的选择，人工智能可以在保持对未知情况具有鲁棒性的同时，其表现几乎能达到已知未来的水平。其代价在于，系统必须提前花费时间准备这些选项，且在线选择过程需要一点时间来识别正确的策略。然而，实验表明，与性能提升相比，这种成本是微不足道的。这项工作为构建既安全又高效的人工智能系统提供了一条清晰的路径，即承认虽然我们无法完美解决每一个数学谜题，但我们可以构建出足以应对现实世界的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。