A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

在人工智能领域，存在着一个持久的难题，被称为“探索问题”。想象一下正在教一个机器人横穿房间。如果机器人只是尝试随机动作，它最终可能会偶然发现移动双腿的正确方式，但这可能需要数百万次尝试，甚至可能永远也无法掌握。当机器人在成功穿越整个房间后才获得奖励，而不是在每一步走对时都获得一个小提示时，情况尤其如此。这种延迟使得机器很难理解哪些具体动作导致了成功。多年来，研究人员一直试图通过将大任务分解为更小的、中间目标的方法来解决这个问题，这种策略被称为分层学习。然而，这些方法通常需要人类手动定义这些较小的目标是什么，这限制了机器人适应新情况或复杂情况的能力。

宾汉顿大学的一个研究小组提出了一种处理这一挑战的新方法，这种方法允许机器在没有人类指令的情况下发现自己的中间目标。他们开发了一个名为 GANGSTER 的系统，其全称为“用于目标导向子目标训练、探索与奖励的生成对抗网络”（Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards）。其核心思想是使用一种通过自我竞争来学习的人工智能，以生成有用的“路标点”供机器人瞄准。该系统不再是随机猜测，而是学习提出特定的状态——例如机器人腿部的特定位置——这些状态很可能导致高分，在物理上从机器人当前位置可以到达，并且与之前的尝试有足够的差异，以保持学习过程的新鲜感。研究人员在涉及虚拟生物（如猎豹、蚂蚁和步行者）的复杂模拟环境中测试了这个系统，发现它帮助机器学得更快、更可靠，特别是在最困难的任务中。

研究人员构建的系统旨在与现有的强大学习算法协同工作，而不改变这些算法的基本运作方式。可以将学习算法想象成一个正在尝试解决难题的学生，而新系统则是一个提供有用中间步骤建议的导师。学生仍然在做功并学习规则，但导师指明了一条有希望的路径。在这种情况下，“导师”是一个经过训练、能够创建候选子目标的生成模型。当机器人开始新的尝试时，模型会生成一个潜在目标列表。然后，系统根据三个标准对这些目标进行评分：如果达到这些目标，结果会有多好；对于机器人来说，从当前位置到达那里有多容易；以及目标与其他目标的差异性，以确保机器人探索新的领域。系统会选择最佳目标，并为机器人接近该目标的过程提供一个小型的即时奖励，从而有效地将一段漫长且混乱的旅程转化为一系列易于管理的步骤。

为了验证这种方法是否奏效，团队使用了一套被称为 MuJoCo 的标准机器人模拟套件进行了广泛的实验。这些环境范围广泛，从简单的任务（如摆动单摆）到高度复杂的任务（如控制一只必须协调动作才能向前奔跑的八足虚拟蚂蚁）。研究人员将经过 GANGSTER 增强的机器人与没有这种额外指导的标准机器人进行了比较。结果显示出一个清晰的模式：环境越复杂，新系统的帮助就越大。在最简单的任务中，标准机器人表现良好，新系统几乎没有优势。然而，在高度复杂的环境中，差异是巨大的。例如，在 Ant-v5 环境中，GANGSTER 系统比标准方法减少了约 31% 的解决任务所需时间，并将最终性能提高了 53%。在另一个关于虚拟猎豹的测试中，该系统将解决方案的一致性提高到了 99% 以上，这意味着机器人一旦学会了任务，就极少失败。

研究还表明，系统的成功在很大程度上取决于如何选择中间目标。研究人员测试了权重分配给“优越性”、“可达性”和“多样性”这三个标准的不同方式，发现优先考虑目标的“优越性”是最关键的因素。承诺高未来回报的目标在引导机器人方面最为有效。然而，另外两个因素对于稳定性也是必不可少的：如果没有检查目标是否可达，机器人就会瞄准不可能的目标；如果没有确保多样性，机器人就会陷入重复尝试同一件事的困境。该系统表现出了很强的灵活性，能与两种不同类型的学习算法良好配合，并且其收益随着任务难度的增加而提升。这表明，随着人工智能面临日益复杂的现实世界挑战，拥有一个能够自动生成并优先处理有用中间目标的机制，可能是解锁更高效、更可靠学习的关键。

虽然该系统在模拟中展现了巨大的潜力，但研究人员也谨慎地指出了其局限性。生成和评估这些额外目标的过程需要额外的计算能力，这使得训练过程比标准方法更慢。在机器人可以自行快速学习的简单环境中，这种额外的成本并不值得。此外，目前的测试都是在数字模拟世界中进行的。研究人员承认，要将其应用于现实世界的机器人，需要解决在计算机模拟中不存在的传感器噪声和安全约束等问题。尽管存在这些限制，这项工作仍展示了在教机器如何自主探索复杂环境方面迈出的重要一步。通过提供一种将困难问题分解为可实现步骤的结构化方式，GANGSTER 框架为开发能够应对现实世界中混乱、长周期挑战的更强大的人工智能系统提供了一条切实可行的路径。