Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

想象一下，你正在操控一台安装在旋转卫星上的极其精密的高科技相机。你的任务是转动卫星，使相机对准一颗特定的恒星。然而，有一条严格的规则：相机绝不能看向太阳。 如果它看向太阳，传感器将会致盲或受损。

本文要解决的问题正是：如何教会计算机将卫星旋转至新目标，同时避免其“眼睛”意外对准太阳？

以下是作者处理该问题的方法，分解为几个简单概念：

1. “单纯学习”的问题

通常，当我们教计算机执行复杂任务时，会使用一种称为**深度强化学习（DRL）**的方法。这就像训练一只狗：当狗做对时给它奖励（食物），做错时给予责骂（惩罚）。最终，狗会学会获得奖励的最佳方式。

在这种情况下，“狗”是人工智能代理（AI agent），“奖励”是抵达目标恒星，“责骂”是过于靠近太阳。

关键问题： 本文发现，仅仅因为靠近太阳而给 AI“责骂”是不够的。有时，AI 会为了“奖励”（快速抵达目标）而变得贪婪，采取冒险的捷径，导致相机意外对准太阳。这就像一个学生虽然努力学习，但因为急于通过考试而作弊；他们可能通过了考试，但违反了规则。

2. 新的“训练手册”（状态空间与奖励）

为了帮助 AI 更好地学习，作者设计了一种让计算机“感知”局势的新方法。

• 地图： 他们不再仅仅向 AI 展示其当前位置，而是提供了一张特殊的地图，清晰地标出“太阳区域”（禁区）以及为保持安全需要移动的方向。
• 记分牌： 他们建立了一套评分系统，即使 AI 正在向目标取得进展，只要靠近太阳就会受到严厉惩罚。这促使 AI 从一开始就学习安全的路径。

他们还使用了一种称为**课程学习（Curriculum Learning）**的技术。想象一下教孩子骑自行车：你不会一开始就让他们在繁忙的高速公路上骑行，而是从空旷的车道开始，然后是安静的街道，最后是更繁忙的道路。

• 第一阶段： AI 学习在不考虑任何太阳约束的情况下旋转卫星（仅学习如何转动）。
• 第二阶段： 一旦它擅长转动，就加入“太阳”约束，让它练习如何避开太阳。

3. “安全门卫”（安全过滤器）

即使有了优秀的教练和记分牌，本文也承认，以此方式训练的 AI 仍可能偶尔犯错（在他们的测试中约为 2.6%）。

为了解决这个问题，他们添加了一个安全过滤器。这就像俱乐部门口严格的门卫。

1. AI（客人）提出一个动作（例如：“快速左转！”）。
2. 门卫（安全过滤器）根据规则检查该动作。
3. 如果动作安全，门卫会说：“可以执行。”
4. 如果该动作看起来可能导致相机对准太阳，门卫将否决AI 的指令，并在卫星实际执行之前将其更改为安全的动作。

该过滤器使用一种称为**控制障碍函数（Control Barrier Function, CBF）**的数学工具。简单来说，它是一个数学“力场”，在物理上阻止卫星跨越那条看不见的线进入太阳区域。

4. 结果

作者运行了 10,000 次模拟来测试他们的想法。

• 没有门卫： AI 速度很快，通常能完成任务，但约有 2.6% 的时间违反了“禁止看太阳”的规则。
• 有了门卫： AI 仍然完成了任务，但**0%**的时间违反规则。安全过滤器拦截并修正了每一个危险动作。

然而，作者指出了一个小的权衡：为了绝对确保安全，“门卫”有时会让卫星转得稍慢一些，或者走一条稍长的路径。此外，在极少数情况下，AI 会感到困惑，完全无法完成转动，这表明它需要更多的训练。

总结

本文提出了一种安全转动航天器的两部分解决方案：

1. 利用智能地图和严格的评分系统良好地训练 AI。
2. 在 AI 前方设置一张安全网（过滤器），在错误发生前将其拦截。

其结果是，航天器能够自行转动以观测恒星，而永远不会意外地让相机被太阳致盲。