💻 computer science

SCoCaT: Success Conditioned Constrained Reinforcement Learning for Spacecraft Docking

本文通过引入一个通过辅助价值评论家实现的稠密成功信号，确保在不损害安全约束的前提下实现高任务完成率，识别并解决了基于终止条件的航天器对接约束强化学习中存在的“可行性崩溃”问题，即智能体为了维持安全性而避开目标区域的问题。

原作者： Aman Arora, Ricard Marsal I Castan, Matteo El-Hariry, Miguel Olivares-Mendez

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Aman Arora, Ricard Marsal I Castan, Matteo El-Hariry, Miguel Olivares-Mendez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

航天器对接是现代工程领域中最精密的动作之一。它要求航天器在真空环境下飞行，向一个移动的目标导航，并轻柔地锁定目标而不发生碰撞。这项任务不仅仅是到达目的地，更是在遵守一套严格安全规则的前提下完成任务。航天器不得移动过快，不得失控旋转，也绝不能与目标发生碰撞或偏离其指定的飞行路径。如果违反了这些规则，任务就会失败，硬件也会损毁。几十年来，工程师们一直依赖经典控制系统来管理这些任务，但面对复杂的、重叠的安全限制时，这些系统往往显得力不从心。近年来，研究人员转向了一种被称为“强化学习”的人工智能技术，在这种技术中，计算机程序通过试错来进行学习。然而，标准的学习方法对于太空环境来说往往过于鲁莽；它们可能会找到一种虽然能到达目标但却违反了安全规则的方式，或者可能学会停留在危险区域之外进行悬停以规避惩罚，从而永远无法真正完成任务。

卢森堡大学的一个研究小组开发了一种新方法来解决这一特定问题，使人工智能能够安全且成功地学习如何对接航天器。他们的工作聚焦于安全导向型学习算法中的一个已知失效模式。在这些系统中，计算机被告知：违反安全规则的代价如此之高，以至于实际上会提前结束学习阶段。这在许多任务中行之有效，但对于对接任务而言，这创造了一个悖向。航天器必须抵达以实现成功的区域，恰恰也是安全规则最严苛的区域。由于进入该区域的惩罚极高，学习算法会判定留在目标稍远之外是更安全的做法，这样它既能保持“存活”，又永远无法完成任务。研究人员将这种状态称为“可行性崩溃”（feasibility collapse），即AI处于一种虽然绝对安全但完全无用的状态。

为了解决这个问题，该团队引入了一种名为“成功条件约束强化学习”（Success-Conditioned Constrained Reinforcement Learning）的新方法。他们意识到，AI需要一种方式来理解：到达目标是首要目标，这应与对违反安全规则的恐惧区分开来。他们在学习过程中增加了第二层反馈。虽然第一层仍然会对航天器违反安全限制的行为进行惩罚，但第二层会在航天器处于正确位置和姿态时，无论其是否已在技术上“赢得”了该阶段，都给予一个持续的正向信号。这创造了一种双重动力：AI既学会了避免那些会阻碍其进展的惩罚，又被处于正确位置所带来的奖励所吸引向前推进。这一简单的改进打破了导致AI原地悬停的僵局。

研究人员在两种不同类型的航天器模拟器上测试了这种方法。第一个是他们实验室中的一个漂浮平台，利用气垫轴承在空气垫上滑动，以模拟零重力环境下卫星的运动。第二个是6U立方体卫星（CubeSat）的数字模型，这是一种大约鞋盒大小的小型卫星，具有更复杂的六自由度运动模式。在模拟中，标准的以安全为导向的方法在几乎所有尝试中都未能成功对接航天器，使其停留在目标区域之外。然而，新方法则允许航天器进入对接走廊并成功保持位置。在漂浮平台上，新方法实现了接近100%的成功率，同时保持了超过98%的安全合规率。这相比之前的旧方法是一个巨大的进步，因为旧方法的成功率不足1%。

该团队并未止步于计算机模拟。他们将训练好的软件直接部署到了物理漂浮平台上，而没有进行任何进一步的调整。这种“零样本”（zero-shot）迁移意味着AI在一个环境中学习，并在另一个环境中完美运行，这对于机器人系统来说是一项艰巨的任务。物理测试证实，航天器可以接近目标、减速，并将位置保持在10毫米和0.1弧度的旋转容差范围内。虽然标准的仅安全方法设法避免了碰撞，但它从未进入目标区域。而新方法不仅进入了该区域，还成功在那里保持了位置，证明了实现安全与成功并行是可能的。

研究人员还探讨了旧方法为何会发生如此剧烈的失败。他们通过数学证明，问题不在于奖励系统本身的缺陷，而在于安全惩罚与目标之间相互作用的结构性问题。当进入目标区域的惩罚很高时，AI会计算出停留在区域外侧才是实现生存最大化的逻辑选择。通过将“保持安全”的信号与“取得成功”的信号分离，新方法允许AI采取必要的风险以完成任务，而不忽视安全约束。研究结果表明，对于像航天器对接这样失败后果不可逆转的关键任务，人工智能系统需要一个清晰、独特的信号，告诉它们何时取得了成功，且该信号应独立于对失败的恐惧。这种方法为在安全与精度同样不可或缺的环境中部署自主机器人提供了一条前进的道路。

技术摘要：SCoCaT —— 用于航天器对接的成功条件约束强化学习

1. 问题陈述

本文针对在使用基于终止的约束强化学习（CRL）进行终端导航任务（如航天器对接、精密着陆）时出现的关键失效模式进行了研究。具体而言，它针对的是**约束即终止（Constraints as Terminations, CaT）框架，该框架通过在违反约束时随机终止回合来强制执行安全性。虽然 CaT 因其简单性且无需在线优化而在安全性要求极高的部署场景中具有吸引力，但作者识别出了一种被称为“可行性崩溃”（feasibility collapse）**的结构性病理现象。

在终端导航场景中，目标位于一个安全约束（如速度限制）变得活跃的走廊内。在标准的 CaT 目标下，生存加权回报会在智能体必须进入以实现成功的区域精确地抑制奖励。因此，智能体会学习到一种悬停策略（hovering policy）：它停留在目标走廊之外，以最大化生存概率和累积回报，从而完全避开触发约束的区域。这导致了近乎完美的约束合规性，但任务完成率却接近于零。

2. 方法论

2.1 可行性崩溃的形式化

作者使用一个包含三个状态的简化马尔可夫决策过程（MDP）来形式化这种失效模式：远端状态（ $s_{far}$ ）、紧邻目标的悬停状态（ $s_{\partial}$ ）以及目标状态（ $s_G$ ）。

命题 1 表明，在 CaT 目标下，如果进入目标会触发非零的终止概率（ $\delta > 0$ ），而悬停则不会，那么悬停策略将成为一个严格的局部最优解。智能体会为了避免约束激活的“代价”而放弃剩余的步数，即使目标能提供高额奖励。

2.2 提出的解决方案：SCoCaT

为了解决这一问题，作者提出了成功条件约束即终止（Success-Conditioned Constraints as Terminations, SCoCaT）。该方法通过引入一个与生存阻尼机制结构上免疫的解耦成功信号，对 CaT 框架进行了增强。

双优势流（Dual Advantage Streams）： SCoCaT 维护两个独立的价值评论家（value critics）：
1. $V_r$ （奖励评论家）： 基于经 CaT 修改后的奖励进行训练，其中奖励由生存概率 $(1-\delta_t)$ 进行缩放。该流用于强制执行安全约束。
2. $V_s$ （成功评论家）： 基于仅由环境触发的终止（时间限制或自然回合结束）进行训练，使用稠密的逐步成功指示器（ $I_{succ,t}$ ），明确排除了随机的 CaT 终止。
成功指示器： 信号 $I_{succ,t}$ 是一个门控信号（二值或连续），仅当飞行器同时满足所有对接容差（位置、姿态、速度和角速率）时才会激活。
优势标量化（Advantage Scalarization）： 策略梯度利用单一的标量化优势 $A_{tot} = \text{standardize}(A_r + A_s)$ $A_{t o t} = standardize (A_{r} + A_{s})$ 。
- $A_r$ 反映了生存加权回报。
- $A_s$ 提供了一个指向目标走廊的稠密梯度，且独立于约束导致的终止概率。
机制： 通过在仅由环境触发的终止基础上进行 $V_s$ 的自助训练（bootstrapping），成功优势在目标走廊内保持为正且强劲，从而抵消了 $A_r$ 中由生存惩罚产生的负向优势。这打破了悬停的局部最优。

2.3 实现

该方法使用**近端策略优化（PPO）**实现。其架构仅在标准现成 RL 算法的基础上增加了一个辅助评论家（ $V_s$ ）。成功容差由操作规范固定，而非通过学习得到的超参数。

3. 主要贡献

形式化可行性崩溃： 本文推导出了在基于终止的 CRL 中，悬停策略优于目标进入的理论阈值，并确定了约束终止通道是根源而非奖励塑造（reward shaping）。
SCoCaT 算法： 对 CaT 进行的极简扩展，通过引入一个与生存权重解耦的稠密逐步成功信号，解决了可行性崩溃问题。
经验验证： 该方法在两个不同的航天器平台上得到了验证：
- 一个 3-DoF 漂浮平台（空气轴承实验台），用于零样本模拟到现实（sim-to-real）的迁移。
- 一个 6-DoF 6U CubeSat 模拟器，代表了实际近距离操作中的质量和自由度范围。

4. 实验结果

4.1 模拟结果

漂浮平台 (3-DoF)：
- CaT： 实现了 99.4% 的约束合规性，但仅有 0.4% 的任务完成率 (TCR)，证实了可行性崩溃。
- SCoCaT： 实现了 100% 的 TCR，同时保持 98.8% 的约束合规性，在没有安全性退化的前提下，实现了 250 倍的任务参与度提升。
- 无约束 PPO： 实现了较高的走廊进入率 (90.8%) 和 49.8% 的 TCR，但无法实现受控对接：由于缺乏速度约束反馈，智能体在经过目标时速度过快，未能减速。这导致其位置误差和对接速度违规显著高于 SCoCaT（高出 70 倍）。
6U CubeSat (6-DoF)：
- CaT： 仅在 3.7% 的回合中进入目标走廊，且从未完成任务。
- SCoCaT： 实现了 61.3% 的宣告成功率（满足终端速度和姿态准则）以及 94.5% 的约束合规性。这达到了无约束 PPO 成功率的 66%，同时保持了接近 CaT 的安全性水平。

4.2 模拟到现实（Sim-to-Real）迁移

作者将 SCoCaT 策略进行零样本迁移至物理 3-DoF 空气轴承平台。

SCoCaT： 在 4 次真实运行中成功对接了 3 次。
CaT： 在 4 次运行中对接成功次数为 0 次（始终在走廊外悬停）。
PPO： 虽然原始的“成功率”（SR）指标记录了 4 次 进入目标走廊的运行，但论文明确指出 PPO “无法实现受控对接”。由于缺乏速度约束反馈，智能体在经过目标时速度过快，未能满足成功任务所需的受控对接精度，这与实现受控对接的 SCoCAt 不同。
这证明了该方法能够推广到具有二进制推进器和离散控制频率的硬件上。

4.3 消融研究

奖励密度： SCoCaT 在稠密和稀疏奖励下均有效，尽管稠密奖励的表现略好。
成功信号： 二值成功信号在稀疏奖励下表现不佳；连续成功信号通过提供平滑梯度恢复了性能。
架构： 若将成功信号作为奖励流的一个简单增益（单评论家架构）加入，会导致约束合规性下降。双评论家架构对于在实现任务完成的同时保持安全约束的完整性至关重要。

5. 重要性与声明

本文声称 SCoCaT 为终端导航任务中基于终止的 CRL 所固有的可行性崩溃提供了原则性的解决方案。通过将成功目标与安全终止机制解耦，该方法在保持严格安全合规性的同时，恢复了高水平的任务完成率。

作者强调：

该方案是极简的，仅需一个辅助评论家，无需复杂的在线求解器或拉格朗日乘子。
它具备部署能力，适用于推理仅需单个神经网络前向传播的资源受限平台（SWaP 预算）。
它支持零样本模拟到现实的迁移，这是对于物理测试受限的航天应用至关重要的能力。

论文总结道，虽然该方法显著改善了安全与成功的权衡，但它并不声称是所有 CRL 问题的通用解决方案，并指出了其局限性，例如需要针对约束严苛度（ $p^i_{max}$ ）进行特定任务的调优，以及由于硬件离散化导致的角速度控制方面的模拟到现实差距。