⚡ electrical engineering

Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots

本文提出了一种结合轨迹优化与强化学习的混合方法，用于在轨自由飞行多臂机器人的运动规划与控制，通过利用推力器优化路径并借助强化学习适应动态不确定性，显著提升了空间操作任务的效率、安全性与鲁棒性。

原作者： Álvaro Belmonte-Baeza, José Luis Ramón, Leonard Felicetti, Miguel Cazorla, Jorge Pomares

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Álvaro Belmonte-Baeza, José Luis Ramón, Leonard Felicetti, Miguel Cazorla, Jorge Pomares

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让太空中的“多臂机器人”能够像杂技演员一样灵活、安全地工作的新方法。想象一下，未来的太空站需要维修，或者要组装巨大的太空望远镜，这时候就需要一种能在太空中自由移动、还能用多只手干活的机器人。

这篇论文的核心思想是：把“精密的数学规划”和“聪明的直觉学习”结合起来，让机器人既走得准，又摔不坏。

我们可以用三个生动的比喻来理解这项技术：

1. 机器人长什么样？（太空中的“八爪鱼”）

想象一只巨大的太空八爪鱼。

身体：它有一个中心身体，身上装了几个推进器（就像喷气背包），可以推着自己走。
手臂：它有四条机械臂，每条臂都有很多关节，非常灵活。
任务：它需要爬在另一个卫星或空间站上，像壁虎一样移动，去拧螺丝、换零件。

2. 核心挑战：太空是个“滑溜溜”的地方

在地球上，你推桌子，桌子会动，但摩擦力会拉住它。但在太空中，没有摩擦力，也没有重力。

如果你用力推一下，身体就会像溜冰一样滑出去，很难停下来。
如果你用一只手去抓东西，身体会因为反作用力旋转起来。
而且，太空环境很复杂，可能有微小的震动，或者你的传感器看东西有点模糊（就像近视眼）。

传统的机器人控制方法就像死记硬背的乐谱：它假设一切都很完美，按照计划走。但一旦遇到意外（比如推了一下没推准），机器人就会“跑调”，甚至撞坏目标。

3. 解决方案：双剑合璧（规划 + 学习）

作者提出了一套“组合拳”，由两个大脑协同工作：

第一大脑：轨迹优化（TO）—— 像“精算师”或“总导演”

角色：它负责在任务开始前，制定一份完美的剧本。
怎么做：它利用复杂的数学公式，计算出机器人每一步该怎么走最省燃料、最平稳。它会算好：
- 什么时候该用喷气背包推一下？
- 哪只手该抓哪里？
- 怎么移动才不会让身体乱转？
比喻：就像一位总导演，在开拍前把每一个镜头、每一个演员的走位都精确地画在分镜纸上。它考虑了所有的物理规则，确保路线在理论上是完美的。

第二大脑：强化学习（RL）—— 像“老练的杂技演员”或“老司机”

角色：它负责执行剧本，并应对现场突发状况。
怎么做：它不需要知道复杂的物理公式（它是“无模型”的）。它通过在模拟器里成千上万次地“试错”来学习。
- 如果推了一下身体歪了，它马上调整喷气背包把身体扶正。
- 如果抓东西时手滑了，它立刻调整力度。
比喻：就像一位经验丰富的老司机。虽然导航仪（总导演）告诉他“前方直行”，但如果突然有个坑（太空扰动），老司机不需要重新计算地图，而是凭直觉和肌肉记忆，瞬间打方向盘避开。它能在“分镜纸”和“现实世界”的误差中，稳稳地开过去。

4. 这个组合拳有多厉害？

论文通过两个实验展示了效果：

场景一：已经在卫星表面爬行
- 以前：机器人只靠手臂移动，身体会晃晃悠悠，像喝醉了酒，抓得很紧怕掉下来。
- 现在：机器人配合喷气背包。手臂负责抓，喷气背包负责微调身体位置。结果就是：移动非常丝滑，手臂不需要用死力气去抓，既安全又省燃料。
场景二：从远处飞过去抓卫星
- 挑战：机器人离卫星还有半米远，够不着。
- 做法：先喷气背包飞过去（像飞船对接），接触表面后，立刻切换成“爬行模式”。
- 结果：机器人成功完成了从“飞”到“爬”的无缝切换，即使中间有干扰，也能稳稳抓住。

5. 为什么这很重要？

更聪明：以前的机器人太死板，遇到意外就傻眼。现在的机器人既有“大脑”（规划）又有“直觉”（学习），适应力极强。
更安全：在太空中，撞坏一颗卫星可能价值几亿美元。这种方法能极大减少碰撞风险。
更高效：通过喷气背包辅助，机器人不用费那么大力气，省下的燃料可以让它工作更久。

总结

这就好比教一个新手司机（机器人）开F1 赛车（复杂的太空环境）。

轨迹优化是给他一张完美的赛道地图，告诉他哪里该加速、哪里该刹车。
强化学习是让他在模拟器里跑了几百万圈，练出了肌肉记忆。
当真正比赛（执行任务）时，即使赛道上突然有块石头（环境干扰），或者地图有点偏差，这位司机也能凭借直觉和训练，稳稳地把车开过终点，而不会翻车。

这项技术为未来人类在太空中建造空间站、维修卫星、甚至清理太空垃圾，提供了非常可靠且聪明的“机器人助手”。

这是一份关于《轨道自由飞行多臂机器人的路径规划与强化学习驱动控制》（Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots）论文的详细技术总结。

1. 研究背景与问题 (Problem)

随着空间探索任务的复杂化（如卫星在轨服务、碎片清除、大型结构组装），机器人系统需要在微重力、非确定性环境以及通信延迟和计算资源受限的条件下工作。

核心挑战：
- 环境不确定性：微重力、轨道摄动及外部干扰使得基于精确模型的控制系统难以适应。
- 动力学耦合：多臂机器人（特别是具有爬行能力的机器人）在移动时，机械臂的运动与基座（本体）之间存在强烈的动力学耦合，且受轨道环境约束。
- 传统方法的局限性：传统的轨迹优化（TO）方法依赖精确的系统模型，难以处理未建模的干扰；而纯强化学习（RL）方法在高维动作空间下训练困难，且缺乏对复杂物理约束（如接触力、燃料消耗）的全局规划能力。
- 任务需求：机器人需要在无接触状态下利用推进器接近目标，并在接触后利用多臂进行爬行移动，同时保持本体稳定。

2. 方法论 (Methodology)

论文提出了一种混合架构，将基于最优控制问题（OCP）的轨迹优化（TO）与基于强化学习（RL）的自适应控制相结合。

A. 系统架构

机器人模型：通用多臂机器人（ $\zeta$ 个臂，每个臂 $n$ 自由度），配备末端执行器（用于对接）和集成在基座上的推进器（用于本体姿态和位置控制）。
动力学建模：考虑了完整的基座 - 臂耦合动力学、轨道摄动以及多阶段接触相互作用。

B. 轨迹优化 (Trajectory Optimization, TO)

目标：生成可行、高效的参考轨迹，同时优化机械臂运动、推进器推力和接触时序。
方法：
- 将问题建模为最优控制问题 (OCP)。
- 使用多项式样条参数化（三次多项式）来参数化基座轨迹、末端执行器轨迹、接触力及推进器推力。
- 关键约束：
  - 运动学约束（臂的可达范围、防碰撞）。
  - 接触约束（接触阶段末端执行器固定，非接触阶段无作用力）。
  - 环境约束（基于 3D 地图的表面贴合，避免碰撞）。
- 优化目标函数：最小化接触力（减少对接应力）、最小化基座速度（平滑运动）和燃料消耗。
- 求解器：使用 IPOPT 求解非线性规划问题。

C. 强化学习驱动控制 (RL-driven Control)

目标：在存在模型失配、干扰和不确定性的情况下，鲁棒地跟踪 TO 生成的参考轨迹。
MDP 定义：
- 动作空间 (Action Space)：27 维（4 个臂 $\times$ 6 自由度 + 3 个推进器推力方向）。输出为期望关节位置和推进器推力。
- 观测空间 (Observation Space)：包含基座位姿/速度、期望位姿、关节状态、上一时刻动作、末端执行器当前/期望位姿。
- 奖励函数 (Reward Function)：
  - 任务奖励：基于对数误差函数跟踪基座和末端执行器的位姿。
  - 归一化奖励：惩罚高功率、高加速度和剧烈动作，鼓励平滑运动。
  - 惩罚奖励：严重惩罚非预期的碰撞（除末端执行器外的接触）。
训练策略：
- 使用 PPO 算法。
- 课程学习 (Curriculum Learning)：从近距离目标开始，逐步增加目标距离。
- 域随机化 (Domain Randomization)：随机化质量、初始位置、传感器噪声，以增强 Sim-to-Real 的泛化能力。
- 模型差异：TO 使用简化的质心动力学模型，而 RL 在 Isaac Sim 中使用包含完整动力学和惯性的真实模型进行训练，以解决模型失配问题。

3. 主要贡献 (Key Contributions)

全轨道动力学下的接触感知轨迹优化：提出了一种联合优化末端执行器轨迹、推进器推力曲线和接触时序的 OCP 框架。该模型捕捉了完整的基座 - 臂耦合动力学，实现了微重力环境下的平滑、省燃料行为。
自适应时序与任务相关成本设计：优化算法自动调整相位持续时间，并惩罚跟踪误差、接触力和速度，提升了任务安全性和自主调度能力。
高维策略学习：开发了一个在 27 自由度动作空间（4 臂 + 推进器）上运行的 RL 策略，成功处理了轨道操作中的耦合动力学和模型失配问题，实现了复杂环境下的闭环控制。
鲁棒的轨道部署框架：通过引入轨道感知奖励整形、课程学习、域随机化和观测噪声注入，确保了策略在真实空间飞行不确定性下的泛化能力和 Sim-to-Real 转移能力。

4. 实验结果 (Results)

论文通过两个案例研究进行了全面验证：

案例 1：表面爬行运动
- 任务：机器人已在目标表面，需沿 X 轴移动 1.2m，或沿 X/Y 轴组合移动。
- 结果：
  - 推进器的作用：相比无推进器方案，引入推进器显著减少了基座振荡，降低了末端执行器的接触力（特别是在启动和停止阶段），并提高了运动平滑度。
  - 跟踪性能：RL 策略能够紧密跟踪 TO 生成的轨迹。在组合运动（X+Y）中，尽管存在动力学耦合，RL 仍能保持高精度跟踪。
  - 误差分析：基座位置平均跟踪误差约为 1.5cm，末端执行器误差在毫米级（6.7mm - 1.5cm），优于传统的 PD、速度/加速度/力控制及最优控制方法。
案例 2：非接触接近目标
- 任务：机器人初始悬浮在目标表面 0.5m 处，需利用推进器接近表面，然后进行爬行移动。
- 结果：TO 成功规划了“先接近后爬行”的混合轨迹。RL 策略能够无缝切换推进器控制模式到机械臂爬行模式，成功完成了从非接触到接触的运动转换。

5. 意义与结论 (Significance)

技术突破：该研究成功解决了空间多臂机器人控制中“规划”与“控制”分离的难题。TO 提供了全局最优的参考路径，而 RL 提供了应对不确定性的局部鲁棒执行能力。
推进器的重要性：证明了在轨道操作中，利用基座推进器辅助机械臂运动，可以显著降低对接力，提高操作安全性和效率，减少机械臂的负担。
实际应用价值：
- 该方法为在轨服务、碎片清除和大型结构组装提供了强有力的自主控制框架。
- 计算效率方面，TO 作为离线规划（约 10 秒），RL 作为在线控制（高频推理），适合星载计算机部署。
未来展望：论文建议未来可结合模型预测控制（MPC）进行在线重规划，并进一步探索多卫星间的机动能力，以及引入更高级的任务规划层。

总结：这篇论文提出了一种创新的混合控制框架，通过结合轨迹优化的精确规划能力和强化学习的自适应鲁棒性，有效解决了自由飞行多臂机器人在复杂轨道环境下的运动规划与控制难题，显著提升了空间机器人作业的自主性、安全性和效率。