Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing

以下是基于该论文《Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY)》的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状挑战：尽管机器人航天器（如火星车、哈勃望远镜、MEV 等）在科学探索和卫星服务方面取得了巨大进展，但目前的航天器自主性仍严重滞后。大多数任务依赖昂贵且耗时的地面人工控制。
• 技术瓶颈：
  • 计算限制：航天器机载计算机性能远低于地面设备（例如 RSGS 任务使用 800 MHz 处理器），限制了复杂算法的运行。
  • 验证困难：传统控制方法（如 PID、逆运动学、基于路点的规划）具有数学上的可验证性和稳定性，这对于价值数十亿美元的航天器至关重要。而强化学习（RL）等先进方法缺乏同等水平的形式化验证，难以直接应用于高风险的太空任务。
  • 任务复杂性：未来的太空任务（如欧罗巴海洋探测、大型空间望远镜组装、在轨服务）需要更高的自主性，以应对动态复杂的环境和快速变化的任务需求。
• 核心问题：如何在保证安全的前提下，将强化学习（RL）应用于自由飞行机器人（Free-flyer）的 6 自由度（6-DOF）控制，并解决从仿真到现实（Sim2Real）的差距。

2. 方法论 (Methodology)

该研究提出了一个完整的“仿真训练 - 地面测试 - 在轨验证”管道，利用 NVIDIA Isaac Lab 和 Astrobee 机器人平台进行实验。

• 实验平台：
  • 硬件：NASA Astrobee 机器人（立方体，边长 30.5 厘米，利用风扇推进，具备 6-DOF 运动能力和 2-DOF 机械臂）。
  • 环境：美国海军研究实验室（NRL）的 APIARY 实验，最终在国际空间站（ISS）上部署。
• 强化学习框架：
  • 算法：采用基于 Actor-Critic 架构的**近端策略优化（Proximal Policy Optimization, PPO）**网络。
  • 仿真环境：使用 NVIDIA Isaac Lab（基于 Omniverse）构建零重力（Zero-G）环境。
  • 训练策略：
    • 域随机化（Domain Randomization）：在训练中随机化目标位姿（位置/姿态）和机器人的质量分布，以增强策略对现实世界不确定性的鲁棒性。
    • 输入/输出：
      • 观测值：位置误差、姿态误差、线速度、角速度。
      • 动作：力和力矩（Wrench），直接发送给 Astrobee 的力分配模块（FAM）。
      • 奖励函数：减少位姿误差给予正奖励，高速度运动给予负奖励。
• Sim2Real 迁移流程：
  1. 仿真训练：在 Isaac Lab 中训练 RL 策略。
  2. 仿真验证：在 NASA 的 Gazebo 模拟器（Astrobee 软件套件）中测试，替换原有的控制逻辑。
  3. 地面硬件测试：在 NASA 阿姆斯研究中心的 Granite Lab（花岗岩气浮台）进行 1G 环境下的 3-DOF 测试。
  4. 在轨飞行测试：在 ISS 上进行 6-DOF 零重力测试。
• 安全机制：设计了故障保护逻辑。当 RL 策略检测到位置误差超过阈值时，系统会自动切换回 Astrobee 原有的经典基线控制器（Baseline Controller），确保机器人姿态稳定，防止碰撞。

3. 关键贡献 (Key Contributions)

• 首次在轨 RL 控制：据作者所知，这是人类历史上首次在太空中使用强化学习控制自由飞行机器人（2025 年 5 月 27 日，ISS 上的 Astrobee）。
• 填补 Sim2Real 鸿沟：成功将基于 NVIDIA Isaac Lab 训练的 RL 策略迁移到真实的 Astrobee 硬件上，跨越了从仿真到 1G 地面测试，再到 0G 太空环境的巨大鸿沟。
• 低资源部署：证明了 RL 策略可以在低尺寸、重量和功耗（SWAP）的航天器机载计算机上运行，无需额外的计算资源。
• 快速开发范式：展示了利用 RL 可以在几分钟到几小时内开发并部署针对特定太空任务（如组装、物流）的定制化行为，相比传统方法显著缩短了开发周期。

4. 实验结果 (Results)

• 仿真与地面测试：
  • 在 Granite Lab 的 1G 仿真和硬件测试中，RL 策略能够成功执行 0.3 米的平移任务。
  • 虽然 RL 策略在轨迹跟踪精度上略逊于 NASA 原有的基线控制器（存在轻微的轴外漂移和旋转偏差），但其表现仍在 Astrobee 定义的成功阈值范围内。
• 在轨飞行测试（ISS）：
  • 任务执行：在约 7 分钟的测试窗口内，完成了 8 个机动动作，包括：
    1. 脱离对接（+0.5 米 X 轴平移）。
    2. 旋转（-20 度和 +20 度 Z 轴）。
    3. 单轴平移。
    4. 两次尝试重新对接（其中一次成功）。
  • 性能表现：RL 策略成功完成了脱离对接和旋转任务。在第一次重新对接尝试中，由于疑似定位问题导致失败，但安全恢复机制成功触发，系统自动切换回基线控制器，保持了机器人稳定。
  • 最终验证：第二次重新对接尝试在信号丢失的情况下由人工操作员触发，最终成功完成对接。
  • 误差分析：与基线控制器相比，RL 策略在最终位置误差和姿态误差上略大（例如在脱离对接时存在轻微过冲），但证明了其在零重力环境下控制 6-DOF 运动的可行性。

5. 意义与展望 (Significance)

• 技术验证：该实验验证了强化学习在太空机器人控制中的巨大潜力，特别是对于需要高自主性、快速适应新环境的任务（如大型空间结构组装、在轨服务）。
• 未来应用：
  • ISAM 任务：为未来的“在轨服务、组装和制造”（ISAM）任务铺平道路，特别是利用 RL 进行组装、集成和测试（AI&T）。
  • 复杂任务扩展：未来可应用于更复杂的任务，如交会对接（RPOD）、机械臂抓取与操作、适应未知物体参数变化以及故障恢复（如推进器失效）。
• 行业影响：虽然目前 RL 在形式化验证方面仍不如传统方法成熟，但此次成功演示表明，通过严格的仿真和地面测试，RL 可以成为提升太空任务效率和降低成本的关键技术。

总结：APIARY 实验是太空机器人自主控制领域的里程碑，它证明了强化学习不仅能在仿真中工作，还能在真实的、资源受限的太空环境中控制自由飞行机器人，为未来高度自主的太空探索任务奠定了坚实基础。