🤖 machine learning

Reward-Free Continual Adaptation for Resilient Space Robots

本文介绍了一种无奖励持续学习框架，该框架通过利用预训练的潜在状态世界模型，经由无监督展开（unsupervised rollouts）来更新转移动力学，并在想象的轨迹上训练策略，从而使空间机器人能够通过适应严重的硬件退化来应对挑战，且无需在部署期间获取难以获取的奖励信号。

原作者： Andrej Orsula, Miguel Olivares-Mendez, Carol Martinez

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrej Orsula, Miguel Olivares-Mendez, Carol Martinez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

太空是一个机器必须独自工作的场所，远离人类双手的帮助。几十年来，工程师们通过给予机器人严格的指令，或者让它们通过试错法进行学习（一种被称为强化学习的方法），来教会机器人如何移动。在这种学习过程中，机器人尝试一个动作，如果成功了，它就会收到一个数字化的“奖赏”或奖励信号，告诉它再次执行该动作。这种系统在受控环境中表现良好，因为计算机可以立即计算出机器人的表现究竟有多好。然而，在广袤、无人追踪的太空虚空中，并没有摄像头或传感器来告诉机器人它是否移动正确。由于缺乏衡量成功的方法，机器人无法获得它学习或适应所需的奖励信号。这产生了一个危险的问题：如果太空机器人损坏或磨损，它无法修复自己的行为，因为它无法知道自己是否正在失败。

卢森堡大学的一个研究小组提出了一种解决此问题的新方法，允许机器人在不需要知道自己是赢是输的情况下进行适应。他们的方法依赖于一个“世界模型”的概念，这本质上是机器人在其计算机内部构建的一个心理地图。在机器人离开地球之前，科学家们在数千个不同的计算机模拟中对其进行训练，让它经历可能遇到的每一种地形、重力和机械故障。在这些训练过程中，机器人学到的不仅是如何移动，还包括如何预测接下来会发生什么，以及什么是“好的”结果，即使它看不见最终的结果。研究人员发现，这个心理地图包含了一种对成功的隐藏理解，一种即使在看不见终点线时也能指引机器人前进方向的内在指南针。

他们发现的核心在于一种在机器人已经在太空且发生故障时更新此心理地图的方法。想象一辆在火星上行驶的漫游车，突然失去了控制其右前轮的能力。在传统系统中，机器人会陷入困境，因为它无法计算出引导其新动作的奖励信号，因此无法学习如何在轮子损坏的情况下驾驶。然而，研究人员的新系统会冻结机器人大脑中理解“奖励是什么样”的部分。然后，它利用机器人自身的运动来仅更新预测世界如何变化的部分。通过观察损坏的轮子实际上如何带动机器人移动，该系统学习了损伤后的新现实。随后，它利用其预先训练好的对“好”结果的理解，完全依靠自身学习如何重新驾驶。

为了测试这个想法，研究人员运行了一系列严谨的模拟实验，涉及三个截然不同的太空任务。首先，他们模拟了一个拥有十二个电机的漫游车试图穿越崎岖、多石的地形。接着，他们模拟了一个拥有十二个推进器的航天器试图在轨道中导航。最后，他们模拟了一个拥有七个关节的机械臂试图极其精准地将螺栓旋入螺母。在每种情况下，他们都引入了突然且严重的故障：锁定漫游车的轮子、禁用航天器的三个推进器，以及弯曲机械臂末端的螺丝刀工具。这些故障的设计旨在如此严重，以至于仅针对正常机器进行训练的机器人将会彻底失败，无法完成任务。

结果显示，使用这种新方法的机器人能够从这些灾难中恢复，尽管存在一些局限性。当研究人员将这种自适应机器人与无法从错误中学习的机器人进行比较时，自适应机器人表现出了令人期待的初步恢复，而后者则失败了。它能够弄清楚如何移动其损坏的部分以仍然实现目标。然而，研究表明，缺乏奖励信号的智能体表现始终逊于允许其看到真实奖励信号的版本，而后者是现实中的太空机器人无法实现的。此外，学习曲线显示，在获得初步性能提升后，该智能体表现出了显著的波动性和衰减，尤其是在轨道和组装任务中。这表明，虽然机器人的内部地图强大到足以引导它度过失效初期的冲击，但如果没有来自现实世界的持续反馈，它很难长期保持完美的准确性。

这项工作代表了向使太空机器人真正具备韧性迈出的重要一步。它证明了，只要机器人预先学习了对世界运作方式的深刻理解，它就不需要被告知做得好不好就能学会如何修复自己的损坏动作。研究人员证明，通过将“什么是好的”与“事物如何运动”的知识分离，机器人可以适应太空中意想不到的现实。虽然目前的测试完全是在计算机模拟中进行的，但研究结果为那些人类干预无法实现的任务提供了一条充满希望的路径，在这些任务中，机器人必须能够在身体受损时依然能够生存并开展工作。无需奖励信号的学习能力将一个潜在的任务终止性故障转变为一个可解决的挑战，让我们离未来——即我们的机器人探索者能够真正抵御宇宙严酷环境的未来——又近了一步。

技术摘要：面向韧性空间机器人的无奖励持续适应技术

问题陈述

空间机器人运行在极端环境中，硬件退化（如车轮损坏、推进器失效、运动学失准）可能会严重破坏传统的控制策略。虽然持续强化学习（Continual Reinforcement Learning, RL）提供了一种在线适应机制，但其本质上依赖于部署期间对准确奖励信号的获取。在太空环境下，由于缺乏外部追踪系统、感知能力有限以及环境复杂性，精确的奖励计算通常是不可行的。例如，在缺乏特权状态信息的情况下，实时估计挖掘出的月壤体积或轨道机动效率是不可靠的。这种“不可观测奖励”的挑战为部署适应性学习系统制造了瓶颈，因为在人类干预受限且失败代价极高的太空环境中，这种需求尤为迫切。现有方法通常依赖于人工奖励工程或领域偏移处理，但在面对严重的形态变化（morphological failures）且缺乏新奖励数据时，往往无法有效应对。

方法论

作者提出了一种基于 DreamerV3 潜在状态世界模型架构的**无奖励持续适应（Reward-Free Continual Adaptation）**框架。该方法分为两个截然不同的阶段：

1. 世界模型预训练

智能体在多样化的模拟环境中进行预训练，利用领域随机化（改变重力、摩擦力、惯性属性等）。

架构： 该模型利用循环状态空间模型（RSSM）将高维观测值 ( $x_t$ ) 压缩为紧凑的随机潜在状态 ( $z_t$ )。
组件： 系统联合优化序列模型、前向动力学、编码器、解码器、奖励预测器和连续性预测器。
训练目标： 模型重建观测值、预测奖励 ( $\hat{r}_t$ ) 和回合连续性，并最小化先验与后验动力学之间的 KL 散度。一个 Actor-Critic 策略完全在由世界模型生成的潜在轨迹中进行训练，利用预测的奖励来学习底层任务结构。

2. 无奖励适应

在部署到具有严重硬件退化的环境时，智能体在不接收新外部奖励的情况下进行适应。

冻结机制： 观测编码器、解码器，以及至关重要的奖励预测器被冻结。这保留了预训练期间学习到的“潜在奖励图谱（latent reward landscape）”。
无监督展开（Unsupervised Rollouts）： 仅更新转移动力学（序列模型和前向动力学），通过在新的、退化的硬件上进行的无监督展开来进行。智能体收集本体感受数据，以学习针对转移动力学的修正增量（corrective delta）。
策略更新： Actor-Critic 策略完全在由更新后的世界模型生成的“想象”轨迹上进行重新训练。智能体利用冻结的奖励预测器，基于更新后的潜在表示接收有意义的奖励信号，从而使其能够在没有外部奖励反馈的情况下适应改变的动力学。
稳定性控制： 为了减轻灾难性遗忘，学习率降低了一个数量级，并在在线展开过程中注入高斯探索噪声。

核心贡献

无奖励适应框架： 本文引入了一种通过将动力学更新与奖励预测解耦来实现空间机器人持续学习的方法，依赖于预训练的潜在奖励结构。
潜在奖励假设： 研究证明了这样一个假设：在多样化模拟中预训练的世界模型本质上在其潜在空间内编码了鲁棒的奖励结构，即使转移动力学发生显著变化，该结构仍能提供引导。
基准测试： 作者提供了一个基准测试（Space Robotics Bench），并在三个不同领域评估了该方法：
1. 行星巡行： 一个带有锁定转向/驱动关节（车轮故障）的漫游车。
2. 轨道导航： 一个带有失效推进器（SE(3) 导航）的航天器。
3. 精密组装： 一个带有失准螺丝刀工具（运动学偏差）的机械臂。

实验结果

评估是在模拟环境（NVIDIA Isaac Lab）中进行的，严格区分了数据丰富的预训练阶段（2000 万步）和资源受限的适应阶段（60 分钟交互）。

基准模型： 将所提方法与零样本（zero-shot）基准、从头开始重新训练的智能体以及可以使用“特权”（真实）奖励的自适应智能体进行了对比。
性能表现：
- 零样本（Zero-Shot）： 由于未建模的动力学偏移，在所有领域均出现灾难性失败。
- 从头开始重新训练： 证实了任务的可解性，但也凸显了极低的样本效率。
- 特权奖励智能体： 实现了快速恢复，性能接近重新训练的基准线。
- 无奖励智能体： 展示了令人期待的初步恢复能力，证明了潜在世界模型可以在没有外部奖励的情况下引导适应。然而，该智能体的表现始终低于特权奖励基准。
观察到的局限性： 无奖励智能体表现出明显的波动性和后期性能衰减，尤其是在轨道导航和组装任务中。作者将其归因于随着在退化形态上更新转移动力学，潜在表示逐渐偏离了原始空间，导致冻结的奖励预测器随时间推移变得不再准确。

意义与主张

本文声称代表了迈向极端环境下**真正韧性自主性（truly resilient autonomy）**的重要一步。通过解决不可观测奖励这一关键瓶颈，该框架使机器人能够在无需人类干预或复杂的外部追踪系统的情况下，适应不可预见的硬件故障。

然而，作者对其目前的局限性保持了审慎的态度：

容量限制： 后期的性能衰减表明 RSSM 存在容量限制，即持续的动力学更新最终会覆盖预训练期间获得的泛化原则。
模拟-现实差距（Sim-to-Real Gap）： 本研究仅限于模拟环境，并未解决模拟与现实之间的差异问题。
计算约束： 在线适应所需的优化过程目前超出了空间级嵌入式计算模块严格的功耗限制，需要未来在高效原位学习（in-situ learning）方面取得突破。

未来的工作建议研究局部潜在空间适配器（localized latent-space adapters），以限制动力学更新并防止导致性能衰减的漂移现象。