💻 computer science

Learning Object Manipulation from Scratch via Contrastive Interaction

本文介绍了交互加权重采样（Interaction-weighted Resampling, IWR），这是一种通过保留交互诱导的动态模态边界来增强对比强化学习在物体操纵任务中的表现的方法，从而提高了样本效率，并实现了首个真实世界的目标条件机器人气垫曲棍球智能体。

原作者： Tongle Shen, Caleb Chuck, Fan Feng, Biwei Huang

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tongle Shen, Caleb Chuck, Fan Feng, Biwei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：教会机器人“感受”接触的瞬间

想象一下，你正在教一个孩子玩气垫冰球。你不会只是告诉他们：“移动球杆。”你会教他们去关注球杆击中冰球的那一刻。那极其短暂的接触瞬间就是一切——它改变了冰球的方向、速度和未来的路径。

本文认为，目前用于教导机器人的 AI 方法在学习这种特定的接触瞬间方面表现不佳。它们将整个游戏视为一种平滑、连续的滑动，从而忽略了机器人真正与物体发生交互的那个关键“碰撞”点。作者提出了一种名为**交互加权重采样（Interaction-Weighted Resampling, IWR）**的新方法，该方法迫使 AI 更加密切地研究这些关键的接触时刻。

问题所在：为什么标准 AI 在操控任务中表现挣扎

要理解这个问题，我们需要观察 AI 是如何学习的。这里使用的这种方法被称为对比强化学习（Contrastive Reinforcement Learning, CRL）。

地图的比喻：
把 CRL 想象成尝试绘制一张城市地图。

运动控制（行走/奔跑）： 这就像是在一片开阔平坦的田野上行走。地面平整且可预测。如果你向前迈出一步，你知道自己会到达哪里。这张“地图”很容易绘制，因为地形不会突然变化。标准的 CRL 非常擅长处理这类任务。
物体操控（抓取/撞击）： 这就像是在一个布满隐藏陷阱和突发电梯的城市中穿行。大部分时间你只是在行走（被动运动）。但突然之间，你踩到了陷阱门或抓住了扶手（交互）。这会瞬间改变你的运动轨迹。

失效模式：
标准的 CRL 试图为整个城市绘制一张平滑的地图。它会将平滑的行走和突然的跳变进行平均化。结果，它模糊掉了重要的细节。它没有意识到“抓取”物体与仅仅是“靠近”物体是完全不同的运动“模式”。由于忽略了这种区别，机器人的未来“地图”是错误的，导致它无法达成目标。

解决方案：交互加权重采样 (IWR)

作者意识到，AI 需要停止将每一时刻都视为同等重要。相反，它需要放大那些事物发生变化的时刻——具体来说，就是机器人接触物体的时刻。

荧光笔的比喻：
想象你正在通过阅读教科书来备考。

标准方法： 你以同样的速度阅读每一页。你花在枯燥的引言上的时间，与花在复杂公式上的时间一样多。最终，你会错过核心概念。
IWR 方法： 你使用荧光笔。你会快速略读无聊的部分，但当你遇到复杂的公式（即“交互”）时，你会停下来，用荧光笔标出，并多次重读。你强迫自己的大脑专注于难点。

IWR 的工作原理：

检测交互： 系统识别机器人何时即将接触、正在接触或刚刚接触物体。
重采样数据： IWR 不再让 AI 从随机时刻进行学习，而是迫使 AI 特别针对交互前后的过渡阶段进行练习。它创建了关于交互的“发生前、发生中、发生后”的快照。
学习“跳变”： 通过专注于这些快照，AI 能够学会识别动力学特性的变化。它不再试图预测平滑的滑动，而是开始预测由撞击或抓取引起的突然转变。

实验结果：从模拟到现实

研究人员在三个环境中测试了这种方法：

2D 动态控制： 在计算机模拟中移动物体。
机器人操控： 诸如拿起并放置物体之类的任务（Meta-World）。
机器人气垫冰球： 一种快节奏的游戏，机器人必须将冰球击入球门。

关键发现：

更好的学习效果： 在模拟实验中，与以往的方法相比，IWR 的性能平均提升了 19.8%。它在需要精确时机的任务（如击打移动中的冰球）中表现尤为出色。
现实世界的成功： 最令人印象深刻的结果是在现实世界中。他们使用这种方法训练了一个机器人手臂来玩气垫冰球。
- 之前的方法成功率仅为 25%。
- IWR 方法实现了 60% 的成功率。
- 至关重要的是，这是首次有目标导向的机器人智能体在现实世界中成功玩起气垫冰球。机器人不仅仅是碰到了冰球，它还学会了以足够的力度和精度去击球以得分。

为什么这很重要

论文表明，对于机器人能否很好地操控物体，它们不能仅仅学习“如何移动”。它们必须学习“如何交互”。通过迫使 AI 特别关注接触时刻（即“交互”），我们可以教会机器人处理复杂的动态任务，如进行体育运动或处理易碎物品，而不仅仅是平滑地四处走动。

局限性（论文中承认的部分）

仍是一种简化： 该方法仍然试图将复杂的、具有多种结果的交互拟合进单个模型中。这就像试图用一个音符来描述一场交响乐——比沉默要好，但并不完美。
依赖传感器： 目前，系统假设它知道确切的交互发生时间。在现实世界中，机器人需要更好的视觉和传感器来自动检测这一点。
样本需求量大： 该方法仍然需要大量的练习数据来进行学习，这可能导致过程缓慢且成本高昂。

技术摘要：通过对比交互从零开始学习物体操控

问题陈述

对比强化学习（Contrastive Reinforcement Learning, CRL）在目标条件机器人任务（尤其是运动控制）中取得了成功，通过学习动力学的结构化表示。然而，CRL 在具有丰富交互特征（如接触、抓取）的以物体为中心的操控任务中表现得非常吃力。

作者指出其核心难点在于交互引起的动力学模式变化。与通常遵循平滑、单模态动力学（可用线性高斯模型近似）的运动控制不同，操控涉及分段平滑的动力学，系统会在“被动”（无接触）和“交互”（有接触）模式之间切换。

失效模式： 标准 CRL 假设未来可达性具有平滑的几何结构。但在操控任务中，交互创造了分段非线性的可达性结构。标准 CRL 的能量函数倾向于“抹平”关键的交互边界，无法捕捉决定未来可达性的不同模式变化。
采样与误差传播： 在标准 CRL 采样下，交互事件往往是稀疏且隐性的。如果采样的未来轨迹错过了交互转换过程，模型将无法获得关于模式切换的直接监督。此外，估计交互“桥梁”时的误差会传播到随后的被动动力学中，导致在接触点附近产生脆弱的能量估计和不准确的策略梯度。

方法论：交互加权重采样 (IWR)

为了解决标准采样下交互识别能力弱的问题，作者提出了交互加权重采样 (Interaction-weighted Resampling, IWR)。该方法通过重新塑造对比训练分布，而不改变底层的 CRL 评论家（Critic）目标函数。

核心机制

分解状态表示： 将状态分解为一个驱动因子（如机器人末端执行器）和一个目标因子（如物体）。
交互加权： 对于给定的锚点状态-动作对 $(s, a)$ ，算法考虑来自同一轨迹的一组候选未来目标 $g_k$ 。它计算在时间 $t+k$ 时，驱动因子与目标因子之间的距离 $d_{t+k}$ 。
软加权函数： 为每个候选未来分配一个软交互权重 $w_k$ ，该权重基于其与预定义交互阈值 $c$ （例如接触距离）的接近程度：
$w_k = \epsilon + \exp\left(-\frac{\|d_{t+k} - c\|^2}{2\sigma^2}\right)$
其中， $\epsilon$ 确保全局覆盖， $\sigma$ 控制交互窗口的宽度。
重采样： 根据这些权重对正向未来目标进行重采样，优先考虑那些经过交互阈值（即两种模式之间的“桥梁”）的轨迹。
训练循环： 重采样后的正向样本被用于标准的 InfoNCE 式 CRL 目标函数以更新评论家。随后，策略通过最大化学习到的目标达成能量来进行更新，从而形成一个自我改进的循环，使策略能够收集富含交互相关数据的全新转换。

主要贡献

原则性分析： 作者提供了理论分析，证明了为什么 CRL 在操控任务中会失败。他们将操控形式化为一个模式切换动力系统，并展示了交互引起的模式变化如何产生违反标准 CRL 单算子高斯假设的分段非线性结构。
IWR 算法： 他们引入了交互加权重采样，这是一种简单且符合原则的方案，通过将有效训练分布转向与交互相关的转换，从而改善了对模式边界的表示。
实证验证： 该方法在多个领域得到了验证：
- 2D 动态控制： Box2D 操控任务。
- 机器人操控： Meta-World 任务（PUSH, PICK-PLACE, SWEEP-INTO, PEG-INSERT）。
- 机器人气动手球（Air Hockey）： 一个复杂的、高速交互的任务。
实现从仿真到现实的迁移： 该论文展示了首个能够在现实世界中击中目标的条件目标机器人气动手球智能体，该智能体完全通过使用 IWR 的仿真到现实（sim-to-real）流水线进行训练。

结果

仿真性能： 在 2D 操控、Meta-World 和气动手球仿真中，IWR 优于先前的 CRL 方法（SGCRL, CRTR）以及基于奖励的基准方法（PPO, SAC）。
- 平均提升： IWR 比先前的 CRL 方法平均提升了 19.8%。
- 稀疏交互任务： 在交互稀疏但必要的任务中（例如 Box2D “困难”变体、Meta-World PICK-PLACE），增益最为显著，其中 PICK-PLACE 的提升高达 86.9%，Box2D 困难变体提升达 54.8%。
现实世界性能：
- 在气动手球现实世界迁移实验中，IWR 将成功率从（最佳基准方法的）25% 提高到了 60%。
- 与其他无法持续击中球的方案（0/20 次成功）相比，IWR 实现了 12/20 次成功。
- 作者将其归功于 IWR 能够学习到更鲁棒的策略，能够持续诱导足够的接触力，而其他方法在一次交互失败后往往会导致无法恢复的失败。

重要性与主张

论文声称，交互丰富的操控对标准 CRL 构成了根本性挑战，因为这种挑战源于平滑的对比表示与分段非线性动力学之间的不匹配。

归纳偏置： IWR 通过显式地将学习过程聚焦于动力学模式切换的“桥梁”转换，为处理这种复杂性提供了一个实用的归纳偏置。
泛化性： 该方法提高了样本效率和整体性能，特别是在交互稀疏或复杂的任务中。
现实可行性： 通过在真实机器人上成功部署目标条件的空气球智能体，证明了解决交互动力学表示对于将无监督学习从仿真迁移到现实至关重要。

作者也谦虚地指出了局限性：IWR 仍依赖单模态模型来处理多模态动力学（仅改变采样方式而非模型架构），假设状态是分解的且依赖启发式交互指标，目前面临的样本效率成本限制了其在没有仿真到现实迁移情况下的直接现实训练。未来的工作建议将 IWR 与端到端感知系统及其他无监督强化学习方法相结合。