🤖 machine learning

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

本文介绍了一种用于 LeHome Challenge 2026 的获奖双臂服装折叠系统，该系统通过利用自监督强化学习循环来增强视觉-语言-动作策略，其中策略自身对成功和进度的预测驱动了优势估计和失败检测，并辅以包括流匹配、分布式训练以及鲁棒的仿真到现实迁移在内的全面工程优化，从而实现了顶尖排名。

原作者： Ilia Larchenko

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ilia Larchenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人正试图折叠一件凌乱的 T 恤或一条裤子。这对我们来说很简单，但对于机器人而言，一块布料就像一条混乱、滑溜且每次被触碰都会改变形状的“滑溜蛇”。这篇论文描述了作者 Ilia Larchenko 如何构建了一个“机器人大脑”，并凭借此在模拟赛中获得第一名，在现实世界竞赛中获得第二名。

以下是他如何实现这一目标的完整故事，通过简单的概念进行了拆解。

1. 问题所在：机器中的“幽灵”

机器人需要使用两只手臂来折叠四种类型的衣物（长袖/短袖上衣、长裤/短裤）。

难点： 机器人并不知道自己手里拿的是什么。它必须先观察衬衫，搞清楚“这是一件 T 恤还是一条裤子？”，然后才能开始折叠。
奖励机制： 只有当衬衫在最后被完美折叠时，机器人才会得到一个“金星”（奖励）。如果中途出错，它将一无所获。这就像是学习骑自行车，但只有当你到达终点线且从未摔倒时，才会得到一块饼干。

2. 解决方案：一个“自我教学”的循环

作者并没有仅仅通过模仿人类演示来学习（那就像是通过看视频来学习游泳），而是构建了一个通过实践、失败并不断尝试的系统。他称之为**“飞轮”（Flywheel）**。

可以将其想象成一个工厂里的三人团队：

训练员（The Trainer）： 负责研究数据并更新机器人大脑的老师。
奔跑者（The Runners）： 一群在视频游戏（模拟器）中的机器人，它们每天尝试折叠衣物数千次。
人类助手（The Human Helper）： 当机器人卡住时，人类介入进行修复，让机器人重新尝试。

这三者并不直接交流，而是通过一个共享的数字信箱（HuggingFace Hub）投递笔记。训练员阅读笔记，学习，并将新的“大脑更新”投回信箱。奔跑者领取更新并再次尝试。

3. 核心秘诀：机器人是自己的计分员

通常在机器人技术中，需要一个大脑来决定“做什么”，以及另一个独立的大脑来预测“做得如何”。作者将两者合二为一。

神奇的技巧： 决定“抓取袖口”的同一个神经网络，同时也预测“我有 80% 的概率成功”以及“我已经完成了 40%”。
为什么有效： 因为机器人能实时了解自己的得分，所以它能学得更快。如果它预测自己会失败，它就知道该尝试不同的动作。这就像一个学生不仅在参加考试，还能立即为自己的答案评分，以查看哪里出了错。

4. 从错误中学习（“重放”策略）

作者意识到，仅仅是练习是不够的。你需要练习那些“难点”。

硬挖掘（Hard Mining）： 当机器人失败时，系统会保存那个精确的瞬间（就像视频游戏中的“存档点”）。然后，它会加载这个失败的状态并再次尝试，但这次会加入额外的“噪声”（如光照或布料纹理的随机变化）来增加难度。
人类触碰（The Human Touch）： 当机器人真正陷入困境时，人类接管控制权仅几秒钟来修复衣服，然后将控制权交还。机器人从这些微小的修正中学习。这被称为 DAgger（一个关于“向人类修正学习”的专业术语）。

5. “神奇眼镜”（推理优化）

即使拥有聪明的大脑，如果机器人移动得太快或太慢，也会变得笨拙。作者发现，通过在机器人“思考”的最后一刻进行微调，性能大幅提升。

类比： 想象你在做一道选择题。你不是直接选出脑子里跳出的第一个答案，而是快速在脑中生成三个不同的答案，根据你的直觉（分数）检查哪个感觉“最好”，然后选出那一个。
汤普森采样（Thompson Sampling）： 作者使用了一种数学博弈方法（类似于老虎机），自动为每种类型的衣服确定最佳设置（例如：“对于短裤，动作慢一点；对于长裤，抓取紧一点”），而无需手动测试每一种组合。

6. 现实世界的挑战：从视频游戏到现实

最难的部分是从计算机模拟转向现实房间里的真实机器人。

物理学的“恐怖谷”： 在模拟器中，衣服看起来很完美。但在现实中，光照不同，摄像头稍微歪了，机器人的手臂也有一些“间隙”（反向间隙/回程误差）。
解决方法： 作者并没有试图让机器人变得完美。相反，他让训练数据变得“混乱”。他教机器人如何在黑暗中、在阳光下、在摄像头倾斜的情况下、以及在机器人以不同速度移动的情况下折叠衣服。
结果： 通过训练机器人在混乱中保持舒适，它在面对现实世界时不会惊慌。这就像是在风暴海洋中训练冲浪者，这样在平静的海滩上就会显得轻而易举。

7. 最终成果

模拟环境： 机器人的折叠成功率达到了 79.6%，击败了其他 61 支队伍。
现实世界： 它在最终比赛中获得第二名，在真实的机器人上成功折叠了真实的衣物。

核心启示

作者承认这并不是一个受控变量的完美科学实验。这是一种“把厨房水槽倒进去”的方法——将所有有用的工具（强化学习、人类反馈、重度数据增强和智能预测）全部投入其中，直到奏效。

主要的启示是：对于要处理像衣服这样杂乱、不可预测之物的机器人，它们需要能够预测自身的成功，从人类的修正中学习，并且要在混乱多变的各种环境中接受训练，这样当现实情况与视频游戏不符时，它们才不会感到困惑。

技术总结：在 LeHome Challenge 2026 中学习折叠

问题定义

本文针对 LeHome Challenge 2026 展开讨论，这是一项专注于双臂机器人操作可变形物体（衣物）的竞赛。任务要求使用配备两个 6 自由度机械臂（SO-ARM101 设置）和三台 RGB 摄像头的机器人，对平铺在桌面上的四种类型衣物（长袖/短袖上衣、长裤/短裤）进行折叠。

挑战分为两个阶段：

在线轮次（仿真）： 参赛队伍在 NVIDIA Isaac Sim 中进行竞争。成功判定是基于二进制且几何定义的，即满足特定的关键点距离条件（例如：袖口相遇、下摆对齐）。数据集包含 10 种“已见”衣物（带有脚本演示数据）和 10 种“未见”衣物（2 种公开，8 种私有，无训练数据）。
实物决赛： 顶尖队伍需在物理机器人上部署。成功标准包括对中间步骤的部分评分，由评审团判定。一个关键约束是输入中不提供衣物类型；策略必须自行推断该类型。

识别出的核心挑战包括：可变形织物的特性（对轨迹高度敏感）、稀疏的二进制奖励、在无训练数据的情况下对未见衣物的泛化能力，以及极具难度的从仿真到现实（sim-to-real）的迁移——因为开发期间无法接触到用于评估的机器人。

方法论

本方案是一个工程案例研究，结合了视觉-语言-动作（VLA）策略与强化学习（RL）循环，而非受控的消融实验研究。

1. 策略架构

系统构建于 $\pi_0.5$ 架构之上（该架构在 BEHAVIOR-1K Challenge 2025 中得到了扩展），该架构使用冻结的 SigLIP 图像编码器、Gemma-2B 前缀 Transformer 以及一个通过 流匹配（flow matching） 生成 30 步动作块（action chunks）的 Gemma-300M 动作专家。

针对 LeHome 的修改：
- 衣物类型 Token： 使用学习到的嵌入（embedding）取代文本提示。在推理期间，通过一个“System-2”引导过程在回合开始时预测衣物类型，以约束后续的展开过程。
- 优势调节（Advantage Conditioning）： 策略受学习到的优势 Token（RECAP 风格）调节，从而在推理时实现无分类器引导（CFG）。
- 多信号 AdaRMS： 通过学习到的向量将优势和衣物类型注入动作专家的层归一化（layer norms）中，以强化调节效果。
- 排他性自注意力（Exclusive Self-Attention, XSA）： 应用于防止 Token 平庸地路由自身数值，从而提高训练稳定性。
- 平滑归一化： 对动作增量进行逐时间步归一化，以处理类似随机游走轨迹中不断增长的方差。

2. 作为自身价值函数的策略

VLA 模型并未使用独立的评论家（critic）网络，而是包含了辅助线性头来预测：

成功概率： 作为价值函数（ $V$ ）。
完成进度： 预测 $t/T$ ，用于基于势能的奖励塑造（potential-based shaping）。
关键点距离： 预测用于成功检查器的具体比例。
未来预测： 一个“Q 函数”头预测 30 帧后的成功残差（ $\Delta_{success}$ ），该预测以提议的动作块为条件。这实现了推理时的 Best-of-N 选择。

3. RL 训练循环（飞轮效应）

系统使用一个通过 HuggingFace Hub 进行通信的异步流水线：

算法： 结合了 AWR（优势加权回归）和 RECAP（优势调节）。
- AWR： 高优势值的帧会被更频繁地采样（ $P \propto e^{A/\beta}$ ），而不是在损失函数中进行重新加权，从而确保高价值数据实现 100% 的批次利用率。
- RECAP： 优势被作为输入 Token 传入，使模型能够学习“仅预测优质动作”，并支持推理时的 CFG。
数据策略：
- 多数据集采样： 加载器混合了行为克隆（BC）数据、RL 展开数据以及 DAgger（人类在环）数据。
- 衰减机制： RL 数据随时间逐渐衰减，以优先处理在策略（on-policy）数据。
- 恢复机制： DAgger 循环允许人类在仿真或实物机器人中修复失败状态（尽管在仿真中实施困难）。
- 回滚机制： 训练过程会定期回滚到较旧的检查点，利用新鲜的离策略（off-policy）数据来跳出局部最优。

4. 奖励与优势设计

由于真实的奖励是二进制的，系统设计了稠密的中间奖励：

检查点： 当达到特定关键点距离里程碑时，授予中间奖励（0.5）。
失败撤回： 如果回合失败，所有累积的奖励将被撤回，以维持二进制回报，防止模型通过“钻空子”来获取中间状态的奖励。
优势估计： 使用结合了阻尼成功概率和完成进度的广义优势估计（GAE）。对于过时的展开数据，优势会优雅地降级为 GRPO 风格的相对成功信号。
精度提升： 满足条件的成功回合会获得额外的优势奖励，以鼓励高质量的折叠。

5. 推理时优化

同一检查点在部署时无需重新训练即可进行优化：

汤普森采样（Thompson Sampling）： 在展开数据收集期间，利用多臂老虎机算法针对每种衣物类型调整超参数（执行长度、引导尺度、噪声温度、候选数量）。
Best-of-N： 从相同的序列前缀中采样多个动作块；执行其中预测 $\Delta_{success}$ 最高的那个。
软补全（Soft Inpainting）： 通过锚定重叠的动作块，确保轨迹平滑且具有模式粘性（mode stickiness）。

6. Sim-to-Real 迁移

实物转化的过程是一场“冲刺”，涉及：

模型剪枝： 移除了仅限仿真的头部（关键点距离、世界模型）和优势调节，仅保留动作专家、衣物类型头和完成进度头。
数据混合： 在组织者提供的 BC 数据、个人遥操作/DAgger 数据以及经过重度增强的仿真重放数据上进行微调。
对齐与增强： 使用相机叠加工具将物理装置与目标对齐。应用极端的增强手段（色彩抖动、噪声、相机掉落、运动强度缩放）来弥合领域差距。
实物机器人上的 DAgger： 通过在策略失效时由人类介入并记录，收集恢复数据，并根据与干预的接近程度对帧进行加权。

结果

在线轮次（仿真）： 在 62 支队伍中获得 第 1 名，总成功率为 79.63%，领先第二名 6.1 个百分点。
- 各类型表现：长袖上衣 (74.5%)，短袖上衣 (70.0%)，长裤 (80.5%)，短裤 (93.5%)。
实物决赛： 获得 第 2 名。得分为 865 分（满分 1080 分）。
- 策略成功折叠了未见过的衣物并处理了物理机器人的动力学问题，尽管它在很大程度上依赖 DAgger 数据进行恢复，而非自主探索。

重要性与主张

作者将这项工作定位为一项 工程案例研究 而非受控的科学实验，指出该系统是在竞赛压力下迭代构建的，缺乏详尽的消融研究。

实用配方： 本文声称其解决方案是组合现有理念（AWR, RECAP, Flow Matching, DAgger）的“配方”，这些理念可以单独或组合使用。
策略即价值函数： 它证明了单个 VLA 模型可以有效地同时充当策略和价值函数（成功/完成预测器），从而简化了训练流程并实现了高效的 Best-of-N 选择。
推理时调优： 研究强调，通过优化推理超参数（通过汤普森采样），可以在不进行额外训练的情况下获得显著的性能提升。
通过多样性实现 Sim-to-Real： 作者认为，通过重度增强和刻意的装置随机化，结合“仿真-到-现实-再-到-现实”的迁移策略，即使在无法接触评估机器人时，也能克服显著的领域差距。
局限性： 作者承认系统缺乏鲁棒的 自主探索/恢复能力。策略擅长精炼已知行为，但在面对完全超出其训练分布的状态时，难以在没有人类干预（DAgger）的情况下实现恢复。作者建议，将仿真阶段的 RL 机制与决赛阶段的实物恢复数据相结合，有望实现超过 90% 的成功率。