💻 computer science

Learning to Pick: A Visuomotor Policy for Clustered Strawberry Picking

本文提出了一种基于人类演示的草莓采摘机器人系统，该系统结合 4 自由度 SCARA 机械臂与端点辅助动作分块 Transformer（ACT）策略，有效解决了草莓在枝叶遮挡下的精细抓取难题，并在多种遮挡场景下显著优于传统 ACT 方法。

原作者： Zhenghao Fei, Wenwu Lu, Linsheng Hou, Chen Peng

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhenghao Fei, Wenwu Lu, Linsheng Hou, Chen Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的故事：如何让机器人像人类一样，灵巧地摘取那些藏在叶子堆里、被挤在一起的草莓。

想象一下，草莓不是像苹果那样孤零零地挂在树上，而是像一群调皮的孩子挤在一起，有的被大叶子挡住，有的被还没成熟的青草莓挤着。传统的机器人摘草莓，就像是一个只会走直线的“死板工人”，它看到草莓被挡住，就不知道该怎么办了，要么撞上去把草莓弄坏，要么干脆放弃。

为了解决这个问题，研究团队开发了一套**“看、学、做”**的机器人系统。我们可以用三个生动的比喻来理解他们的工作：

1. 机器人手臂：像“长臂猿”的 4 关节机械臂

传统的机器人手臂通常有 6 个关节（像人的手臂一样灵活），但这对于在狭窄的草莓架下工作来说，既贵又太复杂。

比喻：他们选用的是一种4 关节的 SCARA 机械臂。你可以把它想象成一只长臂猿的手臂，虽然关节少一点，但在水平面上移动非常灵活、快速且精准。它专门设计用来在像“桌面农场”这样空间有限的地方工作，就像长臂猿在树枝间穿梭一样，能轻松绕过挡路的叶子。

2. 学习方法：不是“死记硬背”，而是“看人做”

以前的机器人是程序员写代码告诉它：“如果看到叶子，就向左转 15 度”。但这在复杂的草莓丛里根本行不通，因为每颗草莓的情况都不一样。

比喻：他们采用了**“模仿学习”。这就好比教一个小孩子学骑自行车，不是给他一本厚厚的说明书，而是让他坐在后座，看大人怎么骑**。
具体做法：研究人员设计了一个**“远程遥控系统”。人类操作员戴着特制的手套，像玩电子游戏一样，实时控制机械臂去摘草莓。机器人会记录下人类每一次如何拨开叶子、如何轻轻推挤旁边的果实、最后如何精准地剪断果梗的动作。机器人通过观察这 500 多次“人类示范”，学会了这种“手感”**。

3. 核心算法（EPACT）：给机器人装上了“终点导航”

这是论文最厉害的地方。他们改进了一种叫 ACT 的算法，给它加了一个新功能，叫**“终点姿态辅助”**（End Pose Assisted）。

比喻：普通的机器人学动作，就像是在**“蒙眼走迷宫”**，它只关心“我的关节要转到多少度”，容易走偏。
改进后：新的算法（EPACT）就像给机器人装了一个**“终点导航仪”。在规划动作时，它不再只盯着关节怎么动，而是先想清楚“我的爪子（手）最终要到达什么位置和角度”**（比如：必须正好卡在草莓梗的上方）。
- 它先预测“手要去哪里”，然后再反推“关节该怎么动”才能到达那里。
- 这就像你伸手去拿桌上的杯子，你的大脑首先锁定的是“杯子”，然后指挥手臂去够，而不是先计算肩膀转多少度、手肘弯多少度。这种**“以结果为导向”**的学习，让机器人在面对遮挡时，能更精准地找到下手点。

4. 眼睛（摄像头）：立体视觉的“上帝视角”

为了看清被挡住的草莓，他们在机械臂的手腕上装了两个摄像头，一个朝上，一个朝下。

比喻：这就像人既有左眼又有右眼，甚至像无人机一样，既能看上面也能看下面。
效果：当草莓被叶子挡住时，单眼摄像头可能什么都看不见，但双眼（双摄像头）配合，就能像3D 眼镜一样，帮机器人构建出草莓周围的立体空间，知道哪里有空隙可以钻过去。

实验结果：从“笨手笨脚”到“灵巧大师”

传统方法：在草莓挤在一起的情况下，成功率只有 35%（经常失败或弄坏草莓）。
新方法（EPACT）：成功率提升到了 70% 以上！
表现：机器人学会了像人类一样，先轻轻把挡路的叶子拨开，或者把旁边的青草莓推开，然后精准地剪断目标草莓的梗。这种**“见招拆招”**的灵巧度，是传统写死代码的机器人完全做不到的。

总结

这篇论文的核心贡献在于：

不用复杂的 6 关节手臂，用更便宜、更高效的 4 关节手臂也能干好活。
不用死板的规则，而是通过**“看人做”**让机器人学会处理复杂的遮挡。
加了“终点导航”，让机器人不仅知道怎么动，更知道**“要去哪”**，大大提高了摘草莓的精准度。

虽然目前机器人还在实验室里用假草莓练习，偶尔也会犯错，但这证明了**“模仿人类灵巧动作”**是未来农业机器人摘取娇嫩水果（如草莓、葡萄）的一条非常有希望的道路。未来的草莓采摘，可能不再是人类弯腰流汗，而是由这些学会了“手感”的机器人来轻松完成。

这是一份关于论文《Learning to Pick: A Visuomotor Policy for Clustered Strawberry Picking》（学会采摘：一种用于集群草莓采摘的视觉运动策略）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：草莓通常以集群（Clustered）形式生长，果实与叶片、茎秆及其他果实交织在一起，导致严重的遮挡（Occlusion）问题。
现有局限：
- 传统的“感知 - 规划 - 控制”（Percept-Plan-Control）流水线在处理此类复杂场景时表现不佳。它们难以在遮挡环境下进行精确的深度估计、轨迹规划以及与柔软、非刚性物体（如茎叶）的交互。
- 草莓果实脆弱，采摘需要类似人类的灵巧操作（Dexterous Manipulation），即需要绕过障碍物或轻轻拨开遮挡物，精准定位到果柄与萼片连接处进行切割。
- 现有的商业化采摘机器人尚未解决这一难题，主要受限于对复杂场景的理解和动态适应能力。
目标：开发一种基于学习的机器人系统，能够直接从人类演示中学习，在高度遮挡的集群草莓环境中实现灵巧采摘。

2. 方法论 (Methodology)

2.1 系统硬件架构

机械臂：采用4-自由度（4-DoF）。
- 选择理由：草莓通常在垂直农业的桌面平台上水平种植，空间受限。SCARA 臂的平面运动特性与采摘任务高度匹配，且相比 6-DoF 机械臂成本更低、循环时间更快、控制更简单。
数据采集：设计了一套远程遥操作（Teleoperation）系统。
- 人类操作员通过双机械臂接口直接控制 SCARA 机械臂。
- 末端执行器配备两个相机（顶部和底部），用于同步采集图像和关节角度数据，构建高质量的端到端视觉运动策略训练数据集。

2.2 算法核心：EPACT (End Pose Assisted Action Chunking with Transformers)

论文在现有的 **ACT **(Action Chunking with Transformers) 算法基础上进行了改进，提出了 EPACT 算法。

核心思想：传统的 ACT 直接预测关节角度，但在草莓采摘中，末端执行器（End-Effector）的位姿精度至关重要。微小的关节角度偏差可能导致末端位姿的巨大误差。EPACT 引入了末端位姿辅助（End Pose Assisted）机制。
工作流程：
1. 策略网络首先预测机器人的6D 末端位姿序列（位置 + 姿态）。
2. 通过一个基于神经网络的逆运动学（Inverse Kinematics, IK）模块，将预测的末端位姿解码为 4-DoF 机械臂的关节角度。
3. 引入末端位姿损失（End Pose Loss, $L_{ep}$ ），在训练过程中强制策略网络关注末端位姿的准确性，而不仅仅是关节角度的重建。
两种变体架构：
1. **EPACT-L **(Latent)：使用统一的动作头，尝试从预测的 6D 位姿中隐式推断出 5D 动作向量（4 个臂关节 + 1 个夹爪状态）。夹爪的开合状态依赖于 Transformer 隐藏状态的辅助信息。
2. EPACT-EE (End-Effector)：采用解耦（Decoupled）设计。
  - 分支 1：将预测的 6D 位姿输入 IK 模块，解码为 4D 臂关节动作。
  - 分支 2：直接从 Transformer 的共享隐藏状态预测 1D 夹爪动作。
  - 两者拼接形成最终动作。这种设计假设将空间目标（臂）与二值动作（夹爪）分离能提高策略的鲁棒性。

2.3 数据收集与实验设置

场景：构建了人工草莓采摘场景，使用柔性导线模拟茎秆，磁吸结构模拟果实连接，红/白橡胶草莓模拟成熟/未成熟果实。
数据集：收集了 511 次 人类演示数据，涵盖 6 种不同的遮挡场景（从非遮挡到复杂的双/三果集群遮挡）。
输入：单目或双目（顶部 + 底部）RGB 图像 + 机械臂关节状态。

3. 主要贡献 (Key Contributions)

专用数据采集系统：开发了集成 4-DoF SCARA 机械臂与人类遥操作接口的远程数据采集系统，专门针对草莓采摘任务。
4-DoF 机械臂的可行性验证：证明了使用成本更低的 4-DoF SCARA 机械臂配合学习策略，可以有效替代常见的 6-DoF 机械臂进行集群草莓采摘。
首次成功部署：据作者所知，这是首次通过模仿学习成功在真实（人工模拟）集群草莓环境中部署灵巧的视觉运动策略。
**算法改进 **(EPACT)：提出了 EPACT 算法，通过引入末端位姿损失和基于神经网络的逆运动学模块，显著提升了采摘成功率。
全面的遮挡评估：系统评估了不同遮挡配置对算法性能的影响，并分析了多视角相机输入对策略表现的作用。

4. 实验结果 (Results)

成功率对比：
- 在 6 种遮挡场景的测试中，EPACT-EE 的平均成功率达到了 71.7%，EPACT-L 为 66.7%。
- 相比之下，原始 ACT 算法的平均成功率仅为 35.0%。
- EPACT 变体将平均成功率提升了 36.7% - 41.7%，证明了末端位姿辅助机制的有效性。
泛化能力：
- 在训练数据中未包含的“非遮挡”基准场景（State 0）中，最佳策略（EPACT-EE）的成功率仅为 70%，表明单纯依靠模仿学习在泛化到未见过的简单任务时仍存在挑战。
相机视角影响：
- 多视角（顶部 + 底部）输入的性能显著优于单视角，因为多视角提供了更好的 3D 几何理解和遮挡处理能力。
- 不同架构（EPACT-L vs EPACT-EE）对相机视角的偏好不同，表明视觉信息处理方式存在差异。
真实场景迁移：
- 在初步的真实草莓采摘实验中，虽然受限于仿真到现实的差距（Sim-to-Real Gap），但 EPACT-EE 策略仍成功演示了绕过茎秆采摘集群草莓的案例，证明了其具备迁移到真实农业环境的潜力。

5. 意义与展望 (Significance & Conclusion)

技术突破：该研究展示了基于模仿学习的视觉运动策略在处理非刚性、高遮挡、高精细度农业任务中的巨大潜力，超越了传统基于几何建模和规划的方法。
实际应用价值：
- 证明了低成本 4-DoF 机械臂在特定农业场景下的适用性，有助于降低自动化采摘的硬件门槛。
- 提出的 EPACT 算法为处理需要精确末端位姿的灵巧操作任务提供了新的思路。
局限与未来方向：
- 数据需求：目前仍需大量演示数据（511 次）才能达到较好效果，未来需开发便携式数据采集设备或利用仿真数据预训练。
- 泛化性：对环境变化（光照、果实形态）的鲁棒性仍需提升。
- 混合系统：作者建议未来可构建混合系统，对简单非遮挡场景使用传统方法，对复杂遮挡场景使用学习策略，以兼顾效率与成功率。

总结：这篇论文通过结合 4-DoF SCARA 机械臂、遥操作数据采集以及改进的 Transformer 模仿学习算法（EPACT），成功解决了一个极具挑战性的农业机器人任务——在高度遮挡的集群中灵巧采摘草莓，为未来农业机器人的智能化发展提供了重要的技术参考。