Apple: Toward General Active Perception via Reinforcement Learning

本文提出了名为 APPLE 的通用主动感知框架，该框架利用强化学习联合训练基于 Transformer 的感知模块与决策策略，以解决机器人领域广泛存在的主动感知问题，并在 Tactile MNIST 等任务中展现了优异的分类与回归性能。

要点

这篇论文介绍了一种名为 APPLE 的新方法，它的名字很有趣，全称是“主动感知策略学习”（Active Perception Policy Learning）。

为了让你轻松理解，我们可以把机器人想象成一个在黑暗中摸索的盲人，而 APPLE 就是教这个盲人如何聪明地用手去摸东西，而不是盲目地乱抓。

1. 核心问题：为什么机器人需要“主动”去摸？

想象一下，你把手伸进一个杂乱的工具箱里找一把扳手。

• 被动感知（传统方法）： 就像你把手伸进去后，完全不动，等着信息自己“撞”到你手上。但这在触觉上几乎不可能，因为触觉是局部的，你摸到的只是一小块地方。
• 主动感知（APPLE 的目标）： 就像你把手伸进去后，会根据摸到的感觉（是硬的？是圆的？），主动决定下一步手往哪里移。是往左滑一点？还是转个方向？

以前的机器人做这件事，通常需要人类专家写死很多规则（比如：“如果摸到平的，就往右移”）。但这太死板了，换个任务（比如从摸形状变成摸纹理）就得重写代码。

2. APPLE 是怎么工作的？（两个聪明的助手）

APPLE 的核心思想是：让机器人自己学会“怎么摸”和“摸到了是什么”这两件事。

它就像一个训练有素的侦探，由两个部分组成，它们共用同一个“大脑”（基于 Transformer 的神经网络）：

1. 决策者（Policy）： 负责控制手怎么动。它的任务是：“我现在摸到了什么？为了搞清楚这是个什么东西，我下一步该往哪边摸？”
2. 识别者（Perception）： 负责猜东西是什么。它的任务是：“根据刚才摸到的感觉，我猜这是个数字'3'，还是个扳手？”

最妙的一点是： 这两个部分是一起训练的。

• 如果“识别者”猜错了，它会告诉“决策者”：“嘿，你刚才摸的位置不对，没摸到关键特征，下次换个地方摸！”
• 如果“决策者”摸到了关键特征，“识别者”就能猜得更准。

这就好比两个人配合破案：一个负责到处搜集线索（决策者），一个负责分析线索（识别者）。他们互相反馈，越配合越默契，最后不需要人类教具体的规则，自己就能学会如何高效地探索未知物体。

3. 它有多厉害？（用“游戏”来测试）

作者给 APPLE 安排了几场“考试”，看看它能不能举一反三：

• 考试一：摸数字（Tactile MNIST）

  • 场景： 机器人手指在 3D 打印的数字上摸。
  • 任务： 猜出这是数字几（分类任务）。
  • 结果： APPLE 表现很棒，准确率很高。它学会了像人一样，先摸边缘，再摸中间，快速确认数字。

• 考试二：猜体积（Tactile MNIST Volume）

  • 场景： 还是摸数字。
  • 任务： 猜这个数字的体积有多大（回归任务，不是猜类别，是猜数值）。
  • 结果： 即使任务变了（从猜类别变成猜大小），APPLE 依然能学会，不需要重新设计规则。

• 考试三：工具箱找扳手（Toolbox）

  • 场景： 在一个大平台上找一把扳手。
  • 任务： 不仅要找到它，还要猜出它的位置和朝向（比如扳手头是朝左还是朝右）。
  • 结果： 这是一个很难的任务，因为扳手的手柄摸起来都差不多。但 APPLE 学会了先画个圈找扳手，摸到后顺着手柄滑过去，以此判断方向。

4. 为什么它比以前的方法好？

以前的方法（比如 HAM）就像是一个只会死记硬背的学生。

• 它只能在一个特定的考试（比如只摸四种特定形状的积木）里考高分。
• 一旦换个环境，或者需要它去摸更复杂的东西，它就懵了，或者需要花极长的时间重新学习。
• 而且它学得很慢，因为它是“在线学习”，摸一次就忘一次，不能利用过去的经验。

APPLE 则像是一个“举一反三”的天才学生：

• 通用性强： 它不需要为每个任务写新规则。只要告诉它“你要猜出这个东西是什么”，它就能自己学会怎么摸。
• 样本效率高： 它使用了更先进的强化学习算法（SAC 和 CrossQ），就像学生不仅自己练，还能把以前做过的错题拿出来反复研究（利用经验回放），所以学得更快。
• 鲁棒性： 在“工具箱”这种没怎么专门调教过的任务上，它依然表现优异，说明它真的学到了“探索”的通用技能。

5. 总结：APPLE 意味着什么？

这就好比我们以前教机器人做事，是给它一本操作手册，告诉它“遇到 A 情况做 B 动作”。
而 APPLE 是给了机器人一本“如何学习”的指南，告诉它：“你的目标是搞清楚周围的东西，至于怎么摸、怎么猜，你自己看着办，错了就改，对了就继续。”

一句话总结：
APPLE 让机器人不再需要人类手把手教“怎么摸”，而是通过强化学习，自己学会了像人类一样，通过有目的的触摸来消除不确定性，从而在各种复杂的触觉任务中都能游刃有余。这为未来机器人真正进入我们杂乱无章的日常生活（比如整理工具箱、在黑暗中找东西）迈出了重要的一步。

技术摘要

这是一份关于论文 APPLE: TOWARD GENERAL ACTIVE PERCEPTION VIA REINFORCEMENT LEARNING 的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
主动感知（Active Perception）是指智能体在部分可观测的环境中，通过有目的地选择动作来减少不确定性、获取关键信息的能力。对于触觉（Tactile）感知而言，由于信息具有局部性（local）和稀疏性（sparse），主动感知尤为重要。

现有挑战：

• 缺乏通用性： 现有的主动感知方法通常针对特定任务（如形状重建、纹理识别）设计，依赖特定的启发式规则（如贪婪信息增益）或强假设（如物体静止）。
• 样本效率与泛化性不足： 基于强化学习（RL）的方法（如 REINFORCE, PPO）虽然能学习策略，但往往样本效率低，且难以在不同任务（分类、回归）间迁移。
• 任务特定性： 大多数方法无法在不重新设计探索策略的情况下，适应从分类到回归等不同类型的感知目标。

研究目标：
设计一个基于强化学习的通用框架，仅需真实标签（Ground-truth label）和可微损失函数（Differentiable loss），即可自动发现主动感知策略，无需针对特定任务设计探索启发式规则。

---

2. 方法论 (Methodology)

作者提出了 APPLE (Active Perception Policy Learning) 框架，将主动感知建模为**部分可观测马尔可夫决策过程（POMDP）**中的监督学习问题。

2.1 问题形式化

• 状态与观测： 环境状态 $h_t$ 包含隐藏属性（如物体类别、位姿）$y^*_t$。智能体通过观测 $o_t$（如触觉图像、传感器位置）与交互。
• 动作空间： 动作 $\tilde{a}_t$ 被分解为两部分：
  1. 控制动作 $a_t$： 控制传感器移动（如手指位置）。
  2. 预测动作 $y_t$： 智能体在每一步对目标属性（如类别或体积）的预测。
• 奖励函数： 总奖励 $\tilde{r}$ 由两部分组成：
  $$\tilde{r} = r(h_t, a_t) - \ell(y^*_t, y_t)$$
  • $r(h_t, a_t)$：传统的 RL 奖励（通常用于正则化动作，如惩罚过大移动）。
  • $\ell(y^*_t, y_t)$：预测损失（如交叉熵或均方误差）。这是核心创新，将监督学习的损失直接作为 RL 的负奖励，引导智能体通过探索来最小化预测误差。

2.2 优化目标

目标是最小化期望折扣回报（即最大化负损失）：
$$J(\pi) = \mathbb{E} \left[ \sum_{t=0}^{\infty} \gamma^t (r_t - \ell_t) \right]$$
梯度分解为两部分（公式 3）：

1. 策略梯度（Policy Gradient）： 优化控制动作 $a_t$ 以获取更多信息。
2. 监督损失梯度（Prediction Loss Gradient）： 优化预测头 $y_t$ 以准确推断属性。

2.3 网络架构

• 共享骨干网络： 使用 Transformer（基于 ViViT 架构）作为共享骨干。
  • 输入处理： 将触觉图像（通过 ViT 编码）与传感器位置（标量数据）拼接，形成序列输入。
  • 多任务头： 共享的 Transformer 输出嵌入，分别输入到：
    1. 动作策略网络 $\pi(a_t | o_{0:t})$
    2. 预测网络 $\pi(y_t | o_{0:t})$
    3. 价值网络 $Q(o_{0:t}, a_t)$
• 变体实现： 提出了两种基于不同 RL 算法的变体：
  1. APPLE-SAC： 基于 Soft Actor-Critic (SAC)，引入目标网络。
  2. APPLE-CrossQ： 基于 CrossQ，去除了目标网络，使用 BatchRenorm 层来稳定训练，计算效率更高。

---

3. 关键贡献 (Key Contributions)

1. 统一的主动感知公式： 提出了一种将策略梯度方法与监督学习相结合的通用公式，解决了交互式监督学习问题，无需任务特定的启发式规则。
2. 基于 Transformer 的联合训练框架： 在共享的 Transformer 骨干上联合训练 RL 策略和感知模块，使其能够适应不同的传感器输入和任务类型（分类/回归）。
3. 广泛的实证评估： 在 5 个基准测试（包括分类、体积估计、位姿估计）上评估了 APPLE-SAC 和 APPLE-CrossQ，证明了其无需针对特定任务调整即可发现有效的主动探索策略。
4. 超越现有 SOTA： 证明了基于离线策略（Off-policy）的 RL 方法在主动感知任务中优于基于在线策略（On-policy）的方法（如 HAM）。

---

4. 实验结果 (Results)

实验在五个基准任务上进行，包括 Tactile MNIST 系列（分类、体积回归）、Toolbox（位姿估计）和 CircleSquare（低维分类）。

• 性能表现：

  • 分类任务 (Tactile MNIST, CircleSquare)： APPLE-SAC 和 APPLE-CrossQ 均取得了极高的最终准确率（Tactile MNIST 约 87-89%，CircleSquare 约 96-97%），显著优于随机基线（APPLE-RND）和现有的 HAM 方法。
  • 回归任务 (Volume Estimation, Toolbox)： 在体积估计和工具位姿估计任务中，APPLE 变体均优于随机基线。特别是 APPLE-CrossQ 在 Toolbox 任务中表现最佳（平均误差 1.9cm, 13°），而 SAC 变体在未微调超参数的情况下表现稍弱，显示了 CrossQ 的鲁棒性。
  • 对比 HAM (Haptic Attention Model)： HAM 在 CircleSquare 等任务上表现极差（甚至不如随机猜测），主要因为其基于在线策略（On-policy, REINFORCE），样本效率低且难以复用数据。APPLE 利用离线策略（Off-policy）实现了样本的高效复用。

• 策略行为分析：

  • 可视化显示，APPLE 智能体学会了有意义的探索策略。例如在 Toolbox 任务中，智能体学会先进行圆形搜索定位扳手，然后沿手柄滑动以消除方向歧义。
  • 在 Tactile MNIST 中，智能体倾向于先移动到中心区域，然后沿边缘或笔画进行扫描。

• 效率与鲁棒性：

  • APPLE-CrossQ 由于去除了目标网络更新，训练时间平均减少了 53%，且在跨任务迁移时（无需重新调参）表现出更强的鲁棒性。

---

5. 意义与展望 (Significance & Future Work)

意义：

• 通用性突破： APPLE 证明了主动感知可以作为一个通用的强化学习问题来解决，不再依赖于特定任务的启发式规则。
• 范式转变： 将主动感知从“设计探索策略”转变为“最小化预测损失”，使得智能体能够自动学习如何收集信息。
• 架构优势： 结合 Transformer 和 Off-policy RL 的架构，为处理高维、序列化的触觉数据提供了新的解决方案。

局限性与未来工作：

• 样本效率： 目前方法需要大量训练步骤（约 500 万步），限制了在真实机器人上的直接应用。未来计划利用预训练 Transformer 模型或更高效的 RL 算法来改善样本效率。
• 真实世界部署： 软体触觉传感器（如 GelSight）的模拟与真实世界存在差距（Sim-to-Real gap）。未来将探索结合软体动力学模拟和域随机化技术，将 APPLE 部署到真实机器人上。
• 多模态扩展： 目前主要关注触觉，未来将探索结合视觉等多模态感知的主动感知框架。

总结：
APPLE 是一个迈向通用主动感知的有力框架。它通过联合优化感知与决策，利用监督信号引导强化学习，成功在多种复杂的触觉感知任务中超越了现有的专用方法，展示了在机器人自主感知领域的巨大潜力。