技术摘要：用于点云模仿学习的傅里叶特征

问题陈述

高精度机器人操控需要精细的空间推理能力，以执行诸如将插销插入插座或抓取微小物体等任务。由于 RGB 具有丰富的语义信息，基于 RGB 的策略很常见，但它们存在深度歧义和透视尺度问题，要求策略必须隐式地推断从 2D 到 3D 的映射。相反，利用 3D 信息（如点云）的策略虽然提供了更强的几何先验，但在处理多样化任务时往往难以实现一致的高精度性能。

作者假设这种差异源于神经网络的谱偏差（spectral bias）。作为大多数点云架构基础的多层感知器（MLP）表现出优先学习低频函数的倾向，而高频分量（对于锐利的决策边界和精细几何细节至关重要）的收敛速度较慢，或者根本无法被学习。当策略需要以缓慢移动的笛卡尔特征为条件，且相邻点具有几乎相同的坐标但需要不同动作时，这种偏差尤其有害。

方法论

本文提出将点云坐标从笛卡尔空间映射到高维傅里叶空间，从而使点云编码器能够直接获取高频特征。该方法借鉴了神经辐射场（NeRF）的思想，但系统地应用于基于扩散的点云模仿学习（IL）中。

核心组件

1. 傅里叶特征映射：
   与其将原始笛卡尔坐标 $(x, y, z)$ 输入网络，作者应用了一个正弦编码函数 $\gamma: \mathbb{R} \to \mathbb{R}^{2L}$。对于坐标 $x$，该映射生成一组具有不同波长 $\lambda_k$ 的正弦和余弦项：
   $$\gamma_k(x) = \left[ \sin\left(\frac{2\pi x}{\lambda_k}\right), \cos\left(\frac{2\pi x}{\lambda_k}\right) \right]^T$$
   波长在最大值 ($\lambda_{max}$) 和最小值 ($\lambda_{min}$) 之间按对数间隔分布。这将其转化为一个更高维的空间，其中相邻点之间细微的几何差异被放大，使得网络能够更容易地分辨它们。

2. 与扩散策略的集成：
   该方法被集成到基于评分的扩散框架（Elucidated Diffusion Models）中。策略 $\pi_\theta(a|o, g)$ 学习在以场景观测为条件的情况下对动作序列进行去噪。傅里叶映射在点坐标进入编码器（例如 PointPatch、PointTransformer、DP3）之前进行应用。

3. 数据增强 (VariableJitter)：
   为了防止过拟合于特定的频率带并确保鲁棒性，作者采用了 VariableJitter。与标准的均匀抖动不同，该方法为每个点云采样一个噪声尺度 $\sigma$，训练网络在不需要仔细进行逐任务波长调优的情况下，忽略不包含有用信息的频率。

4. 架构灵活性：
   该方法旨在与架构无关。它在多种点云编码器上进行了测试，包括：

   • PointPatch： 将点分组为补丁（patches）并进行标记化（tokenization）。
   • PointPatch-attn： 使用注意力池化聚合标记。
   • PCM (PointCloudMatters)： 在补丁间使用最大池化。
   • DP3： 通过最大池化创建一个全局标记。
   • PointTransformer： 使用层次化自注意力。
   • 混合模型： 结合点云与 RGB 流。

核心贡献

1. 系统性评估： 本文在广泛的点云架构和基准测试中对傅里叶特征映射进行了全面评估，证明了这种简单的非参数化映射解决了各种编码器的谱偏差问题。
2. 稳健的性能提升： 实验表明，在模拟环境（RoboCasa、ManiSkill3）和真实世界机器人设置中，成功率均实现了持续提升。该方法无需额外的正则化或复杂的架构更改即可提高性能。
3. 对学习动态的洞察： 通过频谱分析和参数研究，作者证明了傅里叶特征不仅有助于提取精细的几何细节，而且即使在缺乏精细几何信息的情况下也能改善学习动态。研究表明，该方法对超参数选择（如频率带数量、最小波长）具有鲁棒性。

实验结果

作者在三个基准测试上评估了其方法：

• RoboCasa (模拟)： 在 16 个高精度操控任务（如插入杯子、转动旋钮）中，傅里叶特征显著提升了性能。例如，PointPatch 编码器在 CloseDrawer 任务上的成功率从 34% 增加到 72%，整体平均成功率从 13% 上升到 34%。
• ManiSkill3 (模拟)： 在四个抓取和工具使用任务中，傅里叶特征提供了持续但有时较为温和的改进（例如平均提升 7%），这可能是由于这些任务相对于 RoboCasa 而言相对简单。
• 真实世界机器人： 在四个具有挑战性的真实世界任务（抽屉、叠杯子、整理、折叠）中，带有傅里叶特征的策略实现了从 14.8% 到 40.2% 的归一化得分提升。值得注意的是，该方法对真实世界的噪声、遮挡和相机失准表现出了鲁棒性。定性结果表明，使用傅里叶特征训练的策略动作更加果断，并更接近专家演示；而基准策略往往表现出犹豫或无法感知精细几何细节。

频谱分析：
图傅里叶频谱分析显示，虽然标准网络偏向于低频，但添加傅里叶特征增加了网络对高频分量（特征值 $\lambda > 1.0$）的敏感度。这种转变使网络能够学习到更锐利的决策边界。此外，傅里叶特征带来的收益与点云中几何细节的丰富程度相关：点云越密集，性能增益越大。

意义与主张

本文声称傅里叶特征是点云模仿学习的一种通用工具。通过抵消 MLP 固有的谱偏差，这些特征使策略能够比使用标准笛卡尔特征更有效地利用几何细节。

作者强调，这种改进是以极低的成本实现的：

• 简单性： 它仅需要改变输入编码，而不需要重新设计策略架构。
• 鲁棒性： 该方法对超参数选择不敏感，不需要针对特定任务进行波长范围的调优。
• 普适性： 它惠及多种编码器架构以及多模态设置（结合 RGB 和点云）。

这项工作表明，对于高精度机器人任务，将坐标输入通过傅里叶特征进行编码，应被视为优于原始笛卡尔特征的标准做法，尤其是在需要精细空间推理的情况下。