技術要約：点群模倣学習のためのフーリエ特徴量

問題提起

高精度なロボット操作には、ペグをソケットに挿入したり小さな物体を掴んだりといったタスクを実行するための、きめ細かな空間推論が必要です。RGBベースのポリシーは、意味的な豊かさと学習済みエンコーダの存在により一般的ですが、奥行きの曖昧さやパースペクティブによるスケールの問題に悩まされ、ポリシーが2Dから3Dへのマッピングを暗黙的に推論する必要があります。対照的に、3D情報（例：点群）を直接利用するポリシーは、より強力な幾何学的事前知識を提供しますが、多様なタスクにわたって一貫した高精度な性能を達成できないことがよくあります。

著者らは、この相違はニューラルネットワークの**スペクトルバイアス（spectral bias）**に起因すると仮定しています。ほとんどの点群アーキテクチャの基礎となる多層パーセプトロン（MLP）は、低周波関数を最初に学習する傾向があり、高周波成分（鋭い決定境界や微細な幾何学的詳細に不可欠なもの）の収束が遅いか、あるいは全く学習されないという性質を持っています。このバイアスは、隣接する点がほぼ同一の座標を持ちながらも異なるアクションを必要とするような、低速で動くデカルト座標特徴量に条件付けされる必要がある場合、特に有害となります。

手法

本論文では、点群のデカルト座標を高次元のフーリエ空間へとマッピングすることで、点群エンコーダが直接高周波特徴量にアクセスできるようにすることを提案しています。このアプローチはNeural Radiance Fields (NeRFs) から適応されたものですが、点群を用いた拡散ベースの模倣学習（Imitation Learning, IL）に体系的に適用されています。

コアコンポーネント

1. フーリエ特徴量マッピング:
   座標 $(x, y, z)$ をそのままネットワークに入力する代わりに、著者らは正弦波エンコーディング関数 $\gamma: \mathbb{R} \to \mathbb{R}^{2L}$ を適用します。座標 $x$ に対して、このマッピングは様々な波長 $\lambda_k$ を持つサインおよびコサイン項のベクトルを生成します：
   $$\gamma_k(x) = \left[ \sin\left(\frac{2\pi x}{\lambda_k}\right), \cos\left(\frac{2\pi x}{\lambda_k}\right) \right]^T$$
   波長は最大値 ($\lambda_{max}$) と最小値 ($\lambda_{min}$) の間で対数スケールで配置されます。これにより、入力が高次元空間へと変換され、隣接する点間の微妙な幾何学的差異が増幅され、ネットワークがそれらをより容易に識別できるようになります。

2. 拡散ポリシーとの統合:
   この手法は、スコアベースの拡散フレームワーク（Elucidated Diffusion Models）に統合されています。ポリシー $\pi_\theta(a|o, g)$ は、シーンの観測に条件付けられたアクションシーケンスのデノイジングを学習します。フーリエマッピングは、エンコーダ（例：PointPatch, PointTransformer, DP3）に入る前の点座標に対して適用されます。

3. データ拡張 (VariableJitter):
   特定の周波数帯域への過学習を防ぎ、堅牢性を確保するために、著者らはVariableJitterを採用しています。標準的な一様ジッターとは異なり、この手法は各点群に対してノイズスケール $\sigma$ を一様分布からサンプリングし、注意深いタスクごとの波長チューニングを行うことなく、有用な情報を含まない周波数を無視するようにネットワークを訓練します。

4. アーキテクチャの柔軟性:
   このアプローチはアーキテクチャに依存しないように設計されています。以下の様々な点群エンコーダを用いてテストされています：

   • PointPatch: 点をパッチにグループ化し、トークン化します。
   • PointPatch-attn: アテンションプーリングを使用してトークンを集約します。
   • PCM (PointCloudMatters): パッチ間で最大プーリングを使用します。
   • DP3: 最大プーリングを介して単一のグローバル・トークンを作成します。
   • PointTransformer: 階層的自己注意（self-attention）を使用します。
   • ハイブリッドモデル: 点群とRGBストリームを組み合わせます。

主な貢献

1. 体系的な評価: 本論文は、幅広い点群アーキテクチャとベンチマークにわたるフーリエ特徴量マッピングの包括的な評価を提供し、この単純な非パラメトリックなマッピングが多様なエンコーダにおけるスペクトルバイアスを解決することを実証しています。
2. 堅牢な性能向上: 実験では、シミュレーション（RoboCasa, ManiSkill3）および実世界のロボットセットアップの両方において、成功率の一貫した向上を示しました。この手法は、追加の正則化や複雑なアーキテクチャの変更を必要とせずに性能を向上させます。
3. 学習ダイナミクスへの洞察: スペクトル分析とパラメータ研究を通じて、著者らはフーリエ特徴量が微細な幾何学的詳細の抽出を助けるだけでなく、微細な幾何学が存在しない場合でも学習ダイナミクスを改善することを示しました。この手法は、ハイパーパラメータ（周波数バンドの数、最小波長など）の選択に対して頑健であることが示されています。

実験結果

著者らは3つのベンチマークで手法を評価しました：

• RoboCasa (シミュレーション): 16の高精度操作タスク（例：マグを挿入する、つまみを回す）において、フーリエ特徴量は性能を大幅に向上させました。例えば、PointPatchエンコーダのCloseDrawerタスクにおける成功率は34%から72%に上昇し、全体の平均成功率は13%から34%へと上昇しました。
• ManiSkill3 (シミュレーション): 4つの把持およびツール使用タスクにおいて、フーリエ特徴量は一貫した（ただし、これらと比較して相対的にシンプルなタスクであるため、やや緩やかな）向上を提供しました（例：平均+7%の向上）。
• 実世界ロボット: 4つの困難な実世界タスク（Drawer, Cup-Stacking, Arranging, Folding）において、フーリエ特徴量を持つポリシーは正規化スコアを14.8%から40.2%へと向上させました。特筆すべきは、この手法が実世界のノイズ、遮蔽、カメラのキャリブレーション誤差に対して頑健であったことです。定性的な結果は、フーリエ特徴量を用いて訓練されたポリシーがより決定的な動きを見せ、エキスパートのデモンストレーションをより密接に模倣した一方で、ベースラインのポリシーはしばしば躊躇したり、微細な幾何学的詳細の認識に失敗したりすることを示しました。

スペクトル分析:
グラフフーリエスペクトル分析により、標準的なネットワークは低周波に偏っている一方で、フーリエ特徴量を加えることでネットワークの高周波成分（固有値 $\lambda > 1.0$）に対する感度が高まることが明らかになりました。このシフトにより、ネットワークはより鋭い決定境界を学習できるようになります。さらに、フーリエ特徴量の恩恵は点群の幾何学的詳細の豊かさと相関しており、より密な点群ほど大きな性能向上が得られました。

意義と主張

本論文は、フーリエ特徴量が点群ベースの模倣学習のための汎用的なツールとして機能すると主張しています。MLP固有のスペクトルバイアスを打ち消すことで、これらの特徴量は、標準的なデカルト座標特徴量よりも効果的に幾何学的詳細を活用することを可能にします。

著者らは、この改善が最小限のコストで達成されることを強調しています：

• 簡潔さ: ポリシーのアーキテクチャを再設計することなく、入力エンコーディングの変更のみで実現可能です。
• 堅牢性: ハイパーパラメータの選択に鈍感であり、波長範囲のタスク固有のチューニングを必要としません。
• 普遍性: 多様なエンコーダアーキテクチャや、RGBと点群を組み合わせたマルチモーダルな設定においても恩恵をもたらします。

本研究は、高精度なロボットタスクにおいて、特に微細な空間推論が必要とされる場合、座標入力をフーリエ特徴量によってエンコードすることは、生のデカルト座標よりも標準的な慣行として検討されるべきであることを示唆しています。