技術要約：視覚ベースの手内再配向のための回転を考慮したポイントクラウド・エンベディング

問題提起
本論文は、ポイントクラウドによる目標指定を用いた**器用な（dexterous）内手再配向（in-hand reorientation）**の課題に取り組んでいる。ポイントクラウドは、オブジェクト固有のポーズフレームや6Dポーズ推定を必要とせずに、望ましい3D形状を指定できる自然な方法であるが、生のポイントクラウドによる目標条件付けは、ポリシー学習には適していない。根本的な困難は、ポイントクラウドの性質にある。すなわち、それらは順序がなく、独立してサンプリングされ、可視性に依存している。その結果、現在の観測と目標クラウドとの間の不一致は、オブジェクトの回転と、置換、リサンプリング、および不安定な対応関係の構造を絡み合わせてしまう。

従来のアプローチは、以下のような外部構造を追加することでこの問題を回避しようとしてきた：

• 明示的なポーズまたは相対ポーズの入力（例：Geometry-Dex）。
• ポイントの動きを示す高密度なフロー特徴量（例：HACMan）。
• 真値のステートにアクセスできる特権的な教師からの蒸留（distillation）。

これらの手法は、脆いテスト時の計算（ポーズ推定、レジストレーション）に依存しているか、あるいは専門的な監督を必要とする。著者らは、一般的なポイントクラウド・エンコーダ（再構成や形状の同一性のために訓練されたもの）は、再配向に必要な特定の回転信号を捨象してしまうことが多く、タスクに関連するステートを制御に役立つ形で整理できていないと主張している。

手法
提案される解決策は、回転を考慮したポイントクラウド・エンベディングであり、エンベディング間のユークリッド距離を、オブジェクトの向きの間の **SO(3) 測地線誤差（geodesic error）**に校正することである。これにより、モデルフリーの強化学習（RL）ポリシーが、明示的なポーズ、フロー、または教師の監督なしに、現在のポイントクラウドと目標のポイントクラウドのエンベディングから直接学習することを可能にする。

1. ポーズ認識エンコーダ ($\phi$):

   • アーキテクチャ: 色付きのポイントクラウド ($P \in \mathbb{R}^{N \times 6}$) を128次元のエンベディングに写像するPointNet++ベースのエンコーダ。
   • 訓練目的関数: エンコーダは、サイアミーズ（Siamese）スタイルでメトリック学習の目的関数を用いて訓練される。同じオブジェクトの異なる向き $q_1$ と $q_2$ を持つ2つのクラウドに対して、エンベディング間のユークリッド距離は、SO(3) 測地線回転誤差に回帰される：
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • カリキュラム: 訓練には、YCBデータセットのテクスチャ付きメッシュを用いたオクルージョン・カリキュラムを利用し、部分的な観測をシミュレートするために徐々にポイントを削除していく。ファインチューニング段階では、ハンドによる遮蔽を模したIsaacLabデータセットを使用し、ポリシー学習の条件に適合させる。

2. ポリシー学習（内手再配向）:

   • フレームワーク: タスクは、目標増強型マルコフ決定過程（MDP）として定式化され、非対称アクター・クリティック・アーキテクチャを用いた PPO によって解かれる。
   • 観測（アクター）: ポリシーは以下を受け取る：
     • 学習された現在および目標のポイントクラウドのエンベディング ($z_{obj}, z_{goal}$)。
     • プロプリオセプション（関節位置、速度、指先ポーズ）。
     • 現在と目標のクラウドの重心（centroid）を含む幾何学的メタデータ（並進情報を補完するため）。
   • クリティック: クリティックは、高速な収束を促進するために、特権的なステート情報（真値のポーズ、速度、接触力）にアクセスできる。
   • 報酬: 報酬関数は、内手の位置ドリフトと回転誤差（SO(3)上の測地線距離で測定）を最小化し、アクションの正則化と成功ボーナスを含む。

主な貢献

• 制御のための表現学習: 表現そのものが、外部の足場となるポーズ推定器や高密度フローフィールドを必要とせずに、ポイントクラウドの目標条件付けを実用的にできることを示している。
• SO(3) 校正済みエンベディング: エンコーダが、エンベディングの距離を回転軸と大きさに基づいて明示的に訓練されることで、差分が目標に到達するために必要な回転を直接反映する滑らかな制御信号を作り出す。
• モデルフリーRLの成功: 提案手法を用いるモデルフリーのポリシーが、訓練中に真値のポーズや教師のアクションへのアクセスがないにもかかわらず、蒸留ベースのベースラインや特権ステート手法の性能に匹記する性能を安定して学習できることを示している。
• 診断的証拠: 本論文は、一般的な自己教師あり学習による事前学習（例：Point-MAE）が、形状の特性は保持するものの、回転軸や大きさの順序に従って潜在空間を整理することには失敗するため、このタスクには不十分であることを示す証拠を提示している。

結果
実験は、Shadow Handと4つのYCBオブジェクト（Peach, Rubik's Cube, Pear, Tuna Can）を用い、シミュレーション環境で行われた。

• パフォーマンス: 提案手法は、テストされたすべてのオブジェクトにおいて、教師（特権ステート）および蒸留された学生（Distilled Student）のベースラインと一致する 100%の成功率 を達成した。
• 効率性: 提案手法は成功したものの、特権教師と比較して目標に到達するまでに平均してより多くのタイムステップを必要とした（例：Peachにおいて85.29ステップ vs 25.40ステップ）。著者らは、これをモデルフリーの性質（ステップごとのアクションではなく報酬から最適化すること）に起因すると考えており、より長い訓練時間を設けることでさらに改善できる可能性があると述べている。
• ベースラインとの比較:
  • ポーズ推定器（例：FoundationPose）やレジストレーション（Open3D）に依存する方法は、著しく低い成功率（例：Rubik's CubeとPearで33-38%）と、はるかに高い失敗時間を記録しており、デプロイメントにおけるこれらの中間モジュールの脆弱性を浮き彫りにした。
  • シミュレートされたステートを用いたフローベースの手法は良好な結果を示したが、レジストレーションに依存するものは大幅に失敗した。
  • 汎用エンコーダ: ファインチューニングされたPoint-MAEエンコーダを用いたポリシーは学習に完全に失敗し、汎用的な形状特徴は、必要な回転認識信号を提供しないことを裏付けた。
• 表現分析: 潜在空間の可視化（表面プロットおよびt-SNE）により、提案されたエンコーダが回転軸と大きさによってエンベディングを整理し、アクションの監督なしに、蒸留された学生が学習したものと同様の構造化されたランドスケープを作成していることが確認された。

意義と主張
本論文は、外部モジュールによってポーズやフローを計算するのではなく、表現自体が回転に関するタスク関連の幾何学をエンコードする場合に、ポイントクラウドの目標が器用な制御のために実用的になることを主張している。

• 「ポーズ推定」や「レジストレーション」という「足場」は、視覚的表現が特定の変換群（この場合はSO(3)）に合わせて明示的に構造化されていれば、必ずしも必要ではないことを示唆している。
• 汎用的な視覚的事前学習の限界を指摘している。すなわち、形状の同一性を保持することは、精密な幾何学的比較を必要とする制御タスクには不十分であり、表現は特定の変換群（この場合はSO(3)）に対して明示的に構造化される必要がある。
• 著者らは、評価はシミュレーション内であるが、オクルージョン・カリキュラム、ポイントのジッター、およびドメイン・ランダム化の使用により、現実世界のデプロイメントで予想される摂動に対する表現の堅牢性が示されており、将来の実機検証への動機付けとなっていると述べている。

限界
著者らは、現在のエンベディングが主に回転に関連するステートを保持するように設計されており、オブジェクトの形状を保持するように明示的に制約されていないため、異なるオブジェクト間で単一の汎用ポリシーを学習することに制限があることを認めている。今後の課題として、形状を共に保持しつつ制御に適した比較を可能にするエンベディングや、一般的な操作のためにメトリック目的関数を完全なSE(3)群へと拡張することなどが挙げられている。