Learning 3D Affordances for Blade Insertion in Cluttered Stowing

技術要約：乱雑な収納におけるブレード挿入のための3Dアフォーダンス学習

問題提起
ロボットによる収納（stowing）では、硬質なブレードを密集した布状の物体が入ったビンの中に挿入し、アイテムを押し退けてスペースを作る必要がある。このタスクには、**フリースペース・アフォーダンス（自由空間アフォーダンス）**に関する推論が求められる。すなわち、周囲のジオメトリと衝突せずにツールが安全にナビゲートできる3D空間のボリュームを特定することである。これは、表面接触アフォーダンス（ツールが物体に触れるもの）とは異なり、ビンの壁や遮蔽されたアイテムによって制約される「航行可能な容積」に依存する。

標準的なアプローチは、これをSE(3)ポーズ（6自由度ツールの配置）に対する回帰または生成問題として扱う。しかし、プロダクションデータは本質的に**単峰性（unimodal）**である。つまり、特定のビンの状態に対して、システムはただ一つの戦略のみを実行するが、実際には幾何学的に有効な挿入経路は複数存在する。このような単峰性のポーズデータに対して生成モデル（フローマッチングなど）を学習させると、モード崩壊が発生し、多様な幾細的な解を回収できなくなる。さらに、ポーズ空間で推論を行うことは、幾何学的な実現可能性が自然に定義されるドメイン（3D占有領域）から推論を乖離させるため、観測されていない配置が物理的に可能かどうかを判断することを困難にする。

手法：VulcanVoxel
著者らは、推論をポーズ空間へ投影するのではなく、空間ドメインに留めるフレームワークであるVulcanVoxelを提案する。核心となる仮説は、ブレードのアフォーダンスは「空間的オブジェクト（3D空間の部分集合）」であり、そのように推論されるべきであるという点である。

1. 表現: システムは、単一のRGB-Dフレームからシーンをマルチチャネルの3D占有格子（$32^3$ボクセル）へと再構成する。チャネルは以下をエンコードする：
   • 壁と物体の結合占有量（$O_{occupy}$）
   • 物体のみの占有量（$O_{object}$）
   • グランドトゥルースのブレード占有量（$O_{blade}$）
2. アーキテクチャ: VulcanVoxelは**3D U-Net Masked Autoencoder (MAE)**を採用している。
   • 学習目的: ポーズの分布を予測する代わりに、観測されたシーンのジオメトリを条件として、マスクされたブレードの占有チャネルを再構成するようにモデルを学習させる。
   • チャネル・マスキング: 学習中、3つのチャネルのランダムな組み合わせをマスクする。これにより、モデルは実行パターンを記憶するのではなく、チャネル間の幾何学的関係（例：壁と物体の位置から、どこにブレードが適合するかを推論すること）を学習することを強制される。
   • 損失関数: ブレードのボクセルが疎であることを考慮し、クラス不均衡への対処と形状のコヒーレンス（一貫性）の確保のために、Focal LossとDice Lossを組み合わせて使用する。
3. 推論パイプライン:
   • モデルは、有効なブレード占有を示す3D確率場を出力する。
   • ポーズ抽出: 占有場内の有効な連結成分を特定する。候補となるSE(3)ポーズをこれらの成分の周囲に列挙し、予測されたフィールドとの体積的な重なりに基づいてスコアリングする。これにより、ポーズ抽出を事後ステップへと遅延させ、空間的な推論が最初に行われることを保証する。
4. 蒸留: 推論レイテンシ（ボクセル対ボクセルのモデルは約2.3秒かかる）に対処するため、RGB画像から直接ブレードの占有を約30msで予測する**蒸留された生徒モデル（distilled student）**を学習させる。この生徒モデルはViTエンコーダと3Dデコーダを使用し、カメラのキャリブレーションから得られる幾何学的制約を通じて2D特徴を3Dへと持ち上げる。

主な貢献

1. フリースペース・アフォーダンスのための空間推論: ブレードのアフォーダンスをSE(3)ポーズ分布としてではなく、3D占有場として表現することで、単峰性のプロダクションデータからマルチモーダルな予測を回収できることを示した。
2. 表現分析: 体系的なアブレーション（入力モダリティ、出力表現、および学習目的の比較）を通じて、以下のことを示した：
   • 空間ドメインでの動作は必要条件であるが、十分条件ではない。
   • 再構成目的（幾何学的に一貫したものを学習すること）こそが、マルチモーダル性を可能にする決定的な要因であり、同じ空間ドメインで動作するフローマッチングのベースラインと区別する要素である。
3. 失敗への汎化: 本モデルは、プロダクションシステムが失敗した構成においても、幾何学的に有効なフリースペースの容積を特定できる。これにより、失敗のエピソードを情報量の多い学習信号へと転換できる。
4. StowAffordanceデータセット: RGB-D観測、SE(3)軌跡、および結果ラベルを含む、10,000以上の実世界のブレード挿入サイクルを含む大規模なデータセットを公開。

結果
1,000のエピソード（2025年7月）および追加のテンポラル/高密度クラッターセットを用いた評価：

• カバレッジ: VulcanVoxelはTop-5 Coverage (Cov5) 0.89を達成し、最も優れたポーズベースのベースライン（Voxel FM Pose）の0.71を大幅に上回った。これは、89%のシーンにおいて、予測された5つのポーズのうち少なくとも1つが幾何学的に有効であることを意味する。
• マルチモダリティ: VulcanVoxelは、1シーンあたり平均2.7個の異なるモードを、空間的な広がり（$\sigma$）8.4 cmで予測する。対照的に、フローマッチングのベースラインは単一モードに崩壊する（$N_m \approx 1.0$）、あるいは幾何学的に一貫性のない広がりを示す。
• 精度: VulcanVoxelの単一予測コストは、最も優れたポーズベースのベースライン（0.81 vs 0.60）よりもわずかに高いが、単一予測の精度においてプロダクションの性能と一致しつつ、極めて優れた多様性を提供している。
• 蒸留: RGB生徒モデルは、30msの推論（46倍の高速化）を実現しながら、教師モデルの予測品質の約65%を回収し、部分的なマルチモダリティを維持している。
• 失敗への汎化: プロダクションの失敗サイクルにおいて、VulcanVocalは高いカバレッジ（>0.80）を維持しており、多くのプロダクションの失敗は知覚エラーではなく、実行や力フィードバックの問題に起因することを示唆している。

意義と主張
本論文は、ツールのアフォーダンスは空間的オブジェクトであると主張しており、SE(3)ポーズ空間で推論することは、実現可能性の推論に不可欠な幾何学的構造を放棄することになると述べている。推論をネイティブな3Dドメインで行い、再構成目的を用いることで、モデルは「どこにブレードが挿入されたか」というグローバルな分布ではなく、「どこにブレードが適合するか」というローカルな幾何学的条件を学習する。

著者らは、このアプローチが剛体ツールの操作におけるフリースペース・アフォーダンス学習の典型的な解決策であると主張している。彼らは、この原理が収納以外の、幾何学的な適合性が主要な制約となるあらゆる操作ドメインに拡張可能であると断言しており、たとえプロダクションデータが単峰的であっても、空間推論をデフォルトにすべきであることを示唆している。本研究は、このようなタスクのボトルネックは、モデルの容量やデータの規模ではなく、推論のドメイン（ポーズか空間か）および学習目的（生成か再構成か）にあることを浮き彫りにしている。