Topology-Agnostic Mesh Reconstruction of Deformable Objects from Sparse Touch

技術要約：疎な接触による変形体のトポロジー非依存メッシュ再構成

問題提起
ロープ、布、軟体などの変形体の完全な形状を推定することは、折り畳み、ルーティング、把持といったロボット操作タスクにおいて極めて重要な前提条件である。既存の知覚システムの多くは視覚に依存しているが、不透明な容器の中への到達、暗闇での作業、あるいはグリッパーの背後に隠れた物体を操作するといった実用的なシナほど多くのシナリオでは、視覚が利用不可能、あるいは劣化している。このような設定では、触覚が唯一信頼できるセンサとなる。しかし、触覚データは本質的に疎（スパース）であり、局所的で、取得コストが高い。本論文は、結合された2つの課題に取り組んでいる。(1) ロボットは、視覚を用いずに、少数の疎でノイズを含む接触観測のみを用いて、変形体の完全な3Dメッシュを再構成できるか？ (2) システムは、接触あたりの情報利得を最大化するために、次にどこを触るべきかを能動的に決定できるか？

手法
著者らは、トポロジー非依存のエスティメータ（推定器）と、学習された能動的センシング・ポリシーからなる統一されたフレームットを提案している。

• トポロジー非依存エスティメータ:
  システムの核となるのは、置換不変なクロスアテンションに基づく単一のニューラルネットワーク・アーキテクチャである。
  • 入力エンコーディング: 各接触観測は、ノイズを含む3D座標と、接触した頂点の正規化されたグリッドインデックスを含むトークンとしてエンコードされる。
  • アーキテクチャ: トークンは埋め込まれ、マルチヘッド自己アテンション層を通じて文脈化される。その後、出力メッシュのすべての頂点に対応する固定されたクエリ・トークンのバンクが、これらの文脈化された観測に対してクロスアテンションを実行する。
  • トポロジー非依存性: 本モデルは、全く同じ重みを使用して、1次元（ロープ）、2次元（布）、および3次元（体積を持つ軟体）のオブジェクトを処理する。変数となるのはクエリ・グリッドの次元性のみであり、ロープの場合は $(H, 1)$、布の場合は $(H, W)$、体積の場合は $(D, H, W)$ となる。この設計は局所性を保持し、各出力頂点が、集約された要約に頼るのではなく、特定の観測を読み取れるようにしている。
  • 不確実性推定: 5つの独立して初期化されたエスティメータによるディープアンサンブルが、頂点ごとの信念（平均位置）とエピステミック不確実性（分散）を提供する。不確実性は、観測によって形状が十分に制約されていない箇所で高くなる。
• 学習された能動的センシング:
  次に触れる場所を決定するために、著者らは獲得ポリシーを学習させている。
  • オラクル: 候補となる接触を暫定的に追加し、真の誤差減少量をグラウンドトゥルースに対して測定する「期待誤差減少（EER）オラクル」が、上限値として機能する。
  • ポリシーの学習: 小規模な多層パーセプトロン（MLP）が、$\epsilon$-greedy探索を用いたオンポリシーのロールアウトを通じて、回帰によりオラクルに対して学習される。ポリシーは、信念の特徴量（アンサンブル平均、分散、グリッド位置、観測された割合、および最近接観測への距離）に基づいて候補頂点のスコアを算出する。
  • 効率性: 候補ごとに複数のフォワードパスを必要とするオラクルとは異かり、学習されたポリシーは、この先読みを償却し、デプロイ時には単一のアンサンブル再構成と安価なスコアリング・パスのみを必要とする。

主な貢献

1. 単一のトポロジー非依存エスティメータ: 視覚を用いず、疎な接触のみから1次元、2次元、および3次元の変形体の完全な頂点メッシュを再構成する、クロスアテンションを用いたネットワーク。
2. 学習された能動的ポリシー: アンサンブルの不確実性を利用して接触位置を選択する獲得ポリシー。これは、特に疎な予算や高い自己遮蔽下において、ランダムな接触やガウス過程ベースラインよりも優れた性能を示す。
3. 能動的センシングの価値の境界確定: 視覚が利用可能な場合、カメラと学習された事前分布の組み合わせが隠れた状態を十分に制約するため、能動的な接触配置の利点が無視できるほど小さいという負の結果を示した。

実験結果
実験はMuJoCo flexシミュレータ内の3種類のオブジェクト（20×20の布、40頂点のロープ、6×6×6の体積軟体）を用いて行われた。

• 推定性能: 学習されたエスティメータは、非学習型のベースラインを大幅に上回る。逆距離加重法（IDW）およびガウス過程潜在面（GPIS）再構成と比較して、提案手法は再構成誤差を約3分の2削減した（例：低い接触予算におけるロープと布で+66%から+77%の誤差減少）。クロスアテンション機構は、グローバル・プール型のセットエンコーダよりも優れていることが証明され、その性能差は観測が増えるにつれて拡大しており、局所性の重要性を強調している。
• 能動的センシングの性能: 学習されたポリシーは、さまざまな予算においてランダムな接触と比較して約5〜7%の誤差を減少させ、疎な予算においてはGP不確実性ベースラインを上回った。しかし、平均的な利得は緩やかである。アンサンブル分散のプロキシ（ヒューリスティックなベースライン）は、予算が増えるにつれてランダム以下の性能に低下することが判明した。これは、情報量の多い場所ではなく、持続的な外れ値に接触を集中させてしまうためである。
• 遮蔽の影響: 能動的センシングの利点は、レジームに強く依存する。学習されたポリシーによる誤差減少は、最も遮蔽が少ない構成での+6.0%から、最も遮蔽が多い構成での+11.8%へと増加する。
• 視覚 vs 触覚: ノイズを含むデプスカメラをシステムに導入すると、能動的な接触配置の優位性は消失する。ランダムな配置とオラクルによる配置はほぼ同一の結果をもたらし、これは視覚と学習された事前分布がすでに隠れた状態を解決しており、追加の接触による改善の余地がほとんどないことを示している。

意義と主張
本論文は、触覚による変形体推定における主要なレバレッジは、接触戦略ではなく、エスティメータ自体にあると主張している。局所性を考慮したクロスアテンションモデルは、疎なランダム接触から回収可能な情報の大部分を回復する。能動的センシングは、「実用的ではあるが限定的なアドオン」であり、特に自己遮蔽下で緩やかな改善をもたらすが、視覚が利用可能になると消失する。著者らは、完全なメッシュ推定はダウンストリームのプランニングに価値があるものの、現在のアルゴリズムの課題は、現実的なプロービング条件下における、デプロイ可能な能動的ポリシーと理想的なオラクルの間の隔たりを埋めることにあると結論付けている。すべての実験は、標準的なロボットアームと互換性のある位置のみの接触モデルを用いたシミュレーションベースである。