技術概要：構造補完と運動修正による機能化

問題定義

既存の 3D アセット、特に家具は、視覚的には妥当であっても機能的に不十分な場合が多い。それらは、ヒンジ、レール、取っ手、棚などの必要な構造部品を欠いており、意図された可動を妨げる自己衝突や部品のアライメント不良などの幾何学的誤差を含んでいる。さらに、PartNet-Mobility などの人間による注釈付き運動データには、運動軸や範囲に誤りが含まれることが多く、物理的に不自然な動作を引き起こす。

本論文は、非機能性の 3D モデルを物理的に操作可能なものに変換することを目的とした新規タスク「オブジェクト機能化（Object Functionalization）」を導入する。著者らは特に、オブジェクトのアセンブリグラフにおける欠落ノード（部品）または誤ったエッジ（関係）として現れる「構造的機能欠陥」に焦点を当てる。目標は、構造を完成させ、運動を修正して、衝突のない物理的に裏付けられた可動を確保することである。

手法

提案される解決策は、グラフ補完に続く幾何学的実現という 2 段階のパイプラインである。

1. 機能グラフ表現

入力 3D モデルは機能グラフ $G=(V, E)$ に解析される：

• ノード（$V$）： 3D バウンディングボックス、幾何学的表現（点群）、セマンティックラベル（例：ドア、引き出し、棚、取っ手）などの属性を持つメッシュ部品を表す。
• エッジ（$E$）： contact（静的）、hinge（回転）、rail（直動）、attached（例：取っ手からドアへ）などの関係をエンコードする。
• 運動属性： 可動ノードには、運動軸（ヒンジの場合は回転軸、レールの場合は移動方向）が注釈付けられる。

2. ニューラルグラフ機能化器（GraFu）

GraFu は、欠落した構造ノードの予測、エッジの修正、運動属性の推定を行うように設計されたグラフ間翻訳ネットワークである。

• アーキテクチャ：
  • ノードエンコーダ： 部品カテゴリ（ワンホット）、幾何学（PointNet++ 変種）、およびバウンディングボックスの重心を統一された潜在埋め込みとしてエンコードする。
  • グラフエンコーダ： 全結合トポロジー上で動作するグラフトランスフォーマー。接続タイプと幾何学的記述子（距離、向き、隙間）をエンコードするエッジ特徴を使用して、ノード間の関係をモデル化する。
  • グラフデコーダ： 「ノードスロット」を使用する DETR 型のデコーダ。入力ノードに対応するアンカースロットと、欠落ノードを予測するためのフリークエリースロットを含む。ノードの有効性、カテゴリ、バウンディングボックス、およびエッジタイプ（ヒンジ、レール、接続、接触、無）を出力する。
• トレーニング： 本モデルは、233 組の非機能化および機能化された家具モデルのコレクションであるFurFun-233データセットでトレーニングされる。非機能化入力は、エッジの縮退、ノードの削除、ラベルのマスク化を通じて真の機能グラフを改変することで合成される。

3. 幾何学的実現

完成したグラフは、物理部品をインスタンス化し、運動を修正する幾何学的実現段階を駆動する：

• ヒンジ挿入： 予測された hinge エッジに対して、システムは表面配置に基づいてヒンジテンプレート（C ヒンジ、F ヒンジ、P ヒンジ）のギャラリーから選択する。幾何ソルバがヒンジを静的部品と動的部品にスナップさせ、両側面の接触を確保し、回転軸を予測された運動に整合させる。このプロセスは自然に誤った運動軸を修正する。
• レール挿入： rail エッジに対して、テンプレートを引き出し本体とキャビネットフレームにスナップさせるようにスケールする。機械的互換性が欠如している場合、支持ブロックが隙間を埋める。
• 静的補完： 新しいノード（例：天板、棚、取っ手）は、テンプレートメッシュまたは手続き的生成（例：床面積に基づいて天板を押し出す）を使用してインスタンス化される。
• インタラクティブレビュー： パイプラインはBlender アドオンにラップされており、ユーザーは予測されたコネクタと新しい部品を検査、調整し、受け入れまたは拒否できる。

主要な貢献

1. 機能グラフ表現： 動的および静的な欠陥の両方を表現するための、部品/コネクタのラベリングと運動属性を包含する統一グラフスキーマ。
2. GraFu（ニューラルグラフ機能化器）： 欠落した部品、エッジ、運動属性を予測する構造補完のための深層学習モデル。
3. 2 段階パイプライン： 位相補完と幾何学的実現を分離し、機械的裏付けを用いて運動誤差（例：誤った人間注釈に起因する衝突の修正）を修正する手法。
4. FurFun-233 データセット： 真の機能グラフと機械部品を含む、233 個の家具モデルの非機能化および機能化された対応ペアの高品質データセット。

実験結果

本手法は、PartNet-Mobility (PN-M) ストレージ家具サブセットとHSSDデータセットで評価された。

• 運動予測： PN-M において、GraFu は（PN-M データなしでトレーニングされた）ゼロショットであるにもかかわらず、最先端のベースライン（Particulate、SINGAPO）と同等の運動予測精度を達成する。HSSD においては、すべての指標でベースラインを上回る。
• 物理的妥当性： 幾何学的実現段階は物理的妥当性を大幅に向上させる。ベースラインはしばしば高い衝突率や部品のはずれに悩まされるが、物理的ヒンジとレールの挿入は衝突を減らし、接続性を確保する。
• 頑健性： 除去実験により、入力ノードラベルが最大 100% 改変されても GraFu が頑健であり、競争力のある運動予測とほぼ完全な接続性を維持することが示された。
• 構造的完全性： 本手法は、欠落していた 100% のテスト PN-M ケースにおいて、欠落した天板を正常に予測した。

意義と限界

意義：
本論文は、既存の 3D アセットの動的および静的な設定における主要な機能欠陥を修正する最初の体系的な試みであると主張する。外観駆動型モデリングを超えて機能的正確性へと移行することで、物理的操作が重要なロボティクス、シミュレーション、製造における 3D アセットの使用を可能にする。機械的裏付けを通じて誤った人間注釈を修正できる能力は、魅力的な副次的効果として強調されている。

限界：

• 入力依存性： 本手法は事前にセグメント化された 3D モデルを必要とする。未セグメント化のメッシュや部分的な構造（例：欠落した引き出しパネル）の機能化は行えない。
• 幾何学的制約： バウンディングボックスの仮定に反する非常に不規則な形状には対応できず、メッシュレベルの欠陥（例：シェルのみモデル）も処理できない。
• 範囲： 現在の実装は、トレーニングデータによって規定される特定の運動タイプ（回転および直動）およびオブジェクトカテゴリ（家具）に限定される。連鎖運動やピストンのような複雑な機構は現時点ではサポートされていない。