技術的サマリー：Fishbone — 1 つの 3D アセットから百万単位の制御可能な編集へ

1. 問題定義

大規模で多様かつ制御可能な 3D アセットの入手可能性は、コンピュータグラフィックス、具現化 AI、ロボティクス、インタラクティブコンテンツ制作における重要なボトルネックである。3D スキャンやアーティストによる作成アセットは存在するが、手動モデリングとリギングの高コストにより、これらのアセットの多様なバリエーションを作成することは依然として困難である。

形状変形に関する既存の解決策は、以下の重大な限界に直面している：

• 手動リギング: 従来の手法（ケージベース座標、スケルトン駆動アニメーション、自由形状変形格子）は、ケージの設計やスケルトンの配置など、多大な手動セットアップを必要とし、異質なアセットコレクションへの拡張が不可能である。
• 疎な制御の限界: 2D スケッチや投影点などの疎なユーザー入力に依存するデータ駆動型手法は、深度の不確実性やビュー依存のアーティファクトに悩まされ、微細な局所幾何形状における精度が制限される。
• カテゴリ固有性: 最近の 3D 制御手法（ニューラルケージ、学習済みフローフィールド）は、しばしばカテゴリ固有の学習データを必要とし、分布外（out-of-distribution）の形状では性能が低下する。
• パラメトリックな硬直性: パラメトリックモデリングは微細な制御を提供するが、明確に定義された構造とクリーンなトポロジーに依存しており、自由形状の幾何学では破綻する。

核心的な課題は、手動リギング、カテゴリ固有の学習、または事前定義された形状構造を必要とせず、予測可能なパラメトリック変形を可能にする、一般的な形状に対する幾何学導出の低次元制御表現を構築することである。

2. 手法：Fishbone フレームワーク

著者らは、入力メッシュから直接結合されたリブ - スパイン表現を構築する統合フレームワークFishboneを提案する。中央のスパインが形状の全体を支配し、断面のリブが局所的な変異を制御する自然の生物に着想を得て、Fishbone は 3 つの結合コンポーネント：リブ（$R$）、スパイン（$S$）、および**スキニング重み（$W$）**を通じて、局所変異と全体変異を分離する。

2.1 Fishbone 表現（$F = (R, S, W)$）

• リブ（$R$）: 断面の等値面を表す順序付きポリラインの集合。これらは局所的な形状プロファイル（厚さ、向き、断面変異）を符号化する。
• スパイン（$S$）: リブの体積中心を貫通する滑らかな中心線。形状の全体的な軌道、曲がり、ねじれ、伸縮を支配する。スパインは、分岐構造（例：胴体から分離する四肢）を処理するために重複する結合点を避けるため、共有ノードツリーとして格納される。
• スキニング重み（$W$）: メッシュ頂点を制御構造に結合する疎行列（リブ用$W_r$、スパイン用$W_s$）。ガウス型放射基底関数を用いて変形の滑らかな伝播を可能にする。

2.2 メッシュから Fishbone へのパイプライン

このフレームワークは、手動介入なしに一般的な三角形メッシュからこの構造を自動的に抽出する：

1. 自動ルート選択: 各メッシュ部品について、軸方向バウンディングボックスから支配的な幾何学的方向を推定し、測地線計算のルート初期化を行う。
2. 測地場計算: 適応的ヒート法を用いて、短時間の熱拡散プロセスの後にポアソン方程式を解き、ルートから滑らかで単調増加するスカラー場（$\phi$）を生成する。
3. リブ抽出: 複数の測地レベルにおける$\phi$の等値面をリブとして抽出する。リブの数（$K$）は、部品の相対的範囲に基づいて適応的に決定され、一貫した間隔を確保する。トポロジーを考慮した伝播（面隣接グラフ上の BFS を通じて）は、分岐と非連結コンポーネントを処理する。
4. スパイン構築: 幾何学を考慮した中心発見アルゴリズムが、局所的な平坦さ、幾何学的中心性、親子の連続性を組み合わせたスコアを最大化することで、各リブの代表スパイン点を抽出する。これらの点は分岐スパインツリーを形成する。
5. スキニング重み計算: 頂点を最も近いリブエッジとスパイン点に結合する適応的ガウス重みを計算する。

2.3 変形プリミティブ

この表現は 9 つのパラメトリック変形プリミティブをサポートする：

• リブ駆動（局所）: 均一/異方性スケーリング、並進、回転、局所ドラッグ、および断面の再成形。これらは全体構造を保持しつつ局所プロファイルを操作する。
• スパイン駆動（全体）: 伸縮、曲げ、ねじれ。これらは全体の軌道と向きを操作する。
• 双方向結合: 変形は連鎖可能である。リブの編集はメッシュを更新し、その後スパインを更新する。スパインの編集はメッシュとリブを更新し、再抽出なしに結合構造を維持する。

2.4 低次元空間ダイナミクスとアニメーション

• 低次元シミュレーション: スパインは低次元シミュレーション座標として機能する。完全なメッシュ状態は、スキニング行列を用いてスパインからリフトされる。システムは疎なスパイン点上で物理（弾性、減衰、風/重力などの外力）をシミュレートし、すべての頂点をシミュレートすることなく、リアルタイムかつ物理的に妥当な二次運動（例：植物の揺れ、ジグリング）を可能にする。
• キーフレームアニメーション: ユーザーは変形プリミティブを通じて疎な目標ポーズを作成できる。中間フレームは、低次元パラメータ空間（メッシュ頂点、リブ、スパイン点）におけるキーフレーム間の補間によって生成される。

3. 主要な貢献

1. 統合された Fishbone 表現: 幾何学導出のリブ、滑らかなスパイン、ガウス重み付きスキニングの新奇な結合。これにより、直感的かつ効率的な局所および全体パラメトリック変形が可能となり、単一の構造内で低次元空間ダイナミクスとアニメーションがサポートされる。
2. 自動メッシュから Fishbone へのフレームワーク: 手動リギング、カテゴリ固有の学習、または事前定義テンプレートを必要とせず、一般的なメッシュからリブ - スパイン構造を抽出するパイプライン。このパイプラインは、対応するリブ、スパイン、およびスキニング構造を持つ部品レベルメッシュを含むFishbone-136K データセットの構築に使用される。
3. 多様な応用と評価: このフレームワークは、3D 生成（メッシュと制御構造の同時生成）、インタラクティブ編集、ロボティクス学習（把持のためのデータ拡張）、およびエージェンティック生成において実証される。広範な実験により、その有効性、効率性、および多様性が検証されている。

4. 結果と性能

• ランタイム効率:
  • 前処理: 抽出パイプラインは、2,565 メッシュのデータセットにおいて、メッシュあたり中央値58.0 秒（平均 84.5 秒）で実行される。ランタイムは頂点数に対してほぼ線形にスケーリングする。
  • 変形: 対話的編集は、最大 160 万頂点のメッシュにおいてミリ秒単位で実行される（ほとんどのプリミティブで中央値約 1ms、ねじれで約 12.7ms）。
  • ダイナミクス: 低次元空間シミュレーションはリアルタイム性能を達成する（物理のサブステップあたり中央値 1.1ms、変位リフト付きで約 3ms）。削減率（$K/N$）は通常**0.007%**程度であり、元の頂点のごく一部のみをシミュレートする。
• 品質と精度:
  • 変形: ARAP および WIR3D と比較して、Fishbone はより低いラプラシアン平滑化偏差（アーティファクトの減少）およびより低い ARAP エネルギー（剛性保持の向上）を達成し、前処理時間を大幅に短縮する（数時間 vs 数秒）。
  • 3D 生成: 画像条件付き生成において、メッシュと Fishbone 構造の同時予測は、Chamfer 距離および F スコアにおいてベースライン（PartCrafter、OmniPart、PartPacker）を上回り、浮遊アーティファクトの少ないクリーンな幾何形状を生成する。
  • ロボティクス学習: Fishbone 拡張データ上で把持ポリシー（DexGraspNet 2.0）をファインチューニングすることで、単一および多物体シーンにおける未見の野生環境オブジェクトの把持成功率が大幅に向上する。
  • アブレーション研究: コンポーネント（ヒート法、自動ルート選択、適応的レベル数、分岐ツリー処理）を除去すると、リブの断片化、スパインの不一致、または不安定な変形が生じ、各設計選択の必要性が確認される。

5. 意義と主張

本論文は、Fishbone が 3D アセット操作に対するスケーラブルで自動的かつ幾何学を認識する解決策を提供すると主張する。メッシュ幾何学から直接低次元制御構造を導出することで、パラメトリックモデリングの精度と自由形状の柔軟性の間のギャップを埋める。

その意義は、以下の点にある：

• 多様なアセットに対する手動リギングおよびカテゴリ固有の学習の必要性を排除する。
• 疎な 2D 制御や非パラメトリックなニューラルフィールドでは達成が困難な、予測可能で制御可能な編集（局所および全体）を可能にする。
• 編集に使用される同じ制御構造を用いてリアルタイムの低次元空間ダイナミクスとアニメーションをサポートし、ロボティクス（データ拡張）やインタラクティブコンテンツへの応用を促進する。
• エージェンティックシステムのための基盤表現として機能し、LLM/VLM が安定したセマンティックハンドルを通じて複雑なメッシュ編集（例：「脚を太くする」）を推論し実行することを可能にする。

著者らは、現在の三角形メッシュへの依存と、長いキーフレームシーケンスの作成に必要な手作業という限界を認め、他の 3D 表現（ポイントクラウド、ガウススプラッティング）との統合および学習ベースのキーフレーム生成に関する将来の作業を提案している。