技術要約: Stitched Embeddings (StEm)

問題提起

パラメトリックなボディモデル（SMPLなど）を通じて3D人体デジタル化は大きく進歩したが、衣服の再構成と操作は、その膨大なトポロジーの変化や非剛体変形のため、依然として困難な課題である。従来の衣服モデリングは、ベジェ曲線などのパラメトリック曲線とシーム制約によって定義される離散的なパネルからなる、ピース単位のCAD定式化である「2D裁断パターン」に依存している。これは、物理的な製造とリアルなアニメーションのための設計図として機能するものである。

現在、2Dパターンと3Dジオメトリの間のギャップを埋めるには、通常、パネルを「縫い合わせる」ための物理ベースのシミュレーション（例：スプリングマスシステム）が必要となる。このシミュレータへの依存は、以下の3つの決定的な制限をもたらす：

1. 計算コスト: シミュレータは低速であり、リアルタイムアプリケーションを妨げる。
2. 非微分可能性: ほとんどのシミュレータは微分可能ではないため、エンドツーエンドの学習や最適化（例：バックプロパゲーションによる予測の精緻化）ができない。
3. 柔軟性の欠如: 既存の手法は、複雑なシミュレーションを再実行することなく、縫製パターンの数や種類をテスト時に適応したり編集したりすることに苦慮している。

さらに、近年の研究では、3D衣服を表現するために無符号距離関数（UDF）のようなインプリシット表現が探索されているが、これらはテーラリングのダウンストリームアプリケーションに必要な意味論的構造を欠いている。

手法: Stitched Embeddings (StEm)

著者らは、3D衣服とその対応する2D裁断パターンを共同で表現する統一された潜在空間、Stitched Embeddings (StEm) を提案する。コアフレームワークである StEm-Net は、これらの表現を接続する初めてのエンドツーエンドかつ完全微分可能な、シミュレーションフリーの手法である。

1. コア表現: BoxMesh

シミュレータを使用せずに2Dパターンと3Dジオメトリを整合させるために、著者らは BoxMesh を導入した。

• 概念: BoxMeshは、2D裁定パターンがボディモデルの周囲の3D空間内に配置された（「プレシミュレーション」状態に似た）3D表現である。
• 機能: これは、意味的な機能（例：袖、フロントパネル）に基づいて2Dパネルを3D構成に整列させる空間的なプロキシとして機能する。
• トポロジー: BoxMeshは裁断パターンの正確なトポロジーを維持しながら、3Dボリュームを占有する。BoxMeshに対して布シミュレーションが適用されると、最終的なドレープされた衣服メッシュが得られる。
• 整合性: BoxMeshを入力モダリティとしてシミュレートされた衣服メッシュと共に使用することで、ネットワークは最終出力とトポロジー的に整合した3D空間的な事前知識を受け取る。

2. ネットワークアーキテクチャ (StEm-Net)

アーキテクチャは、非ウォータータイトな開いた多様体（ネックラインや開いた裾に不可欠）を表現するために、Unsigned Distance Fields (UDF) を使用するように適応させた、修正された Hunyuan3D 2.1 VAE フレームワークに基づいている。

• エンコーダ:

  • 衣服エンコーダ ($E_g$): 法線 ($N$) を持つ3D衣服点群 ($P$) を処理する。
  • BoxMeshエンコーダ ($E_{bm}$): プレシミュレーションされたBoxMeshジオメトリを処理する。
  • 整合戦略: 潜在空間が入力モダリティ（BoxMesh vs. シミュレートされたメッシュ）に対して不変であることを保証するため、モデルは既知の1:1の対応関係を利用する。訓練中、対応する点が両方のジオメトリからサンプリングされ、同じ物理的位置を同じ潜在領域にマッピングする。
  • 出力: 両方のエンコーダは、共通の潜在集合 $z \in \mathbb{R}^{256 \times 64}$ にマッピングされる。

• デコーダ:

  • 3Dデコーダ ($D_{3D}$): 3D衣服のUDFフィールドを再構成する。
  • 裁断パターンデコーダ ($D_{SP}$): 裁断パターンを定義する 122のデザインパラメータ（GarmentCode空間から）を回帰する。これらのパラメータには、連続値（寸法）、ブール値（袖の有無など）、およびカテゴリ値（衣服の種類）が含まれる。学習可能なパネルごとのクエリを持つデコーディング・トランスフォーマーが、潜在集合をこれらのパラメータにマッピングする。

3. 訓練と損失関数

モデルは、以下の複合損失関数を用いてエンドツーエンドで訓練される：
$$\mathcal{L} = \mathcal{L}_{UDF} + \lambda_1 \mathcal{L}_{SP} + \lambda_2 \mathcal{L}_{KL}$$

• 3D再構成損失 ($\mathcal{L}_{UDF}$): 予測された距離関数と、BoxMeshおよび衣服の両方の入力に対するグランドトゥルースの距離関数の間の平均二乗誤差（MSE）を最小化する。高周波の詳細とグローバルな構造の両方を捉えるために、層化サンプリングを使用する。
• 裁断パターン損失 ($\mathcal{L}_{SP}$): 122個のパラメータの異質な性質を扱うマルチタスク損失：
  • 連続的な寸法に対するMSE。
  • ブール値に対するバイナリ交差エントロピー（BCE）。
  • カテゴリ値に対する交差エントロピー（CE）。
• 潜在整合損失 ($\mathcal{L}_{KL}$): 標準正規分布に対して潜在空間を正則化し、BoxMeshのエンコーディング ($z_B$) と衣服のエンコーディング ($z_G$) の間のKLダイバージェンスを最小化することで、2つの入力モダリティ間の整合性を強制する。

4. 推論とテスト時適応

• 3Dから2Dへ: 3D点群が与えられると、モデルはそれを潜在空間にエンコードし、裁断パターンパラメータをデコードする。
• テスト時最適化: 未知のジオメトリに対する予測を精緻化するために、予測されたUDFと入力表面との間の再構成誤差を最小化するように、潜在ベクトル $z$ がバックプロパゲーションを介して反復的に更新される。潜在空間が共有されているため、この最適化は3Dジオメトリと離散的な裁断パターンパラメータを同時に精緻化する。
• 2Dから3Dへ（編集）: ユーザーが2Dパターンのパラメータを変更すると、ネットワーク（「ニューラルシミュレータ」として機能）は、物理シミュレーションを行うことなく、即座に更新された3D UDFフィールドを予測する。

主な貢献

1. StEm-Net: 3D衣服の実体化と2D裁断パターンを共通の潜在空間において統合する、最初のエンドツーエンドかつ完全微分可能な、シミュレーションフリーの手法。
2. 最先端の性能: 本手法は、裁断パターンの予測において新しいSOTA（State-of-the-Art）の結果を達成し、最も近い競合手法であるNeuralTailorと比較して、エラーを最大 15% 削減した。
3. テスト時適応と編集: 本フレームワークは、物理シミュレーションを必要とせずに、2Dパターンからの直接的な衣服編集と、バックプロパゲーションによる予測の精緻化を可能にする。

実験結果

著者らは、NeuralTailor（単純なトポロジー）と GarmentCodeData（最大75個のパネルを持つ複雑なトポロジー）の2つのデータセットでStEm-Netを評価した。

• NeuralTailorとの比較: NeuralTailorのテストセットにおいて、St-Em-NetはパネルL2誤差、エッジ検出、ステッチ精度を含むほぼすべての指標でNeuralTailorを上回った。特筆すべきは、NeuralTailorはより複雑なGarmentCodeDataへの収束に失敗したが、StEm-Netは成功したことである。
• 画像ベースの手法との比較: GarmentCodeDataテストセットにおいて、画像ベースの最先端手法である ChatGarment と比較した際、3D点群を操作するStEm-Netは、パラメータ回帰において優れた精度を示した。これは、3Dの幾何学的手がかりが、2Dの視覚的テクスチャのみよりも、パターン推論に対してより決定的な情報を提供することを示している。
• 汎化性能: モデルは、4DDress および CloSe データセットからの実世界のスキャンに対しても効果的に汎化し、合成データで訓練されているにもかかわらず、Chamfer Distance指標においてNeuralTailorを大幅に上回った。
• 編集: 本フレームワークは、物理シミュレーションなしに、2Dパターンの変更（例：衣服の長さの変更、袖の削除、またはパンツからスカートへの入れ替え）に基づくシームレスな3D編集を実証した。

意義と主張

本論文は、Stitched Embeddings を、ニューラル3Dビジョン と 物理的な衣服製造パイプライン の間のギャップを埋める重要なマイルストーンとして位置づけている。

• シミュレーションフリーの効率性: 微分可能な物理シミュレータの必要性を排除することで、本手法は衣服の再構成と編集のための計算効率の高い代替手段を提供する。
• 統一された表現: 連続的な3Dジオメトリと、離散的な2D製造設計図の両方を、単一の学習可能な潜在空間内で表現するという根本的な課題を解決する。
• 実用的な適用可能性: テスト時適応と直接的な編集が可能であることは、本ツールをビジョンおよびグラフィックス・コミュニティにとって実用的に柔軟なものとし、デジタルファブリケーションのパイプラインを合理化する可能性がある。

著者らは、結果がまだ高忠実度の物理シミュレーションとは完全には一致していないことを認めているが、本研究は、多層の衣類、多様な素材、および微細な衣服のニュアンスに関する将来の研究のためのスケーラブルな基礎を築くものである。