技術的概要：ガーメントパーティクル

問題定義

ガーメントデザインは、直感的で高レベルな創造（テキストや画像からの生成など）と、2 次元のパターンおよび 3 次元のドレープ幾何形状の精密で低レベルな編集という、2 つの異なるモードにまたがる複雑なプロセスである。既存のフレームワークは通常、このスペクトルの片側のみに対処している。業界標準のツール（CLO3D など）は精密な低レベルの編集を可能にするが、2 次元パターンと 3 次元ドレープ間の因果関係に関する専門知識を必要とする。逆に、最近の生成モデルは高レベルの入力からパターンを生成できるが、モダリティ固有のトレーニングに依存することが多く、2 次元および 3 次元の両領域にわたる対称的で反復的な編集を行う能力が欠けている。さらに、幾何画像（geometry images）のような既存の表現は、3 次元の外観が 2 次元パネルの形状（ピクセルの不透明度）に依存する非対称性を示しており、表現上で直接 3 次元の目的関数を最適化することが困難である。核心的な課題は、マルチモーダル生成と、2 次元パターンおよび 3 次元幾何形状にわたる多様でトレーニング不要な編集の両方をサポートする、統合された表現とフレームワークを開発することである。

手法

1. ガーメントパーティクル表現

著者は、2 次元の裁断パターンとその 3 次元のドレープ幾何形状の両方を対称的に符号化する、新しい 5 次元点群表現であるガーメントパーティクルを提案する。

• 数学的定式化: ガーメントは、$U$ が 2 次元裁断パターンのドメインであり、$\mathbf{r}(U)$ が 3 次元幾何形状であるパラメトリック曲面 $\mathbf{r}: U \to \mathbb{R}^3$ としてモデル化される。この表現は、グラフ $\Gamma(\mathbf{r}) = \{(\mathbf{x}, \mathbf{r}(\mathbf{x})) \mid \mathbf{x} \in U\}$ である。
• 離散化: このグラフは、5 次元点群 $\mathbf{X}_{\mathbf{r}} = \{(\mathbf{x}_{\mathbf{r}}, f_{\mathbf{x}_{\mathbf{r}}})\}$ に離散化される。ここで、各点は 2 次元座標、3 次元座標、および点がパネルの端にあるかどうかを示す境界フラグ（$f$）を含む。
• 特性: この表現は、2 次元ドメイン（$\pi_D$）または 3 次元画像空間（$\pi_I$）への微分可能な射影を可能にし、パターンとドレープ間の対称的な相互作用を実現する。

2. ガーメントパーティクルフロー（GPF）

これらのパーティクルを生成および編集するために、著者は整流フローに基づく生成モデルであるガーメントパーティクルフロー（GPF）を導入する。

• アーキテクチャ: このモデルは Diffusion Transformer（DiT）アーキテクチャを使用する。これは、ノイズ $\mathbf{X}_0$ からガーメントパーティクル $\mathbf{X}_1$ への確率フローを学習する。
• 条件付け: GPF は、クロスアテンション機構を介してマルチモーダルな条件付け（テキスト、画像、スケッチ）をサポートする。テキストは CLIP でエンコードされ、画像は凍結された DINOv2 エンコーダでエンコードされる。
• トレーニング: このモデルは GarmentCodeData v2（GCDv2）データセット上でトレーニングされ、結合された 2 次元 -3 次元ガーメント空間上の事前分布を学習する。

3. パーティクルからパターンへのフロー（PPF）

生成されたパーティクルは順序のない点群であるため、シミュレーション準備が整ったベクトル化された裁断パターンを復元するメカニズムが必要である。

• 機能: PPF は、生成されたガーメントパーティクル $\mathbf{X}$ を構造化された裁断パターン $P$ にマッピングする条件付きフローモデルである。
• 表現: 出力パターンは、縫い合わせフラグと境界条件を含む、順序付けられたパネルとエッジ（3 次ベジエ曲線または円弧）のテンソルとして表現される。
• ロバスト性: 決定論的回帰とは異なり、PPF はパターンの復元を条件付き生成タスクとして扱うため、入力パーティクルのノイズに対してロバストである。

4. 拡散事後サンプリング（DPS）による編集

このフレームワークの主要な特徴は、拡散事後サンプリング（DPS）を用いたトレーニング不要な編集を実行できることである。

• メカニズム: 特定の編集のためにモデルを再トレーニングするのではなく、サンプリングステップ中に目的関数 $\mathcal{L}$ によって生成プロセスを誘導する。モデルは、生成されたサンプルの射影とユーザーの観測との間の損失を最小化するように事後平均を最適化する。
• 応用:
  • 点群条件付き生成: 特定の 3 次元点群（アース・ムーバー・ディスタンスを使用）に一致するように生成を誘導する。
  • ガーメント補完: 部分的な 3 次元幾何形状を補完する。
  • 裁断パターンの編集: 2 次元パターンを直接編集し、対応する 3 次元ドレープを再生成する（$\pi_D$ 射影を使用）。
  • 輪郭条件付き生成: 任意の視点からの 2 次元輪郭に一致するガーメントを生成する。

主要な貢献

1. ガーメントパーティクル: 2 次元裁断パターンと 3 次元ドレープ幾何形状を結合して符号化する対称的な 5 次元点群表現であり、目的誘導型サンプリングのための完全に微分可能なパイプラインを可能にする。
2. ガーメントパーティクルフロー（GPF）: マルチモーダル入力からガーメントパーティクルを生成し、ガーメント生成において最先端（SOTA）のパフォーマンスを達成する整流フローモデル。
3. パーティクルからパターンへのフロー（PPF）: 生成されたパーティクルをシミュレーション準備が整ったベクトル化された裁断パターンに変換するモデル。
4. DPS を通じた多様な編集: パターン編集、3 次元補完、輪郭条件付けなど、多様な編集シナリオを、各新しい編集目的のために特定のデータセットを収集したりモデルを再トレーニングしたりすることなく可能にするフレームワーク。これは表現の対称性を活用している。

結果と評価

生成パフォーマンス

モデルは、AIpparel、ChatGarment、SewingLDM、Design2GarmentCode などのベースラインと比較して、GCDv2 データセット上で評価された。

• テキスト条件付き生成: GPF は、分布指標（Coverage、MMD、1-NNA、p-FID）および CLIP 整合性において SOTA スコアを達成した。ベースラインが不正確なパネル数やスタイルなどのアーティファクトを生産することが多かったのに対し、GPF は優れた多様性と忠実度を実証した。
• 画像条件付き生成: GCDv2 レンダリング、ガーメントスケッチ、野外画像上で評価された。GPF は、ベースラインを上回るパネル精度、交差率（IOU）、およびステッチ精度を達成し、真値に密接に一致するパターンを復元した。
• 実行時間: 生成時間（約 4 秒）は他の拡散ベースの手法と同等であり、外部クエリを必要とする LLM ベースのアプローチよりも大幅に速い。

編集機能

論文は、DPS によって可能になるいくつかの編集アプリケーションを実証している。

• 補間: ベクトルベースまたは幾何画像ベースラインで見られる急激な変化を回避し、潜在空間内で異なるガーメントスタイル（例：非対称から対称の袖へ）間の滑らかな遷移を実現する。
• 3 次元編集: ユーザーは 3 次元点群に点を追加、削除、または移動させることで、一致する裁断パターンの生成を誘導できる。
• 2 次元パターン編集: ユーザーは 2 次元裁断パターンを変更（例：スカートの裾を広げる）でき、モデルは対応する 3 次元ドレープを再生成する。
• 輪郭編集: さまざまなカメラアングルからユーザーが描いた輪郭に一致するガーメントを生成する。

物理的検証

• 製作: パイプラインによって無条件に生成された 2 点のガーメント（非対称のペンシルスカートとタートルネックシャツ）は、仕立て屋によって成功裏に製作され、出力の物理的な妥当性が検証された。
• シミュレーション成功率（SSR）: モデルは高い SSR（約 90%）を達成し、生成された幾何形状がドレープシミュレーションに対して物理的に有効であることを示している。

意義と主張

本論文は、ガーメントパーティクルが直感的な高レベルデザインと専門的な低レベル編集の間のギャップを埋めると主張している。2 次元パターンと 3 次元幾何形状を単一の対称的な表現に統合することで、このフレームワークは以下を可能にする。

• 対称的編集: 2 次元または 3 次元のいずれかのドメインで編集し、変更が他方に正しく伝播させる能力。これは、以前のモダリティ固有または非対称な表現には欠けていた機能である。
• トレーニング不要の柔軟性: DPS の使用により、特定のデータセットを収集したり、各新しい編集目的のためにモデルを再トレーニングしたりすることなく、広範な編集タスクが可能になる。
• 実用的有用性: このパイプラインはシミュレーション準備が整った裁断パターンを生成し、純粋な視覚的生成を超えて、下流の物理シミュレーションおよび製造で使用可能なアセットへと発展させる。

著者は、点群の離散性により微細な調整（ダーツのサイズ調整など）が困難であること、および現在の依存が単一の体型とポーズに限定されていることなどの限界を認めている。今後の研究として、モデルをマルチボディ入力を処理できるように拡張し、製造上のハード制約を強制することが提案されている。