技術要約: MeshFlow: 等変フローマッチングによるメッシュ生成

問題提起

高品質な3Dメッシュを直接生成することは、メッシュ表現が持つ複雑な構造的特性により、コンピュータグラフィックスにおける大きな課題となっている。点群やインプリシット関数とは異なり、メッシュには固有の対称性、具体的には面の置換不変性（permutation invariance）と、各面内における頂点の置換不変性が存在する。既存の手法には明確な限界がある：

• 二段階パイプライン: 中間表現（例：点群、ボクセル、インプリシット関数）を生成してからメッシュに変換する手法は、過剰なテセレーションやシャープな特徴の消失といったアーティファクトが生じやすく、アーティストが作成したメッシュのような意図的なテセレーションを再現できないことが多い。
• 自己回帰モデル: 近年の研究（例：MeshGPT、MeshXL）は、高品質なメッシュをデータから直接生成するが、推論速度の遅さ、生成制御の困難さ、および長いシーケンスにおける誤差の累積というボトルネックを抱えている。
• 標準的な拡散/フローマッチング: メッシュへの拡散モデルの直接適用は、自己回程モデルほどの品質を得るのに苦労してきた。これは、従来のモデルが面の頂点に関する固有の対称性を考慮しておらず、非効率な学習や不適切な生成を招いているためである。

手法

著者らは、人間が精査したデータセットから三角形メッシュを直接生成することを学習するモデルであるMeshFlowを提案する。この手法は、メッシュを順序のない三角形の集合として定義する**トライアングル・スープ（triangle soup）**表現上で動作する。各面は3つの順序のない頂点で構成される。

1. 表現と対称性

モデルはメッシュを $x = \{f_1, \dots, f_N\}$ という集合として扱う。ここで各面 $f_i$ は3つの頂点からなる。この表現は2つのレベルの置換対称性を示す：

• 面レベル: $N$ 個の三角形の集合は任意に置換可能である（対称群 $S_N$）。
• 頂点レベル: 単一の三角形内の3つの頂点の順序は無関係である（対称群 $S_3$）。
  結合された対称群は、ヴェア・プロダクト（wreath product） $G = S_3 \wr S_N$ である。

2. 等変アーキテクチャ

これらの対称性を尊重するため、著者らは標準的なDiffusion Transformer (DiT) アーキテクチャを**等変DiT (EquiDiT)**へと改良した：

• 頂点エンベッダー: NeRFと同様に、正弦波位置エンコーディングを用いて頂点座標をエンコードする。
• 等変DiTブロック: すべての $3N$ 個の頂点に対して自己注意（self-attention）を適用する代わりに（これは計算コストが高く、制約が強すぎる）、モデルは各面内の頂点特徴を平均プーリングによって集約し、面の特徴を作成する。
  • 面の自己注意: 標準的な自己注意層が、位置エンコーディングなしで面の集合を処理する。
  • 頂点の復元: 注意を適用した後の面の特徴を元の頂点エンベディングに加算することで、頂点レベルの等変性を保持する。
  • フィードフォワードネットワーク (FFN): 2層のFFNが各頂点の特徴を独立して処理する。
• 面の条件付け: 可変的なメッシュ解像度を扱うため、ネットワークはAdaptive LayerNorm (adaLN) パラメータに追加される埋め込みを通じて、ターゲットとなる面の数に対して明示的に条件付けされる。

3. 対称性を考慮した学習目的関数

モデルは、ノイズとデータの間に直線的な速度場を定義するために、最適輸送 (Optimal Transport: OT) フローマッチングを利用する。

• 入れ子状の結合 (Nested Coupling): 標準的なフローマッチングは、ノイズとデータの間の独立した結合を用いることが多い。MeshFlowは、ノイズサンプル $x_0$ をターゲットデータ $x_1$ に整列させるための最適な群作用 $g \in G$ を見つけることで、輸送コストを最小化する入れ子状の結合戦略を導入する。
  • これには、面を一致させるためのハンガリ法を用いた線形割当問題の解決と、一致した各面内での最適な頂点置換 $S_3$ の探索が含まれる。
  • コスト関数は $C(x_0, x_1) = \min_{g \in G} \|x_1 - g \cdot x_0\|^2$ と定義される。
• 損失関数: モデルは、定数速度場 $u_t = x_1 - \tilde{x}_0$ を予測するように訓練される。ここで $\tilde{x}_0$ は最適な群作用を適用した後のノイズサンプルである。これにより、対称性に反する学習信号が排除され、より直線的な積分パスが得られる。

4. 後処理

フローマッチングモデルの連続的な出力には、近接して重なり合う頂点のクラスターが含まれる可能性があるため、2段階の後処理パイプラインが適用される：

1. ニューラルデノイザー: メッシュからガウスノイズを除去するように訓練された軽量なネットワークであり、生の出力に適用して低レベルの幾何学的アーティファクトを修正する。
2. クラスタリングと重複排除: 閾値距離 (0.015) 内にある頂点をマージし、同一の面を削除することで、クリーンな多様体メッシュを作成する。

主な貢献

1. 新規なメッシュ生成フレームワーク: トライアングル・スープ表現に直接等変最適輸送フローマッチングを適用した初めての手法であり、中間表現や自己回帰的なシーケンシングを回避している。
2. 等変DiTアーキテクチャ: 面レベルおよび頂点レベルの両方の置換不変性を尊重するスケーラブルなネットワーク修正により、対称性を壊すことなく効率的な速度場のモデリングを可能にする。
3. 入れ子状最適輸送損失: ノイズとデータを入れ子状の置換戦略（面と頂点）によって結合する学習目的関数であり、OTコストを大幅に削減し、学習を安定させる。
4. 効率性と品質: 自己回帰モデルに匹敵する、あるいはそれを上回るメッシュ品質を実現しながら、大幅な高速化を実現している。

結果

実験はShapeNetの4つのカテゴリ（Chair, Table, Bench, Lamp）に対して行われた。

• 品質: MeshFlowは、自己回帰モデル（MeshXL, MeshGPT, PolyGen）と同等、あるいはそれ以上の1-最近傍精度 (1-NNA) スコアを達成している。例えば、Chairカテゴリにおいて、MeshFlowは54.51の1-NNAを達成し、MeshXL (55.32) に匹敵し、拡散ベースの基準であるPolyDiff (79.91) を大幅に上回った。
• トポロジー品質: 本手法は、他の拡散ベースのアプローチと比較して、自己交差が著しく少ないメッシュを生成する。後処理により、自己交差率 ($R_i$) はさらに約56%減少する。
• 推論速度: MeshFlowは高品質なメッシュを1秒未満 (0.877s) で生成し、最も遅い自己回帰ベース（例：MeshXLの28.9s）に対して18.55倍の高速化を実現している。
• アブレーション研究: 等変アーキテクチャまたは入れ子状の結合を取り除くと、性能の低下と収束の遅延が見られ、両方のコンポーネントの必要性が確認された。

意義

本論文は、MeshFlowが、等変フローマッチングを用いることで、二段階パイプラインと自己回帰モデルの両方の限界を克服できる可能性を示していると主張している。データに内在する対称性を明示的にモデリングすることで、インタラクティブなコンピュータグラフィックスアプリケーションに求められる高い忠実度と意図的なテセレーション品質を損なうことなく、サブ秒単位の推論速度を実現している。この研究は、複雑な幾何学的構造に対して拡散ベースの手法を成功させるためには、データの対称性を尊重することが極めて重要な要因であることを示唆している。