技術要約: PolyFlow

問題提起

「アーティストのような」トポロジー（目的を持ったクリーンな接続性と制御可能な解像度が特徴）を持つ自動メッシュ生成は、3Dコンテンツ・パイプラインにおける重要なボトルネックとなっている。近年の自己回帰（AR）Transformerモデル（例：PolyGen, MeshGPT, MeshAnything）は、メッシュをトークンシーケンスにシリアル化することで高品質な結果を実現しているが、以下の根本的な限界を抱えている：

1. 計算レイテンシ: ARデコーディングは本質的に逐次的であり、トークンを一つずつ生成する必要がある。これにより、生成時間は数十秒から数分に及び、2D画像合成で使用される並列生成モデルよりも数桁遅くなる。
2. 誤差の累積: ARモデルの逐次的な性質は、直列的な誤差の累積を引き起こし、最終的なメッシュにおいて意味のあるパーツの欠落や構造的な不整合を招く原因となる。
3. 解像度制御の欠如: AR手法は通常、固定されたシーケンス長を生成するため、再学習や複雑な後処理なしに、出力頂点数を精密に制御することが困難である。

対照的に、フローマッチングや拡散モデルのような連続的な生成フレームワークは、効率的な並列合成を提供するが、メッシュに直接適用することはできない。これは、メッシュの接続性（エッジと面）が本質的に離散的（バイナリの存在）であり、連続的な状態空間を前提とする標準的な連続ノイズ注入およびデノイジング操作とは互換性がないためである。

手法

著者らは、離散的なメッシュ・トポロジーと連続的な生成モデリングの間の溝を埋める、Transformerベースのフローマッチング・フレームワークであるPolyFlowを提案する。コアとなる革新は、メッシュの全状態（ジオメトリとトポロジー）を並列にデノイズすることを可能にする、新しい連続プロキシ表現である。

1. 連続トポロジー埋め込み

離散的なトポロジーと連続的なフローの不適合性を解決するために、著者らは**トポロジー埋め込み器（Topology Embedder）**を導入する。

• メカニズム: この軽量なニューラルネットワークは、グラウンドトゥルースの頂点位置と法線を入力として受け取り、各頂点に対して低次元の連続的な埋め込み（$e_i$）を出力する。
• 時空距離: 埋め込みは、時空距離メトリック（SpaceMeshに着想を得たもの）を用いて監督される。各埋め込みは、空間成分（$e^s$）と時間成分（$e^t$）に分割される。頂点 $i$ と $j$ の間のエッジは、時空距離 $d^{st}(e_i, e_j) = \|e^s_i - e^s_j\|^2 - \|e^t_i - e^t_j\|^2$ が学習された閾値 $\tau$ を下回る場合に、復元可能となる。
• 学習: 埋め込み器は、エッジ再構成に関するバイナリクロスエントロピー損失を最小化するように学習される。一度学習されると、それは凍結され、固定された特徴抽出器として機能する。

2. 結合フロー状態表現

PolyFlowは、ジオメトリとトポロジーを各頂点の単一の連続的な状態ベクトルへと統合する：
$$z_i = [p_i, n_i, e_i]$$
ここで、$p_i$ は3D位置、$n_i$ は表面法線、$e_i$ は凍結されたトポロジー埋め込みである。$V$ 個の頂点を持つメッシュは、行列 $Z \in \mathbb{R}^{V \times (3+3+d)}$ として表現される。決定的なことに、頂点数 $V$ は明示的な入力パラメータであり、これにより解像度の直接的な制御が可能になる。

3. フローマッチング・フレームワーク

生成プロセスはフローマッチング問題としてモデル化される：

• 条件付け: モデルは、凍結されたエンコーダを介して抽出された特徴量によって条件付けられる。
• デノイジング: Transformerベースのフローモデル（FluxスタイルのDiT）が、速度場 $v_\theta$ を予測し、ガウスノイズからデータ分布へと結合状態 $Z$ を並列にデノイズする。
• 損失関数: モデルは、位置、法線、およびトポロジー埋め込みの再構成のバランスをとる、チャネル重み付き速度一致損失を用いて学習される。

4. 推論とデコーディング

• 並列生成: 推論中、ユーザーはターゲット頂点数 $\hat{V}$ を指定する。モデルはノイズから $\hat{V}$ 個のトークンを初期化し、オイラーソルバを使用して並列に常微分方程式（ODE）を解く。
• トポロジー復元: 生成されたトポロジー埋め込みは、時空距離を評価することによってエッジへとデコードされる。距離が閾値 $\tau$ を下回る場所にエッジが形成される。
• 面の抽出: 復元されたエッジ集合から3-クリック（三角形）を列挙することで、面を抽出する。
• 向きの補正: 生成された表面法線を使用して、面の整合した巻き順を決定し、別途のマニホールド修復を行うことなく、グローバルに外向きの向きを保証する。

主な貢献

1. 連続トポロジー埋め込み: 著者らは、メッシュ・トポロジーの離散性が連続的な生成モデルの主要な障壁であることを特定し、離散的な隣接関係が時空距離による閾値処理を通じて復元可能な、連続的な埋め込み空間を学習することでこれを解決した。
2. 結合ジオメトリ・トポロジー・フロー状態: ジオメトリとトポロジーを単一の $[p, n, e]$ 状態へと集約し、これを単一のTransformerでデノイズすることで、自己回帰的なデコーディングを完全な並列生成に置き換えた。
3. 正確な頂点数制御: AR手法とは異なり、PolyFlowは生成前にユーザーが正確な出力頂体数を指定できるため、粗いものから細かいものまで精密な解像度制御を可能にする。
4. 最先端の性能: 本手法は、ARのベースラインと比較して優れた幾何学的忠実度（ChamferおよびHausdorff距離）を達成しつつ、大幅な速度向上を実現している。

実験結果

Toys4Kベンチマーク（ポイントクラウド条件付きメッシュ生成）において評価：

• 精度: PolyFlowは、最も強力な自己回帰ベースラインであるBPTに対し、Chamfer距離（CD）で43%、Hausdorff距離（HD）で40%上回る性能を示した。また、これらの指標において標準偏差が低いことも示されており、生成品質の安定性を示唆している。
• 速度: PolyFlowは数秒でメッシュを生成する。4,000頂点のメッシュに対して、BPTが138.6秒、FastMeshが36.72秒かかるのに対し、PolyFlowはわずか5.88秒である。これはAR手法に対して数十倍、FastMeshに対しては6倍以上の高速化を意味する。
• アブレーション: 最適なトポロジー埋め込み次元は32であることが判明した。低い次元（例：8）では隣接関係を忠実にエンコードできず、高い次元（例：64）では再構成における利得はほとんどないものの、フローモデルの学習を困難にする。

意義と主張

論文は、PolyFlowが連続的な生成モデルに対する離散的なメッシュ・トポロジー固有の限界を打破することに成功したと主張している。トポロジーを連続的な潜在空間へと持ち上げることで、以下を実現した：

• 効率性: 逐次的なARデコーディングと比較して、推論レイテンシを劇的に削減。
• 堅牢性: 逐次的な誤差の累積を排除し、壊れた領域やパーツの欠落が少ないメッシュを実現。
• 制御可能性: 標準的なARメッシュ生成パイプラインではこれまで不可能であった、メッシュ解像度（頂点数）の直接的かつ明示的な制御。

著者らは、PolyFlowを、現代の2D生成モデルの効率性を維持しながら、3Dアセットに必要な構造的完全性を保持できる、高品質でプロダクション対応可能な自動リトポロジーへの重要な一歩として位置づけている。