Look Both Ways Before You Cross: Lifting Cross Fields From 2D Visual Priors

技術的概要：Cross Fields を 2D 視覚的事前知識から引き上げる：「渡る前に左右を確認せよ」

問題定義
四角形（quad）メッシュは、アニメーション、パラメータ化、編集への適性により、3D モデリングの標準的な表現形式です。高品質な四角形メッシュにとっての重要な要件は特徴アライメント、すなわち、四角形の辺を局所的な幾何学的手がかり（鋭い折り目、曲率など）と、大域的な意味論的特徴（四肢の軸、顔の対称性など）の両方に整合させる能力です。既存の自動化手法は、通常、アライメントを誘導するために主曲率方向などの幾何学的量に依存しています。しかし、これらの幾何学的シグナルは局所的であることが多く、大域的意思論的理解を捉えたり、幾何学が曖昧な形状（意味論的軸を持つ平坦な表面など）を処理したりすることに失敗します。さらに、手動によるアライメントには高度な専門知識が必要で、時間がかかります。データ駆動型の手法も存在しますが、多くの手法は 3D 学習データの不足に制限されていたり、アーティストが作成した意味論的レイアウトではなく、幾何学的代理物で学習されたモデルに依存していたりします。

手法：CrossLift
著者らは、テキストから画像を生成する生成モデルに由来する2D 視覚的事前知識を活用して、3D メッシュ上で特徴に整合したクロスフィールドを生成する手法CrossLiftを提示します。この手法は主に 3 つの段階で動作します：

1. 2D 事前知識の生成と勾配抽出：

   • 入力された三角形メッシュを 6 つの標準的な視点（前、後、左、右、上、下）からレンダリングし、深度マップを生成します。
   • これらの深度マップと、四角形メッシュのテクスチャを記述するテキストプロンプトを組み合わせ、テキストから画像を生成するモデル（実験では Flux）に条件付けを与え、物体の特徴に整合したワイヤーフレーム四角形メッシュを描いたマルチビュー画像を合成します。
   • 生成された画像から、システムはピクセルごとのアライメント方向を抽出します。これには、Scharr カーネルを用いて画像勾配を計算し、グリッド線に対応する大域勾配をフィルタリングし、グリッド交点におけるアーティファクトを除去するために一貫性フィルタを適用する処理が含まれます。

2. 3D 逆投影と 2 段階補間：

   • 抽出された 2D 勾配ベクトルを、カメラのヤコビアンとビュー変換を用いて、3D メッシュ表面の接空間上に逆投影します。
   • これらの疎で潜在的に矛盾するシグナルを、滑らかで統合されたクロスフィールドに統合するために、著者らは2 段階補間プロセスを採用します：
     • 段階 1（ビューごとの求解）： 各ビューについて、逆投影された勾配を面ごとのクロスフィールドに補間します。このステップでは、滑らかさエネルギー（調和重み）とアライメントエネルギー（投影された勾配との一致）を最小化する制約付き線形システムを使用します。これにより、画像内の元の勾配密度に関わらず、各ビューが密で一貫したシグナルを寄与することが保証されます。
     • 段階 2（マルチビュー求解）： ビューごとのクロスフィールドを単一のグローバルクロスフィールドに統合します。この求解では、ビュー間の矛盾を解決するために、信頼度に基づくカスタム重みを導入します。
       • ビューアライメント重み： 視点方向と整合する面上のクロスは、透視歪みが最小化されるため、より高い重みが付けられます。
       • 一貫性重み： 複数のビューが面のアライメントで一致する場合、重みは高く設定されます。ビュー間で矛盾する場合、重みは低下され、曖昧さを解決するために滑らかさ項が支配的になります。
   • 最終的なフィールドは単位長に正規化され、4 回回転対称（4-RoSy）のクロスフィールドとなります。

3. 四角形メッシュの抽出：

   • 得られたクロスフィールドを積分してパラメータ化を生成します（ポリベクトルカール補正と MiQ を使用）。
   • このパラメータ化の整数等値線を抽出して、最終的な四角形メッシュを形成します。

主要な貢献

• 視覚誘導アライメント： 本論文は、事前学習された 2D 生成モデルの強力な意味論的および幾何学的理解を活用し、純粋な幾何学的または疎な 3D データ駆動アプローチの限界を回避する、四角形メッシュ生成の新たなアプローチを導入します。
• 2 段階補間： 著者らは、表面への勾配の逆投影を行った後に求解を行い、その後マルチビューの統合を行う特定の補間パイプラインを提案します。この設計は、2D において直交する表面ベクトルが非直交に見えるような投影アーティファクトを防止し、すべてのビューからの均等な寄与を保証します。
• モジュール性： 本手法はモジュール式であり、さまざまな 2D 画像生成モデル（Flux、Gemini 3、ChatGPT 5.2 で実証済み）と互換性があり、2D レンダリング上にユーザーが描いた粗い線などの代替 2D シグナルを受け入れることができます。
• ロバスト性： このアプローチは、局所的な幾何学的ノイズではなく大域的意味論的事前知識に依存することで、表面ノイズ（例：テーブルクロスにしわ）に対してロバスト性を示し、滑らかな補間を通じて遮蔽領域を処理します。

結果と評価
著者らは、有機的および機械的な形状の多様なセットにおいて CrossLift を評価し、QuadriFlow、QuadWild、NeurCrossと比較しました。

• 定性的結果： CrossLift は、局所的な幾何学的特徴（レゴブロックの突起など）と大域的意味論的特徴（ライオンの顔の対称性や猫の毛並みの流れなど）の両方に整合する四角形メッシュを生成します。対照的に、ベースライン手法は、しばしば波打つエッジフロー（QuadriFlow/QuadWild）または意味論的特徴を無視する過度に剛直で軸に整合したグリッド（NeurCross）を生成します。
• 定量的結果： QuadWild300 データセットにおいて、CrossLift はより高い平均スケーリングされたヤコビアン（SJ）（QuadriFlow の 0.9674 に対し 0.9797）を達成し、伸びやねじれが少なく、優れた四角形品質を示しています。また、**不規則頂点（IV）**の割合が最も低い（1.4133%）ことを達成し、より滑らかなエッジフローと特異点の少なさを示唆しています。
• 応用： 本論文は、幾何学ではなくテクスチャパターンに四角形を整合させるテクスチャ整合四角形メッシュ生成や、2D 上の粗いユーザー描画線をガイドとして使用するインタラクティブデザインにおける応用例を示しています。

意義と主張
本論文は、CrossLift が、誘導シグナルを局所的な幾何学から大域的視覚的事前知識へシフトさせることで、特徴方向への四角形の整合という「非自明な」課題に取り組んでいると主張しています。著者らは、幾何学的量は良い代理物であるが、意味論的アライメントを保証することはできないと論じています。数十億の画像で学習されたテキストから画像を生成するモデルを活用することで、CrossLift は既存の手法が見逃している微妙な意味論的特徴を捉えます。この研究は、視覚的ガイドが曖昧な幾何学やノイズを持つ形状でのロバストなメッシュ生成を可能にし、深い 3D モデリングの専門知識を必要とせずに直感的なユーザー制御への道を開くことを強調しています。著者らは限界点として、本手法が入力メッシュの剛体変換に対して等変であることが保証されないことを指摘していますが、高レベルのアライメントは一貫して維持されます。