技術的概要：MeshFIM

問題定義

自己回帰（AR）モデルは、点群から高品質でアーティストレベルのローポリメッシュを生成する能力を実証している。しかし、既存の AR 生成器は「すべてか無か」の方式で動作する。つまり、単一の局所領域を変更するには、メッシュ全体を最初から再生成しなければならない。このアプローチは計算資源を浪費し、影響を受けない領域の満足すべきトポロジーを破壊する。さらに、古典的な局所編集技術（穴埋め、細分化など）は、メッシュ構造が単なる表面の離散化ではなく特定のセマンティック情報を符号化するローポリ設定において、トポロジーの一貫性や設計意図を保持できないことが多い。

AR モデルを局所編集に適応させる際の核心的な課題は、3D メッシュ固有の幾何学的およびトポロジー的制約にある：

1. 直列化順序: メッシュは 3 次元空間に埋め込まれた 2 次元複体である。AR 生成のためにフラットなトークン列に直列化されると、空間的に連続する近傍は局所的な順序を失い、モデルがエッジの流れや密度の遷移を保持することが困難になる。
2. 正確な境界接続: 生成されたパッチは、露出した境界頂点を正確に再利用しなければならない。サブ量子化レベルの座標の不一致さえも、目に見えるクラックや T 字継手（T-junctions）を引き起こす。
3. 生成の溢れ: 厳密な制約がない場合、生成された面は意図したターゲット領域を超えて溢れ出す可能性がある。
4. 学習と推論のギャップ: 学習コンテキストはクリーンなグランドトラウトメッシュから抽出されるが、推論コンテキストには前段階のアーティファクトやユーザー選択によるノイズが含まれる可能性があり、頑健性の問題につながる。

手法：MeshFIM

著者は、コード補完モデルから適応された Fill-in-the-Middle（FIM）フレームワークであるMeshFIMを導入し、これを自己回帰メッシュ生成に応用する。MeshFIM は、局所メッシュ編集を条件付きの埋め込みタスクとして扱い、周囲のコンテキスト $A\setminus B$ と参照幾何学 $P$ に基づいてターゲット領域 $B$ を再生成する。

このフレームワークは、メッシュ編集の特定の課題に対処するために、5 つの補完的な設計選択を採用している：

1. 境界頂点マーカー

正確な接続を強制するため、モデルは露出した境界（$V_\partial$）上の頂点に対応するコンテキストトークンを明示的にマークする。これらの埋め込みは、学習されたマーカーベクトル（$m_{bdry}$）を追加することで修正される。これにより、デコーダに対してどのコンテキスト頂点がステッチのアンカーとして再利用されなければならないかについての明示的な手がかりが提供され、シームレスな接続性が確保される。

2. 拡張されたコンテキスト幅

生成の溢れ（ターゲット領域を超えて面が溢れ出すこと）を防ぐため、コンテキストウィンドウを拡張する。最小限の近傍の代わりに、モデルはより広いコンテキスト（例えば、3 つの幅優先探索リング）を利用する。これにより、より多くの周囲の幾何学が露出し、モデルが局所的な曲率やエッジの流れを推論するための十分な証拠が得られ、生成を局所化させる。

3. コンテキスト位置埋め込み

直列化によりメッシュが平坦化されるため、モデルはコンテキストを順序のない頂点の袋として扱うリスクがある。局所的なトポロジー構造を復元するため、学習された位置埋め込みが直列化されたコンテキスト列に追加される。これにより、モデルはエッジの流れや面の密度などの周囲のパターンを保持するのに役立つ。

4. ゲート付き減算を備えたローポリ幾何学エンコーダ

標準的な点群条件器は参照表面を符号化するが、既存のローポリメッシュが既にどの部分をカバーしているかという知識を欠いている。MeshFIM はこのギャップを埋めるメカニズムを導入する：

• 共有された Perceiver-IO エンコーダが、同じクエリ位置のセットを使用して、参照点群（$P_{gt}$）とターゲット領域を除去した既存のローポリメッシュ（$P_{lp}$）の両方を符号化する。
• 軽量なゲートネットワークが、整列された潜在変数（$z_{gt}$ と $z_{lp}$）の差に基づいてベクトル $g$ を生成する。
• 最終的な条件付け信号は、参照潜在変数の減衰である：$\hat{z} = (1 - g) \cdot z_{gt}$。
• メカニズム: 既存のメッシュが参照表面を十分にカバーしている領域では、ゲートが参照信号を抑制する。メッシュが欠けている部分（穴）では、ゲートが完全な参照潜在変数を通過させ、生成を特に欠落領域に向ける。

5. コンテキスト拡張

学習と推論のギャップを埋めるため、学習プロセスにはコンテキスト拡張が含まれる。コンテキスト頂点座標にランダムなオフセットを付与し、境界頂点も同様に攪乱する。これにより、モデルは学習中にノイズの多い不完全なコンテキストに曝され、推論時の頑健性が向上する。

主な貢献

• 最初の局所ローポリメッシュ編集器: MeshFIM は、完全な再生成を必要とせず、自己回帰生成を用いてローポリメッシュの正確な局所編集を可能にする最初のフレームワークである。
• 3D への FIM 適応: 3D データに固有の非自明な幾何学的およびトポロジー的制約に対処し、Fill-in-the-Middle パラダイムを 3D メッシュに成功裏に適応させた。
• 新規アーキテクチャコンポーネント: 境界マーカー、ゲート付き減算、コンテキスト拡張といった特定のメカニズムを導入し、境界マッチング、溢れ、トポロジー的一貫性という問題を集合的に解決した。
• 二重の応用: このフレームワークは、インタラクティブなブラシベースの編集と、自動欠陥修復パイプラインの両方をサポートする。

実験結果

著者は、MeshFIM を、古典的な穴埋め、神経細分化、そしてステッチバック方式を用いたメッシュ全体の生成など、一連のベースラインと比較評価した。

• 定量的パフォーマンス: MeshFIM は、境界の正しさ（平均頂点一致率が 99.75% で、他の手法は 34% 未満）と幾何学的品質（チャーマー距離正率 95.54%）においてベースラインを大幅に上回った。また、周囲の幾何学への影響が最小限であるという優れた局所性も示した。
• アブレーション研究: 詳細なアブレーションにより、各コンポーネントの必要性が確認された。境界頂点マーカーは、完全一致率において単一の最大の改善をもたらした。コンテキスト幅の拡大は、溢れ率を劇的に減少させた。ローポリ幾何学エンコーダは、さらに溢れを抑制し、生成品質を向上させた。
• 応用:
  • インタラクティブ編集: ウェブベースのインターフェースにより、ユーザーはターゲット領域をペイントでき、それがシームレスに再生成される。
  • 自動修復: グラフィックスヒューリスティックを用いたパイプラインが、欠陥（欠落した面、反転した法線など）を検出し、MeshFIM を用いて反復的に修復する。損傷したメッシュにおいて、4 回のラウンド後に 88.9% の修復率を達成した。

意義と主張

本論文は、MeshFIM が実用的な 3D モデリングワークフローにおいて重要な前進を表すと主張している。既存のトポロジーを破壊することなく局所編集を可能にすることで、専門的なモデリングの反復的な性質と合致する。著者は、自らの手法が、AR モデルの高品質なトポロジー生成と、局所編集に必要な精度を初めて組み合わせ、生成 AI と実用的なメッシュ操作の間のギャップを効果的に埋めたと強調している。この研究は、将来の 3D アセット作成が、「すべてを再生成する」というアプローチから、ターゲットを絞り、文脈を認識した洗練へと移行することを示唆している。