Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

技術的サマリー：空間圧縮を超えて：オープンワールド 3D 構造のためのインターフェース中心の生成状態

問題定義
現在の 3D 生成モデリングへのアプローチは、トークン化を主に空間圧縮タスクとして扱っている。PolyGen、MeshGPT、BPT などの手法は、自己回帰生成を促進するために幾何学をコンパクトな離散系列にマッピングする。ShapeNet などのクリーンで単一コンポーネントの CAD オブジェクトには効果的であるが、これらの圧縮中心のトークンは、交差するコンポーネント、ノイズの多いトポロジー、および弱い正準構造を特徴とする Objaverse-LVIS などのオープンワールドアセットには苦戦する。

特定された核心的な限界は表現のミスマッチである：圧縮中心のトークンは、局所的な形状、コンポーネントのアイデンティティ、アセンブリ関係を、受動的な潜在ストリームに絡み合わせている。その結果、デコーディング中にこれらの重要な変数は暗黙的となり、ネイティブにアドレス不可能となる。これにより、無効な継ぎ目、コンポーネント間干渉、ポーズの漏洩といった構造的エラーが生じる。モデルは、有効な接続と衝突、あるいは無関係な隣接表面との区別をすることができない。

手法：C2LT-3D
本論文は、トークン化を受動的な圧縮コードの構築ではなく、運用状態の構築として扱う、**コンポーネント条件付き正準局所トークン（C2LT-3D）**というインターフェース中心の生成状態を提案する。この表現は、生成状態を 3 つの異なる変数に因数分解し、それぞれが空間圧縮の特定の失敗モードを標的とする：

1. 正準局所幾何学：ポーズの漏洩に対処するため、本手法は局所表面チャートを量子化前に決定論的な正準フレーム（回転 $R_i$、ポーズ $T_i$、スケール $s_i$）にエンコードする。これにより局所フレームが安定化され、コードブックがポーズのバリエーションではなく形状を捉えるようになる。PointNeXt 風のエンコーダと有限スカラー量子化（FSQ）は、正規化された近傍を幾何学トークンストリーム（$t_{geo}$）と境界トークンストリーム（$t_{bnd}$）にマッピングする。
2. パーティション条件付きコンテキスト：コンポーネント間干渉を防止するため、モデルは教師なしのマイクロコンポーネント所有権をソフトな構造的バイアスとして注入する。連結成分と幾何学的分割を用いて、システムはパーティションヒント（$p_i$）を生成する。文脈的 Transformer は、同じパーティション内の支持と隣接コンポーネントからの干渉を区別するためにペアごとのバイアス（$b_{part}$）を適用し、文脈化されたトークン（$h_i$）を生成する。
3. 関係的継ぎ目事前分布：無効な局所接続に対処するため、継ぎ目ヘッドは近傍の支持間の候補エッジにスコアを付ける。これは 3 つの変数を予測する：互換性（$\hat{C}_{ij}$）、相対変換の微細化（$\Delta\hat{T}_{ij}$）、および衝突リスク（$\hat{y}^{coll}_{ij}$）。これにより、モデルは表面の類似性のみから有効性を推論するのではなく、デコーディング中に物理的互換性を評価し変換を微細化できる。

運用状態とデコーディング
生成状態は、局所トークン、パーティションヒント、およびエッジ変数を含む離散的関係グラフ $G_{C2LT}$ として定義される。デコーディングは、制約付き状態遷移の系列として枠組み付けられる：

• オブジェクト実現：決定論的かつ学習されないマッピングが、局所からグローバルへのミスマッチを解決する。これはデコードされた点を最終オブジェクト空間に投影するが、その点の最寄りの構造的支持が同じ教師なしコンポーネントに属する場合のみ点を保持する（マージン $m$ によって強制される）。これにより、個別の事後構造回復モジュールを必要とせずに、コンポーネント間の漏洩を抑制する。
• 潜在修復：継ぎ目事前分布はアセンブリ演算子として機能する。生成された接続が無効な場合、モデルは露出された状態変数を使用して候補親をランク付けし、変換を微細化できる。これにより、表面再構成前に構造的介入が可能となる。

主要な貢献

1. パラダイムシフト：本論文は、オープンワールド 3D トークン化を、幾何学、所有権、接続関係を明示的に分離する運用生成状態の構築として定式化する。
2. 因数分解された表現：C2LT-3D は、圧縮中心のトークンの異なる失敗モードを標的とするコンパクトな因数分解（正準幾何学、パーティション文脈、関係的継ぎ目）を導入する。
3. 実行可能な潜在変数：本手法は、離散状態が、セマンティックなパーツ注釈や外部言語事前分布なしでも、接続検証、潜在修復、制約付きデコーディングに対して実行可能であることを実証する。
4. 評価プロトコル：著者は、1,024 件の未見のマルチコンポーネント Objaverse-LVIS アセットに対する固定オブジェクト評価プロトコルを確立し、標準的な幾何学指標に加えて、構造感受性指標（コンポーネント分離スコア、コンポーネント間汚染率）を使用する。

結果
オープンワールドのマルチコンポーネントアセット（ShapeNet で学習）に対するゼロショット評価において、C2LT-3D は、圧縮中心のベースライン（BPT）および空間のみのアブレーション（VQ-Patch）と比較して、優れた構造的堅牢性を示した：

• 構造的堅牢性：C2LT-3D は、コンポーネント間汚染率（VQ-Patch の 0.0727 に対し 0.0141）が低く、コンポーネント分離スコア（0.9608 に対し 0.9780）が高い。これは、明確なコンポーネント境界のより良い保持を示している。
• 幾何学的忠実度：Chamfer 距離（0.0268）およびハウスドルフ距離（0.2282）が、両方のベースラインよりも改善されている。
• 潜在修復：局所幾何学が誤って無効な親を暗示する敵対的修復タスクにおいて、学習された継ぎ目事前分布は Valid@1 0.6669 を達成し、幾何学的最近傍ベースライン（0.1221）および高密度支持検証器（0.2456）を大幅に上回った。
• 制御されたシリアライゼーション：固定の軽量デコーダを介してシリアライズされた場合、完全な C2LT-3D 状態は、最良の構造的 FID（0.2893）およびコンポーネント交差品質をもたらす。これは、状態変数がコンパクトで制約付きのデコーディングと互換性があることを確認する。

意義と主張
本論文は、オープンワールド 3D 生成表現は、再構成忠実度だけでなく、その離散状態がアセンブリレベルの構造的推論に対して運用可能かどうかによって評価されるべきであると主張する。中心的な結果は表現論的である：所有権と接続の有効性を明示的な変数として露出させることで、C2LT-3D は、純粋に圧縮された受動的なトークンストリームでは不可能な検証、修復、および標的化された介入を可能にする。著者はこれをインターフェース設計の問題として位置づけ、状態変数の選択が、デコーディング後の回復を必要とするのではなく、生成プロセスにネイティブな構造的演算を決定するとする。この研究は、すべてのメッシュ生成器を置き換えることを主張するものではなく、複雑なオープンワールド環境における構造的推論をサポートする表現の基盤を提供することを目的としている。