LoST: 3D 形状のための意味レベルのトークン化（Level of Semantics Tokenization）

技術的サマリー

本論文「LoST: Level of Semantics Tokenization for 3D Shapes」は、3D 形状の生成モデルにおけるトークン化（Tokenization）の新たなアプローチを提案しています。従来の幾何学的な詳細度（LoD）階層に依存する方法の限界を克服し、**「意味的な重要性（Semantic Salience）」**に基づいてトークンを順序付けることで、自己回帰（AR）モデルによる高品質かつ効率的な 3D 生成を実現します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

近年、テキスト、画像、動画の生成において、自己回帰（AR）モデルが主流となっています。しかし、3D 形状の生成においては、最適なトークン化手法が確立されていません。

• 既存手法の限界:

  • 現在の最先端（SOTA）手法は、レンダリングや圧縮用に設計された幾何学的 LoD（Level of Detail）階層（オクトリー、プログレッシブメッシュなど）に依存しています。
  • 非効率性: 粗いスケールでもオブジェクトの基本的な骨格を描くために大量のトークンが必要となり、AR モデルのサンプル効率を低下させます。
  • 意味的一貫性の欠如: 幾何学的な単純化により、初期のトークンプレフィックス（先頭部分）から復元される形状は、幾何学的・意味的に非現実的（破綻した形）になることが多く、「任意のプレフィックス生成（any-prefix generation）」が実用的ではありません。

• 課題:

  • 短いトークン列からでも、意味的に妥当で完全な形状を復元できるような、意味構造に秩序だったトークン化手法の必要性。

2. 提案手法：LoST (Level of Semantics Tokenization)

LoST は、トークンを「意味的な重要性」の順に並べ替える学習されたトークンシーケンスを提案します。これにより、短いプレフィックスからでも主要な意味（カテゴリなど）を持つ形状が復元され、後続のトークンで詳細が追加されます。

2.1. 主要コンポーネント

1. LoST エンコーダー:

   • 3D 形状を VAE（Direct3D）で符号化された「トライプレーン（Triplane）」表現に変換します。
   • ViT（Vision Transformer）ベースのエンコーダーを使用し、トライプレーンの特徴を 1 次元トークン列に変換します。
   • Register Tokens: トライプレーンのパッチに直接対応するのではなく、意味的な階層構造を捉えるために学習可能な「レジスタートークン」を導入します。これらは因果的マスク（causal masking）とネストドドロップアウト（nested dropout）を用いて訓練され、先頭のトークンが粗い意味情報を、後のトークンが詳細情報を担うように強制されます。

2. LoST デコーダー:

   • 任意の長さのプレフィックス（レジスタートークンの一部）から完全な 3D 潜空間（Triplane latent）を復元する生成デコーダー（Diffusion-Transformer: DiT）を使用します。
   • 少数のトークンからの復元は曖昧であるため、確定的な再構成ではなく、意味的に妥当な形状を生成する「生成問題」として扱います。プレフィックスが長くなるにつれて、生成から高精度な再構成へと移行します。

3. RIDA (Relational Inter-Distance Alignment):

   • 課題: 3D 形状には、画像生成で使われるような DINO 特徴量のような直接的な意味的教師信号が存在しません。
   • 解決策: 画像の DINO 特徴空間と 3D 形状のトライプレーン潜空間の相対的な距離関係を整合させる新しい損失関数「RIDA」を提案します。
   • 仕組み:
     • 教師: 生成画像から抽出した DINO 特徴量。
     • 学生: トライプレーンから意味特徴を予測する「意味抽出器（Semantic Extractor）」。
     • 損失: 絶対値の回帰ではなく、サンプル間の相対距離（コントラスト学習、ランク蒸留、空間構造蒸留）を一致させることで、3D 潜空間を DINO 空間の意味的階層に再編成します。

4. LoST-GPT:

   • 離散化されたトークンではなく、連続空間のレジスタートークンを直接モデル化します。
   • GPT 風のトランスフォーマー（LlamaGen 準拠）を用いて、連続トークンの次トークン予測を Diffusion 損失で行います。
   • 条件付き生成には OpenCLIP 埋め込みを使用します。

3. 主要な貢献

1. LoST の導入: 意味的重要性で順序付けられた形状トークンを学習し、短いプレフィックスからカテゴリとして認識可能な完全な形状を復元可能にしました。
2. RIDA 損失の設計: 3D 形状の学習に直接適用可能な、新しい意味的アライメント損失（RIDA）を提案し、3D 潜空間を意味的に構造化しました。
3. 高性能な AR 生成: 単純な GPT 構造を用いた LoST-GPT が、従来の 3D AR モデルよりもはるかに少ないトークン数（128 トークン）で SOTA 性能を達成しました。

4. 実験結果

4.1. トークン化の評価（再構成性能）

• ベースライン: OctGPT（オクトリー）、VertexRegen（メッシュ再生成）と比較。
• 結果:
  • トークン効率: LoST は、ベースラインが 100% 使用するトークンの0.1%〜10% 程度（例：128 トークン）で同等以上の性能を達成しました。
  • 指標: 幾何学的精度（Chamfer Distance）と意味的精度（FID, DINO 類似度）の両方で大幅に優れています。
  • プレフィックス生成: 1〜4 トークンでも、意味的に妥当な形状（例：「山」や「魚」）が復元され、LoD 手法が生成する「意味のない骨格」とは対照的です。

4.2. 自己回帰生成の評価

• ベースライン: ShapeLLM-Omni, OctGPT, Llama-Mesh と比較。
• 結果:
  • FID スコア: 画像条件付き生成において、LoST-GPT は 34.251（他は 48.7〜118.5）と最も低い（良い）FID を記録。
  • DINO 類似度: 0.758 と、最も高い意味的整合性を示しました。
  • 効率性: 128 トークンでの学習・推論で、1024 トークン以上を必要とする既存手法を凌駕しました。

4.3. 応用：意味的検索

• RIDA によって整えられた潜空間を用いることで、形状の幾何学的類似性だけでなく、意味的な類似性（例：「魚の形をした潜水艦」を検索）による検索精度が向上することが確認されました。

5. 意義と将来展望

• 3D 生成のパラダイムシフト: 幾何学的 LoD に依存する従来のアプローチから、**「意味的 LoS（Level of Semantics）」**に基づくアプローチへの転換を示しました。これにより、AR モデルのトレーニングと推論が劇的に効率化されます。
• マルチモーダル統合: 少ないトークン数で高品質な 3D 生成が可能になるため、大規模言語モデル（LLM）やマルチモーダルモデルとの統合が容易になります。
• 汎用性: トライプレーン表現に限定されず、TRELLIS などの他の 3D 潜空間表現にも適用可能であることが示されています。

結論:
LoST は、3D 形状のトークン化において「意味」を優先する新しい基準を確立し、少ない計算リソースとトークン数で高品質な 3D 生成を実現する画期的な手法です。特に、短いプレフィックスからでも意味的に理解可能な形状を生成できる特性は、インタラクティブな 3D コンテンツ作成やリアルタイム生成アプリケーションにおいて大きな可能性を秘めています。