LiTo: Surface Light Field Tokenization

本論文は、RGB 深度画像を表面光場のサンプリングとして捉え、これをコンパクトな潜在ベクトルに符号化することで幾何形状と視点依存の見た目を統合的に表現する「LiTo」を提案し、単一画像から照明や材質を考慮した高品質な 3D 物体を生成する手法を示しています。

要約

🌟 1. 従来の技術の「弱点」：平らな絵と立体の壁

これまでの 3D 生成 AI は、2 つの大きな問題を抱えていました。

1. 形だけ作るタイプ： 物体の「形（ジオメトリ）」は上手に作れますが、表面はただの「平らな色」で塗られてしまいます。光が当たっても反射せず、金属っぽさやツヤ感がありません。
2. 色だけつけるタイプ： 表面に色や模様を貼れますが、それは「どの角度から見ても同じ色」です。実際には、鏡や金属は見る角度によって光の反射（ハイライト）が変わりますよね？これまでの AI はこの**「見る角度による変化（視覚的依存性）」**を表現するのが苦手でした。

例え話：
これまでの技術は、**「粘土で作った人形に、平らなシールを貼っただけ」**のようなものでした。正面から見ればそれっぽく見えますが、横から光を当てたり、回り込んで見たりすると、シールがペタリと貼ってあるのがバレてしまい、リアルさが失われます。

---

💡 2. LiTo のアイデア：「表面光場（サーフェス・ライト・フィールド）」のトークン化

LiTo は、この問題を解決するために**「表面光場（Surface Light Field）」**という概念を使います。

📸 例え話：「光のアルバム」
ある物体を撮影する時、私たちは通常「1 枚の写真」しか撮りません。でも、LiTo が目指しているのは、**「その物体の表面のあらゆる点から、あらゆる方向へ飛び出す光の情報をすべて集めた巨大なアルバム」**です。

• 光が金属に当たって反射する様子
• 斜めから見ると色がどう変わるか（フレネル反射）
• 影のつき方

この「光のアルバム」を、AI が**「小さな箱（ latent vectors）」にギュッと詰め込んで、「トークン（暗号）」に変換します。これを「トークン化」**と呼んでいます。

• 従来の方法： 形と色を別々に管理する。
• LiTo の方法： 「形」と「光の動き」をセットにして、**「1 つのコンパクトな暗号」**として記憶する。

---

🛠️ 3. 仕組み：どうやって作るの？

LiTo は 3 つのステップで動きます。

① エンコーダー（暗号化する人）

AI は、物体の周りをぐるぐる回る 150 枚の写真（RGB-D 画像）を見せます。

• 入力： 「ここ（3D 座標）」「この方向（視線）」「この色」。
• 処理： 膨大な光の情報を、**「8,192 個の小さな暗号（トークン）」**に圧縮します。
• 工夫： 150 枚の写真を全部一度に処理するのは重すぎるので、AI は**「ランダムに選んだ断片」を見て、残りの部分は「脳内で補完（推測）」**して完成させます。まるで、パズルの数枚のピースを見て、完成図を思い描くようなものです。

② デコーダー（復号化する人）

暗号（トークン）を元に、AI は 2 つのことを同時に復元します。

1. 形（ジオメトリ）： 物体の 3 次元の形を再現。
2. 光（アピアランス）： **3D ガウス（3D Gaussian）**という技術を使って、光の反射や色の変化を表現します。
   • ここがすごいのは、**「球面調和関数（Spherical Harmonics）」**という数学的な魔法を使っている点です。これにより、光が物体に当たってどう跳ね返るか（3 次までの高次な光の動き）を精密に計算できます。

③ 生成モデル（創造する人）

一度、この「光の暗号」の作り方を学んだら、「1 枚の写真」だけから、同じような 3D 物体をゼロから作り出せるようになります。

• 入力：1 枚の写真。
• 出力：その写真の物体と全く同じ質感・光の反射を持つ、完全な 3D モデル。

---

✨ 4. 何がすごいのか？（メリット）

LiTo が他の技術と比べて優れている点は、**「リアルさ」と「忠実さ」**です。

• 鏡のような反射： 金属の光沢や、ガラスの透過、水たまりの反射など、角度によって変わる「映り込み」を完璧に再現できます。
• 1 枚の写真からの忠実な再現： 入力された写真の角度や照明条件を、生成された 3D 物体がそのまま反映します。
  • 例え話： 従来の AI は「この写真は猫だ。じゃあ、一般的な猫の 3D モデルを作って、適当に色を塗る」感じでした。LiTo は**「この写真の猫の毛並みの質感、光の反射、影の落ち方まで、この写真そのものを 3D 化してコピーする」**ことができます。

🎯 まとめ

LiTo は、「物体の形」と「光の動き」をセットにして、小さな暗号（トークン）に詰め込む技術です。

これまでの 3D AI が「平らなシールを貼った粘土人形」を作っていたのに対し、LiTo は**「光そのものを閉じ込めた、触れば温かみを感じるような本物の 3D 物体」**を作れるようになります。

これにより、ゲーム、映画、VR、メタバースなどで、**「本物と区別がつかないほどリアルな 3D 世界」**を、たった 1 枚の写真から簡単に作れる未来が近づいています。

技術概要

LiTo: Surface Light Field Tokenization 技術的サマリー

本論文は、ICLR 2026 にて発表された「LiTo (Surface Light Field Tokenization)」について述べる。これは、物体の3 次元幾何形状と**視点依存の外観（ビューディペンデント・アピアランス）**を統合的にモデル化する新しい 3D 潜在表現を提案する研究である。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめる。

1. 背景と問題定義

現在の 3D 生成・再構成の分野では、以下の 2 つの課題が未解決、あるいは部分的にしか解決されていないことが指摘されている。

• 幾何形状と外観の分離: 既存の多くの手法は、物体の形状（幾何）の再構成に特化しているか、あるいは外観を「視点に依存しない拡散色（Diffuse Color）」としてのみ扱っている。
• 視点依存効果の欠如: 現実世界の物体は、金属の輝き（スペキュラー）、フレネル反射、複雑な照明下での陰影など、視点や照明条件によって大きく変化する外観を持つ。既存の手法（例：TRELLIS など）は、多視点特徴を平均化して扱うため、これらの視点依存効果を正確に表現できず、リアルな質感の再現が困難であった。

LiTo は、**表面光場（Surface Light Field）**の概念を導入し、RGB-D 画像から得られる表面光場のサンプルを効率的に符号化することで、幾何と視点依存外観を統一された潜在空間で表現することを目指す。

2. 提案手法 (Methodology)

LiTo は、エンコーダ、デコーダ、および生成モデルから構成されるオートエンコーダベースのフレームワークである。

2.1 表面光場のトークン化 (Tokenizer)

• 入力: 物体を囲む球面上からレンダリングされた多視点 RGB-D 画像から、ランダムにサンプリングされた表面光場のサンプル $\{(x_i, \hat{d}_i, c_i)\}$ を入力とする。ここで、$x$ は表面位置、$\hat{d}$ は視線方向、$c$ は色である。
• エンコーダ: Perceiver IO アーキテクチャをベースに採用。
  • 3D パッチ化: 3D 表面は規則的なグリッドではないため、従来の 2D パッチ化の代わりに、K 近傍法 (K-Nearest Neighbor) を用いた近似パッチ化を導入。入力サンプルをクエリにマッピングし、クロスアテンションの計算コストを削減しつつ、100 万個以上のトークンを処理可能にしている。
  • 自己アテンション: トークンをボクセルグリッド内に配置し、ボクセルベースのアテンションメカニズムを用いて効率的に処理する。
• 潜在表現: 入力された表面光場サンプルを、$k=8192$ 個の潜在トークン（各次元 $d=32$）に圧縮符号化する。

2.2 デコーダと再構成

潜在表現から以下の 2 つのデコーダを用いて復元を行う。

1. フローマッチング幾何デコーダ: 潜在ベクトルから 3D 表面の確率密度分布を学習し、点群やメッシュを生成する。Chang et al. (2024) の手法を流用。
2. 視点依存ガウスデコーダ: 潜在ベクトルから 3D ガウス（3D Gaussian Splatting）を生成する。
   • 球面調和関数 (Spherical Harmonics): 色を表現する際、単なる拡散色ではなく、3 次の球面調和関数を用いることで、視点依存の放射輝度（スペキュラーやフレネル反射）を表現可能にする。
   • ** occupancy (占有) 情報:** 低解像度の疎な占有グリッドを初期クエリとして使用し、効率的に 3D ガウスを生成する。

2.3 生成モデル (Image-to-3D)

• 条件付き生成: 単一の入力画像から 3D 潜在表現を生成するモデルとして、Diffusion Transformer (DiT) を採用。
• トレーニング戦略: 入力画像のカメラ座標系を単位行列（アイデンティティ）に回転させる前処理を行う。これにより、モデルは 3D 物体の向きを推論する必要がなくなり、入力画像の視点と整合性の取れた生成が可能になる。
• 学習データ: Objaverse-XL の高品質なサブセット（50 万物体）を使用し、多様な照明条件下でトレーニング。

3. 主要な貢献 (Key Contributions)

1. 統合的な 3D 潜在表現の提案: 表面光場情報をコンパクトな潜在ベクトルに符号化し、幾何形状と視点依存外観（反射、高光など）を同時にモデル化する新しい表現「LiTo」を開発。
2. 効率的なトレーニングフレームワーク: RGB-D 多視点画像からのランダムな表面光場サンプルを直接利用し、幾何と外観を同時に教師あり学習する仕組みを設計。3D ガウスと高次球面調和関数を用いることで、複雑な視覚効果を再現可能にした。
3. 単一画像からの高品質生成: 学習された潜在分布に基づき、入力画像の照明や材質特性を反映した、形状と外観が整合した完全な 3D 物体を生成するフローマッチングモデルを実装。

4. 実験結果 (Results)

4.1 再構成性能 (Reconstruction)

• 外観の質: Toys4k、GSO、PBR-Objaverse などのデータセットにおいて、既存の SOTA 手法（TRELLIS, 3DTopia-XL など）と比較し、PSNR、SSIM、LPIPS のすべての指標で上回る性能を示した。
• 視点依存効果: 金属の反射や、斜めからの視点でのフレネル反射など、高周波な視覚効果を TRELLIS よりも忠実に再現していることが定量的・定性的に確認された。
• 幾何精度: 外観情報を追加していても、幾何形状の再構成精度（Chamfer Distance）は、幾何のみを扱う手法や、粗い幾何を事前知識として必要とする手法と同等か、それ以上の性能を維持している。

4.2 生成性能 (Generation)

• 入力忠実度: 単一画像からの生成において、入力画像の視点における物体の形状と外観の一致度（FID, KID スコア）が TRELLIS よりも大幅に改善された。
• 新規視点: 入力視点以外の視点からのレンダリングにおいても、物体全体の品質が低下することなく、一貫した外観を維持している。

5. 意義と結論 (Significance)

LiTo は、3D 生成モデルにおける「幾何」と「外観」の統合的な表現の新たな基準を示した。

• リアルな質感の再現: 従来の拡散色モデルでは不可能だった、金属やガラスなどの複雑な材質の視点依存効果を、3D 潜在空間内で直接学習・生成可能にした。
• パイプラインの簡素化: 既存の手法（TRELLIS など）が、粗い占有グリッドの事前推定や 2 段階生成を必要とするのに対し、LiTo は単一ステージで完全な 3D 情報を符号化・生成できるため、パイプラインが簡素化されている。
• 将来的な応用: 高次の球面調和関数による表現分離（0 次で拡散色、高次で視点依存効果）は、将来的なリライティング（照明変更）や材質編集への応用可能性を秘めている。

総じて、LiTo は現実世界の物体の豊かさ（形状と材質の多様性）をより忠実にデジタル化し、生成する上で重要な進展をもたらす技術である。