ReLi3D: 離散化された照明を備えたリライティング可能なマルチビュー 3D 復元の技術的概要

本論文は、ICLR 2026 にて発表された「ReLi3D」に関するものです。これは、疎なマルチビュー画像から、完全な 3D 幾何学、空間的に変化する物理ベースレンダリング（PBR）マテリアル、および環境照明を、1 秒未満で同時に復元する初の統合エンドツーエンドパイプラインを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

従来の 3D アセット復元には、幾何学復元、マテリアル推定、照明回復という 3 つの異なるパイプラインが必要であり、それぞれに計算コストや限界がありました。特に、単一画像からの復元は本質的に「不適切な問題（ill-posed）」であり、同じ 2D 外観が無限の「マテリアル＋照明」の組み合わせで説明できてしまうため、マテリアルと照明の分離（disentanglement）が困難でした。
既存の Large Reconstruction Models (LRMs) は高速ですが、空間的に変化するマテリアルや環境照明の推定が不十分であり、リライティング（新しい照明条件下での再描画）の忠実度が低かったり、単一ビューに最適化されているため、マルチビューの制約を活かせていないという課題がありました。

2. 手法 (Methodology)

ReLi3D の核心は、「マルチビューの制約がマテリアルと照明の分離を劇的に改善する」という洞察に基づいています。任意の数の入力画像から、以下のユニークなアーキテクチャで 3D アセットを生成します。

2.1 マルチビュー照明分離アーキテクチャ

• クロスビュー特徴融合 (Cross-view Fusion):
  • 入力画像（任意の枚数）を DINOv2 でエンコードし、カメラ位置情報と条件付けを行います。
  • 「ヒーロービュー（Hero View）」をクエリストリームとし、他のビューをメモリとして扱うトランスフォーマー・クロス条件付けアーキテクチャを採用しています。これにより、すべてのビューで一貫性のある統合された「トライプレーン特徴（Triplane Features）」を構築します。
• 2 経路予測戦略 (Two-path Prediction Strategy):
  1. 幾何学＋外観経路: 統合されたトライプレーンから、メッシュ形状と空間的に変化する PBR マテリアル（アルベド、粗さ、金属性、法線）を予測します。DMTet や Flexicubes を用いて高品質なメッシュを抽出し、UV アンラッピングでテクスチャを付与します。
  2. 照明経路: マスク認識トークンとオブジェクト特徴を融合し、RENI++（回転不変かつスケール不変な自然照明事前分布）の潜在コードを予測することで、HDR 環境マップを推定します。背景が隠れている場合でも、物体の反射から照明を推論できるよう、確率的な背景マスキングを用いたトレーニングを行っています。

2.2 分離されたトレーニング (Disentangled Training via MC+MIS)

• 微分可能なモンテカルロレンダリング:
  • 物理ベースのモンテカルロレンダリングと多重重要度サンプリング（MIS）を組み合わせたレンダラーを使用します。
  • これにより、予測されたマテリアルと照明が物理法則に基づいて画像を再構成できることを強制し、マテリアルと照明の物理的に意味のある分離を学習させます。
• 混合ドメイントレーニング:
  • 合成 PBR データ（完全なマテリアル教師あり）と、実世界の RGB 画像（自己教師あり）を混合してトレーニングします。これにより、合成データと実世界のギャップを埋め、実世界での汎化性能を確保しています。

3. 主要な貢献

1. 初の単一パス統合パイプライン: 幾何学、空間的 PBR マテリアル、HDR 照明を同時に、かつ 1 秒未満（約 0.3 秒）で復元する初のフォワードパスシステム。
2. マルチビュー制約による分離: 単一ビューでは不可能だったマテリアルと照明の分離を、マルチビューの整合性制約によって実現。
3. 双方向の照明推論: 背景が直接見える場合と、物体の反射から間接的に推論する場合の両方に対応するロバストな照明推論経路。
4. 物理的整合性の確保: 微分可能な MC+MIS レンダラーによるトレーニングにより、物理的に妥当なマテリアルと照明の分離を実現。

4. 実験結果

• データセット: 174k 物体（合成 PBR 42k、合成 RGB 70k、実世界 UCO3D 62k）でトレーニング。Google Scanned Objects, Stanford ORB, Polyhaven などで評価。
• マテリアルと照明の分離性能:
  • 空間的 PBR マテリアル（アルベド、粗さ、金属性）の予測において、既存の最良の手法（SF3D, SPAR3D など）を大幅に上回る PSNR 値を達成（例：アルベドで 25.00 dB vs SF3D の 18.42 dB）。
  • 新規照明環境でのリライティング性能も最も高く、予測されたマテリアルが新しい照明下でも現実的に描画されることを確認。
• 環境推定: 単一ビューでも正しい空の色や太陽の方向を復元可能。マルチビューでは、暗い環境でも光源の方向を正確に特定可能。
• 速度と精度のトレードオフ:
  • 生成モデル（Hunyuan3D など）に比べ 100 倍高速（0.3 秒 vs 数十秒）でありながら、リライティングの品質では同等以上を達成。
  • マルチビュー入力（4 枚など）を追加することで、幾何学的精度（F-score@0.5 で 0.993 到達）と画像品質がさらに向上。
• 実世界への汎化: 実世界の Stanford ORB データセットにおいても、すべての指標でベースラインを上回り、マルチビュー入力による性能向上が確認されました。

5. 意義と結論

ReLi3D は、3D コンテンツ作成のワークフローを革新する可能性を秘めています。

• 産業応用: 数秒でリライティング可能な高品質な 3D アセットを生成できるため、ゲーム開発、映画制作、ロボティクス、AR/VR などの分野で、撮影から 3D アセット化までの時間を劇的に短縮します。
• 科学的貢献: マルチビュー制約が「不適切な問題」を解決する鍵であることを実証し、物理ベースの逆レンダリングと生成モデルの融合における新たな方向性を示しました。
• オープンソース: コード、重み、データセット生成スクリプトを公開し、コミュニティの発展を促進しています。

限界:

• トライプレーンの解像度制限により、非常に高精細なテクスチャや幾何学の復元には限界がある。
• 複数の強力な光源が存在する極端な照明条件や、自己影が強い場合、照明とマテリアルの分離が不完全になることがある。
• 透明物体のメッシュ復元は未解決の課題。

総じて、ReLi3D は「速度」と「物理的忠実度（特にリライティング）」を両立させた画期的な 3D 復元システムであり、実用的な 3D コンテンツ生成の新たな基準を示すものです。