💻 computer science

InvSplat: Inverse Feed-Forward Scene Splatting

InvSplatは、固有の材料属性を持つ構造化された3Dガウス表現を直接予測することで、単一のフォワードパスによる物理に基づいた逆レンダリング、正確な材料復元、および安定した新規視点合成を可能にする、フィードフォワード型のマルチビュー再構成フレームワークである。

原著者： Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある部屋をさまざまな角度から撮影した写真のセットがあると想像してください。通常、これらの写真から3Dモデルを作成したい場合、2つの選択肢があります。

「遅いが完璧な方法」： 3Dモデルが完璧に見えるまで、何時間も（あるいは何日も）手作業で微調整を繰り返します。これは、彫刻家が手作業で石を削り、少しずつ形を作っていくようなものです。正確ですが、新しい部屋ができるたびにこれを行うには時間がかかりすぎます。
「速い、しかし『平坦な』方法」： スマートなAIを使用して、写真から瞬時に3Dモデルを生成します。しかし、このモデルは単に色が塗られた「スキン（外皮）」に過ぎないことがよくあります。そのAIは、光るボールが金属でできていることや、壁がザラザラした漆喰であることを本当の意味では理解していません。カメラを動かしたり照明を変えたりすると、モデルが不自然に見えたり、崩れたりしてしまいます。

InvSplatは、これら2つのアプローチの「速さ」と、最初の方法が持つ「深い理解力」を組み合わせた新しい手法です。これは、**物理法則を理解している、超高速で即時的な「3D彫刻家」**のようなものです。

その仕組みを、身近な例えを使って説明します。

1. 「小さなオーブによる魔法の雲」

三角形の集合体（ローポリのビデオゲームキャラクターのようなもの）で3Dモデルを作る代わりに、InvSplatは数百万もの小さな目に見えない3Dの雲（ガウス分布と呼ばれます）でシーンを構築します。

霧が立ち込めた部屋を想像してください。その中の霧の一粒一粒が、自分の位置、大きさ、そして回転の仕方を正確に把握しています。
以前の技術では、これらの「雲」は光を反射して画像を見せることしかできませんでした。
InvSlpatのひねり： これらの小さな雲は、今や「賢く」なっています。それぞれが特定の特性を持つ「IDカード」を携えています。
- アルベド（Albedo）： 影がない状態での物体の色（例：赤いリンゴの本来の色）。
- メタリック（Metallic）： 車のように光沢があるのか、それとも岩のように鈍いのか。
- ラフネス（Roughness）： ガラスのように滑らかなのか、それともサンドペーパーのように凹凸があるのか。
- ジオメトリ（Geometry）： どこにあり、どのような形をしているのか。

2. 「ワンクリック」のレシピ

これらの特性（例えば「これは光っているのか？」など）を解明しようとする従来のメソッドは、あらゆるシーンに対して一歩ずつ、ゆっくりとした計算を行う必要がありました。それはまるで、シェフがスープを味見し、塩を足し、また味見をし……という工程を1時間繰り返すようなものです。

InvSplatは、ハイテクな電子レンジのようなものです。写真（「材料」）を入れ、ボタンを押せば、わずか1.5秒で調理済みの3D料理が提供されます。味見を繰り返すのではなく、膨大な知識のライブラリ（何千ものシーンで学習済み）を使用して、レシピを瞬時に推測するのです。

3. なぜ「一貫性」が重要なのか

光るスプーンを写真で見ているとき、「平坦な」AIはスプーンの上に反射を描き込んでしまうかもしれません。しかし、頭を動かせば、反射も動かなければなりません。平坦なAIはここで混乱しやすく、反射が正しく動かない「ステッカー（シール）」のように見えてしまうことがあります。

InvSplatは、本物の素材を持つ実在の3Dオブジェクトを構築するため、反射や影が正しく機能します。

例え： 鏡の絵と、本物の鏡を想像してください。絵の中の鏡の前を歩いても、絵の中の反射は変わりません。しかし、本物の鏡の前を歩けば、反射は変化します。InvSplatは「本物の鏡」を構築するため、どこに立っていても反射が自然に更新されるのです。

4. 「リライティング（再照明）」の超能力

InvSplatは、素材（その物体が何でできているか）と照明（光がどこから来ているか）を分離するため、魔法のようなことができます。それがリライティングです。

例えば、ランプが点いている部屋の写真を撮ったとします。InvSplatは、その壁が「白いペンキ」であり、ランプが「明るい黄色」であることを理解します。
一度これを理解すれば、コンピュータにこう指示できます。「よし、あのランプを消して、青いネオンサインをつけて」。
コンピュータは、青い光が白いペンキにどのように当たるかを瞬時に再計算し、新しい写真を撮ることなく、物理的にリアルに見える全く新しい画像を生成します。

まとめ：何をするものか

入力： カメラの位置が既知である、いくつかのシーンの写真。
プロセス： ニューラルネットワークによる一度の高速なパス（長い待ち時間なし）。
出力： 自身の色、光沢、粗さを知っている「スマートな雲」で作られた3Dシーン。
結果： この3Dシーンの中を歩き回り、照明を変え、リアルタイムで生成されたリアルな反射や影を見ることができる。

要するに、InvSplatは、数枚の写真から、編集や探索が可能な物理的に正確な3Dの世界を瞬時に構築できる最初のツールです。かつては何時間もかかったり、あるいは不可能だったことを、わずか数秒で実現します。

技術要約: InvSplat: Inverse Feed-Forward Scene Splatting

問題提起

逆レンダリング（Inverse rendering）の目的は、画像から3D形状および物理的に意味のある表面反射率を復元することであり、これは再照明、素材編集、および現実的なAR/VRコンテンツの挿入といったアプリケーションの前提条件となります。既存の手法は、効率性、物理的な解釈可能性、および多視点の一貫性の間でトレードオフに直面しています：

最適化ベースのアプローチ（例：IRIS）は高い忠実度を実現しますが、計算コストの高いシーンごとのフィッティングを必要とするため、実用的な有用性が制限されます。
学習ベースのアプローチ（例：DiffusionRenderer, MVInverse）は、より高速な推論を提供しますが、主に画像空間で動作します。これらは明示的な3Dシーン表現を欠いているため、多視点の一貫性がなくなり、堅牢な新規視点合成や物理に基づいた編集をサポートすることができません。
フィードフォワード3D再構成手法（例：pixelSplat, MVSplat）は、効率的に明示的な3D表現（3D Gaussianなど）を生成しますが、RGBの外観の合成に焦点を当てており、固有の材料特性（アルベド、メタリシティ、ラフネス）の分離には至っていません。これらは、鋭い鏡面ハイライトを再現したり、明示的な再照明を可能にしたりすることに失敗することがよくあります。

手法

InvSplatは、ポーズ付きの多視点画像から、構造化された3D Gaussian表現と固有の材料属性を単一のフォワードパスで直接予測する、フィードフォワードフレームワークを導入します。

シーン表現

シーンは、 $M$ 個の3D Gaussianプリミティブによって表現されます。外観のために球面調和関数（spherical harmonics）を使用する標準的な3DGSとは異なり、InvSplatにおける各Gaussian $j$ は以下によってパラメータ化されます：

幾何学（Geometry）: 平均 ( $\mu_j$ )、回転 ( $q_j$ )、スケール ( $s_j$ )、不透明度 ( $\sigma_j$ )、および表面法線 ( $n_j$ )。
固有材料（Intrinsic Materials）: 拡散アルベド ( $a_j$ )、メタリシティ ( $m_j$ )、およびラフネス ( $r_j$ )。

これにより、照明が材料特性から分離された、分離可能で物理に基づいた表現が可能になります。

アーキテクチャ

本モデルは、デュアルブランチのフィードフォワードネットワークを採用しています：

幾何学ブランチ（Geometry Branch）: ReSplatに着想を得て、ResNetバックボーンを使用してマルチスケールの特徴を抽出します。マルチビュー幾何エンコーダ（Transformer）がクロスビュー情報を集約し、続いてマルチビュー特徴マッチングモジュールが深度候補のコストボリュームを構築します。
固有ブランチ（Intrinsic Branch）: 入力ビューをエンコードするために DINOv2 ViT-L/14 バックボーンを利用します。マルチビュー・イントリンジック・トランスレーター（36ブロックのTransformer）が、これらの特徴をビュー内およびビュー間の自己注意を通じて洗練し、クロスビューの固有特徴を抽出します。
デコーディングヘッド（Decoding Heads）: 両方のブランチからの特徴は、6つのデコーディングヘッドによって処理されます：
- 深度（Depth）: 結合された特徴を用いて、DPTヘッドを介して推定されます。
- Gaussianパラメータ: 回転、スケール、および不透明度は、予測された深度に基づいて2D特徴を3Dコンテキストへと持ち上げるPoint Transformerを使用して精緻化されます。
- 材料および法線（Materials & Normals）: アルベド、メタリシティ、ラフネス、および法線は、DPTヘッドを介して予測されます。アルベド予測には、高解像度の画像キューへのスキップ接続が含まれます。
逆投影およびレンダリング（Unprojection & Rendering）: 予測された深度マップは3Dに逆投影され、Gaussianの中心を形成します。シーンは微分可能なGaussianラスタライザを使用してレンダリングされ、アルベド、メタリック、ラフネス、法線、および深度のマップを生成します。

学習

モデルは、ピクセル単位および知覚的損失の組み合わせを用いて、InteriorVerseデータセットで学習されます：

材料の監督（Material Supervision）: アルベド、メタリック、およびラフネスに対する $L_1$ および LPIPS 損失。
深度の監督（Depth Supervision）: スケールの曖昧さを扱うための、アフィン不変損失（MoGeに着想を得たもの）。
法線の監督（Normal Supervision）: コサイン類似度損失。
学習は、幾何学エンコーダ、イントリンジック・トランスレーター、およびデコーディングヘッドを共同で最適化します。

主な貢献

初のフィードフォワード型逆レンダリングフレームワーク: InvSplatは、単一のフォワードパスで、多視点画像から物理に基づいた3D Gaussianプリミティブと固有の材料パラメータを予測する最初の手法であり、シーンごとの最適化を不要にします。
統一された3D表現: 画像ベースの材料推定と3D再構成モデルからの事前知識を統合することにより、実世界のデータに対する強力な汎用性を備えた高品質な3D材料特性を生成します。
再照明と一貫したNVSの実現: 分離された3D Gaussian表現は、分解された材料を用いた新規視点合成をサポートし、視点間で一貫した、物理に基づいた再照明および視点依存の効果モデリングを可能にします。

結果

実験は、合成データセット（InteriorVerse, Structured3D）および実世界データセット（RealEstate10K, DL3DV）を用いて行われました。

定量的性能: InteriorVerseテストセットにおいて、InvSplatはアルベドおよび法線に関して、2Dベースライン（MVInverseなど）と同等の性能（PSNR, SSIM, LPIPS）を達成しながら、明示的な3D表現を提供します。
多視点の一貫性: Structured3Dデータセットにおいて、InvSлаtは、特にメタリシティやラフネスのような困難な属性において、2D手法と比較して優れたクロスビューの一貫性（より低い再投影RMSE）を示します。
定性的結果: 可視化により、InvSplatが反射をアルベドに「焼き付ける」ことを回避し、反射面周辺でのドリフトが発生しやすい2Dベースラインと比較して、よりきめ細かな詳細と一貫した予測を生成することが示されています。
効率性: 本手法は約1.5秒での再構成を実現しており、リアルタイムレンダリングを可能にします。

重要性

本論文は、InvSplatが効率的なフィードフォワード推論と高忠実度の逆レンダリングの間のギャップを埋めるものであると主張しています。画像空間の予測から、固有のパラメータを持つ明示的な3D Gaussian表現へと移行することで、本手法は従来の学習ベースのアプローチにおける多視点の一貫性の問題を克服し、最適化ベースの手法の計算上のボトルネックを解消します。これにより、瞬時のシーン分解が可能となり、これまでフィードフォワードモデルでは困難であった再照明や材料編集といったダウンストリームアプリケーションを促進します。