💻 computer science

Floating Radiance Networks

Floating Radiance Networks (FlaRe)は、明示的なレイトレーシング可能な平面プリミティブと連続的なニューラル放射関数を組み合わせることで、フォトリアルなレンダリング、ハードウェア加速されたレイトレーシング、および幾何学的操作を統合する多才なニューラルシーン表現を導入するものである。

原著者： Krzysztof Byrski, Rafał Tobiasz, Grzegorz Wilczyński, Mikołaj Zieliński, Dawid Baran, Dominik Belter, Jacek Tabor, Przemysław Spurek

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Krzysztof Byrski, Rafał Tobiasz, Grzegorz Wilczyński, Mikołaj Zieliński, Dawid Baran, Dominik Belter, Jacek Tabor, Przemysław Spurek

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、コンピュータの中に完璧でフォトリアルな3Dの世界を構築しようとしていると想像してください。長い間、科学者たちにはこれを行うための2つの主要な方法があり、その両方に大きな欠点がありました。1つ目の方法は、連続的で魔法のような霧でシーンを描くようなものでした。それは信じられないほどリアルで、光の屈折や反射を示すことができましたが、非常に重くて動作が遅いため、簡単に操作したり、特定の物体を取り出して形を変えたりすることができませんでした。2つ目の方法は、シーンを数百万個の小さな浮遊する3Dの紙吹雪で構成するようなものでした。これは非常に高速で、破片を掴んで動かすこともできましたが、各破片は単純で静的な色しか保持できず、夕焼けを反射する光沢のある車や、背後の世界を歪ませるガラス玉のような複雑なディテールを示すことはできませんでした。

大きな疑問は、これら両方の良いとこ取りができるか？という点でした。計算機が（レーザーポインターのように）レイを射出して反射や影を計算できるような、明確で管理可能なパーツで構成されたシーンを構築しながら、同時にそれらのパーツに、連続的で「視点依存」の詳細を示すという複雑な能力を持たせることができるのか？ということです。これが重要なのは、もし両方が実現できなければ、映画のワンシーンをレンダリングするのに何時間も待つか、あるいは少し単純で平坦に見えるビデオゲームで妥協するか、どちらかを選ばなければならないからです。

そこで登場したのが、「Floating Radiance Networks」、略して「FlaRe」です。この論文の著者たちは、このパズルを解くための巧妙な新しい方法を提案しています。重くて遅い「霧」や単純で知性のない「紙吹雪」を使う代わりに、彼らは「浮遊する平面プリミティブ（floating planar primitives）」を使用します。これらは、3D空間に浮かぶ、小さくて目に見えない平らなタイルだと考えてください。それぞれのタイルは特別で、その中に小さな圧縮された「指示書（潜在記述子/latent descriptor）」を携えています。

ここで行われるマジックトリックはこうです。光のレイ（またはカメラの視点）がこれらの浮遊するタイルに当たると、タイルは単にあらかじめ塗られた色を選ぶのではありません。代わりに、タイルの指示書、レイがタイルに当たった正確な位置、そしてカメラが見ている方向を、単一の共有された超スマートなデコーダーに投入します。このデコーダーは、その特定の瞬間に対して、正確な色と透明度を瞬時に計算します。それは、まるであなたの3D世界にあるすべてのタイルが、単なる静的なステッカーを見せるのではなく、あなたの特定の角度から見えるあらゆるものを瞬時に描き出すことができる、個人的な専属アーティストを内蔵しているようなものです。

論文では、このアプローチが見事に機能することを実証しています。タイルが明確な平面形状であるため、コンピュータは現代のビデオゲームが行っているのと同様に、グラフィックスカード（GPU）を使用してレイを極めて高速に射出できます。これにより、FlaReは、反射（鏡に自分が映ること）、屈折（ガラスを通じた光の屈折）、そして影といった、通常は重い処理を必要とする複雑な効果を同じシーン内で扱うことができます。さらに、タイルは独立したオブジェクトであるため、それらを掴んで変形させたり、あるいは引き離して物体のソリッドなメッシュ（ワイヤーフレームモデル）を抽出したりすることも可能です。

著者らは標準的なベンチマークでFlaReをテストし、既存の最高の手法に匹敵する高品質な画像を作成しながらも、より柔軟な構造を持っていることを明らかにしました。彼らは、FlaReのシーンをインタラクティブに（つまり、リアルタイムで歩き回れるように）レンダリングできることを示しました。また、FlaReのシーンを取り出し、新しい芸術的なスタイル（例えば、ゴッホの絵画のように見せるなど）を適用しても、タイルの基礎となる「指示書」が更新されるため、反射や影が正しく機能し続けることも証明しました。

要するに、FlaReは、私たちは「遅くて美しいニューラルフィールド」か「高速で単純な幾何学モデル」かのどちらかを選ばなければならないわけではない、ということを示唆しています。浮遊するタイルに連続的なニューラルな「脳」と、ハードウェアに優しい「体」を与えることで、研究者たちは高精細なレンダリング、レイトレーシング、そして幾何学的な編集を同時に行うことができる統一されたシステムを作り上げました。論文では、これには依然として強力なハードウェアが必要であり、非常に広大な屋外空間では苦戦する可能性があると述べていますが、ニューラルレンダリングと伝統的なグラフィックスの間の溝を埋めることに成功しており、デジタル世界を創造するための多才な新しいツールを提供しています。

技術要約：Floating Radiance Networks (FlaRe)

問題提起

近年のニューラルシーン表現の進歩は、フォトリアルな新規視点合成を実現しているが、連続的なニューラル場の表現力と、明示的な幾何学構造の効率性・アドレス可能性・グラフィックス互換性の間には、依然としてトレードオフが存在する。

Neural Radiance Fields (NeRFs) は、シーンを連続的な体積関数としてモデル化し、高い視覚的忠実度を実現するが、コストの高い高密度なレイマーチングを必要とし、従来のグラフィックスパイプラインとの統合が困難である。
3D Gaussian Splatting (3DGS) は、明示的な異方性プリミティブとラスタライズを用いてリアルタイムレンダリングを可能にする。しかし、各プリミティブの足跡（footprint）における有限の出現係数は、連続的な空間放射関数を定義しておらず、特殊な拡張なしでは反射や屈折のような複雑な視点依存効果をモデル化することに限界がある。
既存のハイブリッド手法 は、ニューラル特徴量と明示的な構造を組み合わせることが多いが、特定のレンダリング手順に縛られていたり、シーン要素間で特徴量を集計したり、あるいは編集、レイトレーシング、幾列抽出のためのタスク固有の拡張を必要としたりする。

核心となる課題は、局所的に連続した放射（radiance）と、独立してアドレス可能なレイトレーサブルな幾何学を組み合わせ、ニューラルレンダリングと従来のグラフィックスを橋渡しする統一されたシーンモデルを作成することである。

手法：Floating Radiance Networks (FlaRe)

FlaReは、各プリミティブがコンパクトな局所ニューラル放射関数を保持する、**浮遊平面型一般化ガウス・プリミティブ（floating planar generalized Gaussian primitives）**から構築されたニューラルシーン表現を導入する。

1. シーン表現

シーンは、 $N$ 個の異方性平面型一般化ガウス・プリミティブによって表現される。各プリミティブ $i$ は以下のパラメータによって定義される：

幾何学的属性： 学習可能な中心 $\mu_i$ 、特異共分散行列 $\Sigma_i$ （回転クォータニオン $q_i$ とスケール $s_i$ から導出）、および形状パラメータ $\kappa_i$ 。
外観属性： 視点に依存しない定数カラー $c_{const,i}$ 、定数不透明度 $\alpha_{const,i}$ 、および学習可能な潜在記述子 $z_i \in \mathbb{R}^{96}$ 。
カーネル： 不透明度は、以下の等方性平面型一般化ガウス・カーネルによって変調される：
$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$
この定式化により、古典的なガウス・カーネルと比較して、より鋭い境界や高曲率の表面を表現することが可能になる。決定的なのは、正規化座標におけるカーネルの等方性が、形状パラメータ $\kappa$ に関わらずすべてのプリミティブに対して**単一の標準的なポリゴン（canonical polygon）**の使用を可能にし、ハードウェア加速された交差判定を簡素化することである。

2. 共有グローバル・オートデコーダ

静的なプリミティブごとのカラーを保存する手法とは異なり、FlaReは共有の軽量オートデコーダMLPを用いて、空間的に変化し視点に依存するカラーと不透明度を予測する。

入力： デコーダは、プリミティブごとの潜在記述子 $z_i$ 、局所表面座標 $(u, v)$ 、および視線方向 $\vec{d}$ を受け取る。
エンコーディング：
- LUTエンコーディング： 局所座標 $(u, v)$ は、衝突のないマルチレゾリューション・ルックアップテーブル（LUT）エンコーディングを用いてマッピングされる。これにより、高次元のハッシュグリッド検索を直接的な一対一のマッピングに置き換え、ハッシュベースのエンコーディングと同等の機能を維持しつつオーバーヘッドを削減する。
- 位置エンコーディング： 視線方向は標準的な位置エンコーディングを介してエンコードされる。
出力： ネットワークは $c_{MLP,i}$ （カラー）と $\alpha_{MLP,i}$ （不透明度）を予測する。
アーキテクチャ： 2つの隠れ層（Hardswish活性化関数）と、4つのチャンネル（3つのReLU、1つのSigmoid）に分岐する出力層を持つ軽量なネットワークである。

3. レンダリングとレイトレーシング

FlaReはハードウェア加速レイトレーシング向けに設計されている：

交差判定（Intersection）： レイは、標準的なGPUレイ・三角形交差判定を用いて、プリミティブの標準的なポリゴン・プロキシと交差する。
コンポジティング： 各レイに対して、順序付けられた交差が収集される。最終的なピクセルカラーは、アルファ・コンポジティングによって計算される：
$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$
ここで、有効な不透明度 $\alpha_i$ は一般化ガウス・カーネルの値によって変調される。
再帰的能力： この表現は明示的にレイトレーサブルであるため、再学習やシーンの形式変換を行うことなく、反射、屈折、透過、およびシャドウのための二次レイをネイティブにサポートする。

4. 編集と操作

幾何学編集： プリミティブは個別にアドレス可能である。プロキシメッシュを変形させることで、直接的な幾何学的操作が可能になる。システムは、変形された幾何学から更新されたガウス・パラメータ（中心、回転、スケール）を再学習なしに復元する。
メッシュ抽出： 明示的な平面構造は、深度歪みおよび法線一貫性レギュラライザによる支援を受けたTSDF（Truncated Signed Distance Field）融合を介したメッシュ抽出をサポートする。
スタイライゼーション： 外観の編集は、学習された記述子空間（ $z_i$ ）で直接行われ、シーンの構造を維持しながら画像誘導型のスタイル転送を可能にする。

主な貢献

統一された表現： 連続的な局所ニューラル放射関数を伴う、明示的なレイトレーサブル平面プリミティブを組み合わせたFloating Radiance Networksの導入。
コンパクトな定式化： プリミティブごとの潜在記述子、共有オートデコーダ、衝突のないマルチレゾリューションLUTエンコーディング、およびハードウェア互換のメッシュプロキシを統合した設計。
多才な能力： 単一の表現内で、再帰的レイトレーシング、プリミティブの変形、メッシュ抽出、外観のスタイライゼーション、および制限されたプリミティブ予算下での再構成を実現することを実証。

実験結果

実験は、標準的なベンチマーク（Mip-NeRF 360, Tanks and Temples, Deep Blending）で実施され、Radiance Fields (RF)、ガウスベースの手法 (GS)、およびExplicit Neural Fields (ENF) と比較された。

新規視点合成： FlaReは競争力のある品質を達成し、多くの場合、3DGS、3DGRT、およびその他のENFベースラインをPSNRにおいて上回る。Mip-NeRF 360において、全体で2番目に高いPSNRを達成した。Deep Blendingにおいて、ENFグループをリードしている。
効率性： FlaReは強力な品質・効率のトレードオフを提供する。品質においてIRISを上回り、かつメモリ使用量を大幅に抑えつつ、インタラクティブなレンダリングを可能にする。約12倍低いメモリ使用量で、両方のベンチマークにおいてRadiance Meshesを上回る。
視覚的忠実度： 定性的結果は、3DGSやRadiance Meshesと比較して、FlaReが反射や鏡面ハイライトをより忠実に再構成していることを示しており、これはレイとプリミティブの交差ごとに放射を連続的に予測することに起因する。
プリミティブ削減： 積極的なプリミティブ削減予算の下でも、FlaReはPUP-3DGSやLP-3DGSなどのベースラインと同等またはそれ以上の性能を示し、局所的なニューラル記述子が少ないプリミティブ数でも強い外観容量を保持していることを示している。
グラフィックス機能： 本手法は、再帰的レイトレーシング（入れ子状の反射、屈折）、従来のメッシュとのシームレスな統合、および直接的なメッシュ抽出を成功裏に実証した。

意義と主張

本論文は、FlaReを、単一のレンダリングパラダイムに特化する必要のない統一されたシーン表現への一歩として位置づけている。高精度なニューラルレンダリング、再帰的レイトレーシング、幾何学的操作、および外観編集を単一のモデルに持ち込むことで、FlaReは現在のニューラルシーン表現研究における断片化に対処している。

著者らは、このアプローチがグラフィックスとニューラルレンダリングの架け橋となり、以下を可能にすると主張している：

直接的なレイクエリ： 表現自体が直接クエリ可能であるため、反射やシャドウのような効果のために別個のタスク固有のシーンモデルを用意する必要がない。
編集可能性： 明示的な構造により、再学習なしでの直接的な変形やメッシュ抽出が可能である。
コンパクト性： 共有デコーダとコンパクトな記述子の使用により、純粋なラスタライズ手法や体積的手法と比較して、より少ない数のプリミティブで高品質な再構成が可能となる。

論文では限界についても認めており、有限の平面プリミティブの集合が、大規模で境界のない屋外シーンにおける遠方の幾何学的精度を制限する可能性があること、および訓練とインタラクティブなレンダリングにはハードウェア加速レイトレーシング機能を備えた最新のGPUが必要であることを指摘している。