Volumetric Inverse Rendering via Neural Radiative Transfer

厚く渦巻く霧の雲、ミルク入りのコーヒー、あるいは埃っぽい部屋を切り裂く日光を想像してみてください。あなたが見ているのは、単に固形物の表面で光が跳ね返っている姿ではありません。それは、光がその物質の中を移動する中で、迷い、散乱し、吸収されている姿なのです。これは「参与媒体（participating media）」の世界であり、そこでは光と物質が複雑で目に見えない絡み合いの中で共に踊っています。数十年にわたり、科学者やコンピュータグラフィックスのアーティストたちは、このダンスを逆方向に解析しようと苦闘してきました。もし、霧の立ち込める森の写真を撮ったとしたら、その霧がどれほど厚いのか、赤色の光を青色の光に対してどれくらい吸収するのか、そしてあらゆる方向にどれほど光を散乱させるのかを、正確に解き明かすことができるでしょうか？それは、たった一口のスープを味わうだけで、そのレシピを推測しようとするようなものです。ただし、そのスープは光でできており、材料は目に見えません。これを正しく理解することは極めて重要です。なぜなら、これによって超現実的な映画を作成したり、気候モデルのために天候をシミュレートしたり、さらには医師が体を切開することなく体内を見るのを助けたりすることが可能になるからです。

これからあなたが読む論文は、巧妙な新しいトリックを用いて、このトリッキーなパズルに取り組んでいます。すべてのフォトンの跳ね返りをシミュレートしようとする代わりに（それはビーチを理解するために砂粒の一つひとつを数えるようなものです）、著者たちは、シーン全体を巨大で学習可能な数学の問題として扱う手法を提案しています。彼らは「ニューラルフィールド」を使用しています。これは、光と物質の両方を同時に記述できる、非常にスマートで柔軟な関数です。これらの関数に物理学の基本法則（具体的には放射伝達方程式）に従うよう強制することで、彼らは霧の隠された特性を解明することができます。その結果、このシステムは、雲のかかったシーンの3D形状と色を再構成できるだけでなく、それを「再照明（リライト）」することも可能になります。つまり、太陽を月に、あるいはネオンサインに変えて、霧がどのようにリアルに反応するかを見ることができるのです。

問題点：霧のミステリー

あなたが厚く渦巻く霧の中でミステリーを解こうとしている探偵だと想像してください。異なる角度から撮られた数枚の写真を持っていますが、霧が真実を隠しています。あなたは光源（おそらく太陽）を知っていますが、霧がどれほど厚いのか、どれくらい光を吸収するのか、あるいはどのように散乱させるのかは知りません。過去において、この「逆レンダリング」問題を解くことは、ボクシンググローブをはめたまま、絡まったヘッドホンのコードを解こうとするようなものでした。

従来の手法は主に2つの方法で行われてきましたが、どちらにも大きな欠陥がありました。第一の方法は、「確率的パスサンプリング」と呼ばれる技術を用いて、光のすべての跳ね返りをシミュレートすることでした。これは、霧の中を何百万もの小さく目に見えないメッセンジャーを送り、彼らがどこに辿り着くかを確認するようなものです。正確ではありますが、非常に低速で計算コストが高く、嵐の激しさを測るために嵐の中の雨粒を一つひとつ数えるようなものです。第二の方法は、光の複雑な跳ね返り（グローバルイルミネーション）を無視した簡略化されたモデルを使用することでした。これは、雲を見るだけで嵐の激しさを推測するようなもので、速いですが、光が実際にどのように振る舞うかという複雑で乱雑な物理現象を捉えることはできませんでした。光が霧の一部分で跳ね返り、別の部分を照らすという「グローバル」な効果を扱うことができなかったのです。

新しいアプローチ：物理学を注入されたニューラルネット

この論文の著者であるNtumba Elie Nsampi氏とその仲間たちは、異なる道を模索することにしました。彼らはこう問いかけました。「もし、メッセンジャーをシミュレートするのではなく、ニューラルネットワークに霧と光の両方になってもらうとしたらどうだろうか？」

彼らは、2つの「ニューラルフィールド」（魔法のような連続的なマップと考えてください）が連携するシステムを作り上げました。一方のマップは媒体の「光学特性」（どれほど吸収し、散乱し、どの方向に散乱するか）を記述します。もう一方のマップは「光場（ライトフィールド）」（あらゆる地点とあらゆる方向で光がどれほど明るいか）を記述します。

ここに魔法のトリックがあります。光がどのように移動するかを見るために重いシミュレーションを実行する代わりに、彼らは「放射伝達方程式（RTE）」を使用します。これは、光が媒体の中を移動する際にどのように変化するかを記述する有名な物理公式です。著者たちは、この公式をシミュレーションツールとしてではなく、ニューラルネットワークが従わなければならない一連の「ルール」や「法則」として扱いました。

彼らは、主に3つの目標を持つ最適化ゲームを設定しました。

1. 物理法則のルール： ニューラルネットワークは、ボリューム内のランダムな地点においてRTEを満たさなければなりません。これにより、光と霧が物理法則に従って振うことが保証されます。
2. 境界のルール： 外部から霧に入ってくる光は、既知の環境（空や部屋など）と一致しなければなりません。
3. 写真のルール： 霧から出てカメラに届く光は、実際に撮影されたシーンの写真と一致しなければなりません。

しかし、問題がありました。ニューラルネットワークには、鋭く詳細な答えよりも、滑らかでぼやけた答えを好む「怠け者」の性質があります。これは「低周波バイアス」として知られています。これを修正するために、著者たちは特別な材料を加えました。それは「ボリュームレンダリング方程式（VRE）」に基づく項です。この項は、ネットワークにカメラから物体への実際の光の経路を注視させることで、ぼやけたディテールをシャープにする「シャープナー」のような役割を果たします。

彼らが発見したこと

チームは、ふわふわとした低密度の雲から、濃密で不透明な霧まで、50種類の合成シーンを用いて彼らの手法をテストしました。彼らは、自分たちの手法を、2つの古い手法（重い「確率的パスサンプリング」、具体的にはDifferential Ratio Tracking、および高速だが不正確な「学習表現」を用いた手法）と比較しました。

結果は驚くべきものでした。彼らの手法は、吸収（どれだけ光が食べられるか）、散乱（どれだけ光が跳ね返されるか）、および消散（光の総損失）を高精度に再構成できました。

• 数値で見ると、彼らの手法は吸収において平均二乗誤差（MSE）1.33、散乱において1.66を達成しました。これは、確率的手法の散乱における4.06よりも大幅に優れた数値です。
• また、彼らは「異方性散乱（anisotropic scattering）」、つまり霧が（正面から見るのと横から見るのとでは見た目が異なるように）特定の方向に光をより多く散らす性質も扱うことができました。従来のメソッドでは、これを行うことは全く不可能でした。

おそらく最も素晴らしい部分は、再構成の後にできることです。彼らは真の物理的特性を復元したため、照明を変更することができました。晴れた空の下で照らされたシーンを、3色のローカルライト（赤、緑、青）と新しい環境マップで「再照明」しました。霧は、新しい条件下で光がどのように散乱し吸収されるかを示すように、リアルに反応しました。これは、簡略化されたモデルではできなかったことです。

彼らはまた、このアプローチが「生成モデリング」にも有効であることを示しました。多くのシーンで訓練することにより、彼らのシステムは、現実的な霧がどのようなものかという「分布」を学習しました。その後、彼らは「潜在コード（latent code）」（シーンを定義する秘密の数字）を選択するだけで、完全に新しく、物理的に妥当な雲のシーンを生成することができました。これらの新しいシーンは単なる美しい絵ではなく、現実と同じように一貫した物理特性を持っており、新しい方法で再照明することが可能でした。

なぜ重要なのか

著者らは、このアプローチが、光の輸送に関する複雑な物理学を、特殊で低速なシミュレーションの必要性から切り離す（デカップリングする）ことで、ゲームチェンジャーになると示唆しています。問題をニューラルフィールド上の制約付き最適化として定式化することで、ボリュームにおけるグローバルイルミネーションを理解するために、重厚なレンダラーは必要ないことを証明しました。必要なのは、正しい数学と正しいルールなのです。

論文では、現在の実験が合成データ（コンピュータ生成されたシーン）に基づいたものであり、まだ現実世界の写真には適用されていないことが記されていますが、この手法は、膨大な計算コストをかけることなく、映画、ゲーム、科学的シミュレーションのための物理的に正確な3Dボリュームを作成するための扉を開いています。それは、霧の立ち込める風景の写真を見て、瞬時にその空気の密度、色、散乱特性を知ることができ、その世界に足を踏み入れて天候を自由自在に変えられる未来を示唆しているのです。