A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

あなたは、複雑な事象（渦巻く嵐や鼓動する心臓など）の映画を見ようとしている科学者だと想像してください。しかし、その映画はフレーム（コマ）で構成されているのではなく、魔法のような連続的な「レシピ」であり、あらゆる瞬間、つまりフレーム間の極めて短い時間であっても、そのシーンを記述できるものです。これが**隠れニューラル表現（Implicit Neural Representations: INRs）**の世界です。これらを単なる写真の積み重ねとしてではなく、任意の座標 $(x, y, z)$ と時間 $t$ における物体の形状と色を知っている、非常に賢くコンパクトなニューラルネットワークとして考えてください。問題は、この物体がどのように見えるかを知るためには、このニューラルネットワークに「ここは何色ですか？」と問いかけなければならないことです。そして、ネットワークはその答えを出すために、膨大な計算を行う必要があります。かつては、画面上の全ピクセルに対してこの問いを投げかけることは非常に遅く、コストがかかる作業であったため、これらの「映画」をリアルタイムで見ることは不可能でした。科学者たちは、ぼやけた低品質な映像で妥協するか、あるいは1フレームが表示されるまで数分間待たなければなりませんでした。

本論文は、これらの「ニューラル映画」をリアルタイムで視聴するための巧妙な新しい方法を紹介しており、強力なゲーミングコンピュータ上で30から40フレーム毎秒（fps）の滑らかな動きを実現しています。著者であるAlper Sahistan氏とそのチームは、従来のボリュームの捉え方、つまり光の筋（レイ）に沿って一歩ずつ着実に進む「歩行者」のように、すべての地点をチェックする方法は、あまりにも無駄が多いことに気づきました。なぜなら、歩行者が一歩進むごとに、ニューラルネットワークに助けを求めなければならないからです。代わりに、彼らはクエリ効率の高い確率的ボリュームレンダリング・フレームワークを構築しました。彼らは、ボリュームのレンダリングプロセスを、**デルタ・トラッキング（delta tracking）**と呼ばれる手法を用いた「推測と検証」のゲームとして扱います。霧の濃さが変化する霧の深い森を歩いている場面を想像してください。霧の厚さに合わせて一歩ずつ等間隔に進む代わりに、あなたは大きなランダムな跳躍をします。もし厚い霧の層に着地したら、そこで立ち止まって描画します。もし薄い場所に着地したら、そのまま次の跳躍へ進みます。このようにすることで、彼らはニューラルネットワークへの問いかけを大幅に減らしました。

さらに高速化するために、彼らはグラフィックスカード上の2種類の異なる「コンピューターの脳」の間で作業を分割しました。「トラバーサル（走査）」の部分（どこへ跳ぶかを決める工程）には、特化したレイトレーシング・コアを使用し、「エバリュエーション（評価）」の部分（ニューラルネットワークに問いかける工程）には、重い数学的計算のために設計されたテンソル・コアを使用しています。また、見た目が同じ領域での質問を完全にスキップする戦略（均質性によるプルーニング）や、変化しているピクセルのみを再確認する戦略（適応型レイ・バジェット）も追加しました。その結果、彼らのシステムは、レイ・トレーシングによる影を伴う1024²解像度の変形・時変オブジェクトを、わずか1〜2ミリ秒で時間ステップを更新しながらレンダリングできます。この論文は、このアプローチによって、ニューラルネットワークの再学習や、あらゆる瞬間ごとの膨大なキャッシュデータの保存を必要とすることなく、連続的な時間を直接探索できることを示唆しており、目に見えないものを真にインタラクティブな感覚で可視化することを可能にします。

「跳躍するレイ」の魔法

この仕組みがどのように機能するかを理解するために、レイ（光の筋）を、謎めいた不可視の物体の色を見つけ出そうとしている好奇心旺盛な探検家だと想像してみてください。昔のやり方では、この探検家は直線に沿って小さな赤ちゃんのような歩幅で進み、一歩ごとに司書（ニューラルネットワーク）に「ここはどんな色ですか？」と尋ねていました。もし物体が巨大で、歩幅が極端に小さい場合、探検家は司書に何百万回も質問することになります。司書は複雑な計算で忙しいため、探検家は待ちぼうけを食らい、映画は停止してしまいます。

著者たちの新しい手法であるデルタ・トラッキングは、探検家の戦略を変えます。赤ちゃんのような歩幅の代わりに、探検家は大きくランダムな跳躍をします。彼らにはルールがあります。「霧がどれほど濃くなっても、この最大値を超えることはないはずだ」というルールです。そこで、彼らは霧がその最大値にあると仮定した場合でも安全な距離を跳びます。そして着地したとき、司書に「実際の霧はこれほど厚いですか？」と尋ねます。

• もし答えが「はい、これは厚いです」であれば、彼らは立ち止まって色を塗ります。
• もし答えが「いいえ、実際にはこれは薄いです」であれば、彼らはその着地地点を無視して、再び大きな跳躍を行います。

これは、特定の「特別な」タイルに着地したときだけスコアを確認するというゲームのようなものです。ほとんどの場合、彼らはただ空を飛び続けているだけです。ニューラルネットワークが処理の遅い部分であるため、「特別なことが何も起きていない」場所での質問をスキップすることは、膨大な時間の節約になります。

二つの脳のチーム

この論文は、コンピューターが「歩行（トラバーサルの過程）」と「数学（ニューラル推論の過程）」を処理する方法が大きく異なるという、極めて重要な洞察を強調しています。歩行は地図を一段階ずつ確認する一人の人物のようですが、複雑な数学を行うことは、完璧なハーモニーで歌う合唱団のようです。もし合唱団に一度に一つの音符だけを歌わせようとすれば、それは非効率的です。

著者たちは、組織化された工場のようによく整理された4段階のパイプラインを構築しました。

1. レイの初期化（Ray Initialization）： 工場がカメラのための探検家（レイ）をセットアップします。
2. トラバーサル（Traversal / RTコア）： 「歩行」の専門家（レイトレーシング・コア）が、探検家を仮想空間へと跳躍させます。彼らは着地地点を見つけますが、まだ司書には問いかけません。彼らは単にアドレス（住所）を書き留めるだけです。
3. エバリュエーション（Evaluation / テンソル・コア）： 「数学」の専門家（テンソル・コア）が、膨大なアドレスのリストを一括で受け取り、同時に司書にすべての答えを求めます。ここで魔法が起こります。ニューラルネットワークに大量の質問が一度に投入され、その全能力を用いて一斉に回答されます。
4. ファイナライゼーション（Finalization）： 結果が持ち帰られ、探検家は立ち止まるか、再び跳ぶかを決定します。

この「ウェーブフロント（波面）」アプローチにより、コンピューターの脳がアイドル状態（暇な状態）になることがありません。一方が歩いている間に、もう一方が数学を行っています。この手法は、すべてを一つずつ行おうとする素朴なアプローチよりも約125倍高速であり、特殊なレイトレーシング・ハードウェアを使用しない古い手法よりも2倍以上高速であることを論文は示しています。

スマートなスキップ：すべての質問をしない

「跳躍と検証」の手法を用いても、司書に尋ねることは依然としてコストがかかります。著者らは、さらに高速化するために2つの「スマート・スキップ」機能を加えました。

1. 「退屈なゾーン」のスキップ（均質性に基づくクエリ・プルーニング）：
   探検家が、完璧に白くて空っぽに見える部屋に着地したと想像してください。もしその部屋が均質（すべて同じ色）であると分かっているなら、なぜ司書に尋ねる必要があるのでしょうか？ システムは、その領域が「退屈（均質）」であるかどうかをチェックします。もしそうであれば、平均的な色を推測して、そのまま進みます。これにより、質問を一つ節約できます。ただし、退屈なゾーンの境界付近で推測を過剰に行うと細部を見逃す可能性があるため、彼らは慎重を期して「確率的なフォールオフ（減衰）」を使用しています。

2. 「動いているものだけを再確認」するスキップ（適応型レイ・バジェッティング）：
   動画を見ている場面を想像してください。もし背景が静止した壁であれば、毎秒描き直す必要はありません。鳥が飛んでいる部分だけを描き直せばよいのです。システムは前のフレームを確認し、「このピクセルは変化したか？」と問いかけます。

   • ピクセルが安定している（壁など）場合、描画をスキップし、古い色をそのまま使用します。
   • ピクセルが変化している（鳥など）場合、その描画のために「予算（バジェット）」を使い、描き直します。
     彼らは、何を描画するかを決定するために3つの方法（残差ヒストグラム、STBN、およびその混合）をテストしました。その結果、ランダムなパターンと「変化検出」を組み合わせるのがベストであり、多くのピクセルをスキップしても画像が滑らかで自然に見えることが分かりました。

結果：スムーズでリアルタイムな科学

チームは、変形する物体のX線スキャンや流体フローのシミュレーションを含む6つの異なるデータセットを用いて、システムをテストしました。彼らはNVIDIA RTX 4090 GPU上で、1024²解像度で実行しました。

• 速度： 標準的なレンダリングでは30〜40 fps、複雑な影を追加した場合でも約30 fpsを達成しています。これは、スムーズでインタラクティブな体験に十分な速さです。
• 応答性： ユーザーが時間（レシピにおける「t」）を変更すると、システムは約1〜2ミリ秒で更新されます。これは、スライダーをドラッグすれば、待ち時間なしに物体が即座に変形する様子を見られることを意味します。
• メモリ： システムは驚くほど効率的です。ニューラルネットワーク自体は非常に小さく（わずか1〜2 MB）、レンダリングに必要な追加構造を含めても、総メモリ使用量は約600 MBに収まります。これは従来の科学的可視化システムよりもはるかに低いです。

本論文は、ニューラルネットワークを再学習したり、データをボクセル（3Dピクセル）のグリッドに変換したりする必要はないという考えを明確に否定しています。彼らは、訓練された通りの形式でネットワークを直接レンダリングできることを示しています。また、キャッシュ（回答の保存）は静止画には有効ですが、時間が経過すると回答が古くなってしまうため、時変データには適さないとも主張しています。彼らの手法は、回答をその場で計算することで、この問題を回避しています。

なぜこれが重要なのか

心臓がどのように鼓動するか、嵐がどのように渦巻くか、あるいは材料がストレス下でどのように変形するかといった事象を研究している科学者にとって、リアルタイムでデータを見られることはゲームチェンジャーとなります。これまでは、1フレームを得るために数分待つか、低品質な表示で妥協しなければなりませんでした。今や、彼らはデータと対話し、物体を回転させ、連続的に進化する様子を観察することができます。著者らは、このフレームワークが、コンパクトなニューラル表現を用いたインタラクティブな科学的可視化への扉を開き、研究者が、可視化に必要な重い数学的計算に足を取られることなく、データの「連続的な時間」を探索することを可能にすると述べています。

結論として、本論文は、いくつかの制限（「退屈なゾーン」の閾値設定の慎重さや、現在システムが特定の中核的なNVIDIAハードウェアに依存していることなど）はあるものの、このアプローチが、コンパクトなニューラル表現の利点と、インタラクティブで高品質な可視化の必要性ととの間の溝を埋めることに成功したことを示しています。これは、データを「ニューラル」な性質のままにするために、その速さを犠牲にする必要はないことを証明しています。ただ、正しい質問を、正しい順序で行い、不要な質問をスキップすればよいのです。