技術要約：Gaussians on Fire: 高周波な炎の高精度再構成

問題提起

限られたカメラビューから動的な火災を3Dで再構成することは、現在の最先端の手法でも対処できていない特有の課題を提示している。火は、その揮発的な性質、透明性、高周波な外観、および急速な時間的変化によって特徴付けられる。既存のGaussian Splatting (GS) アプローチは、シーンのコンテンツが追跡可能な滑らかな運動を行う持続的なプリミティブ（基本単位）で構成されているという仮定に基づいているため、火に適用すると根本的に失敗する。

著者らは、ベースラインとなる動的GS手法（例：4D Gaussian Splatting, FreeTimeGS）を火に適用した際に発生する、3つの繰り返される失敗モードを特定している：

1. 幾何学的吸収 (Geometric Absorption): アルゴリズムが、炎の動きを静的な背景幾何学の変形によって説明しようと試みること。
2. 深度崩壊 (Depth Collapse): 有意義な3D構造を確立することなく、もっともらしい2D画像の見た目のみを生成すること。
3. 時間的ドリフト (Temporal Drift): 描画された炎が、観察された時間経過に伴う動的な進化と一致しないこと。

さらに、実世界の環境における火のキャプチャは、高密度な多視点カバレッジの欠如と高い時間解像度の必要性から困難である。既存のボリューム再構成手法の多くは、高密度のカメラアレイまたは強力な物理ベースのシミュレーション・プライア（事前知識）を必要とするが、これらは利用できないか、あるいは計算コストが非常に高い場合が多い。

手法

提案されたパイプラインは、わずか3台の校正済みカメラビューから、3D Gaussian Splatを用いて高周波な時空間炎ダイナミクスを再構成する。コアとなる革新は、静的な背景と、短命で発光する炎の構造を分離する過渡的ガウス再構成定式化 (transient Gaussian reconstruction formulation) である。

1. 静的シーンの再構成

疎な視点制約下での静的な背景を扱うために、著者らは2段階の戦略を採用している：

• 初期化: ステレオ深度マップ（静止フレームに対してPatchMatchStereoを用いて計算）と単眼深度予測（DepthAnythingV2）を融合することで、高密度なポイントクラウドを生成する。
• 最適化: 静的なシーンは、標準的な3DGSを用いて最適化される。視点の制限による過学習や退化した深度解を防ぐため、損失関数に連続的な単眼深度正則化項 ($L_{depth}$) を組み込み、訓練中に重く適用する。

2. 動的シーン（火）の再構成

火は、変形する持続的な幾何学としてではなく、過渡的な炎のガウス分布 (transient flame Gaussians) の集団としてモデル化される。これらは、有限の時間的サポートを持つ、放出の短命な体積的キャリアである。

• フローに基づく初期化: 疎な特徴量トラッキングに頼る代わりに、本手法は3Dボリュームフロー場を推定する。これは、各ビューに対して高密度な2Dオプティカルフロー（MEMOOFを使用）を計算し、これらのフローを3Dボクセルグリッドに投影し、多視点投影制約を満たすようにチコノフ正則化を用いた最適化問題を解くことで達成される。
• 過渡的ガウス表現: 各ガウスは、この3Dフロー場から初期化され、特定の時間パラメータが割り当てられる：
  • 寿命 ($t_\sigma$): 炎の過渡的な性質をモデル化するための有限の時間的サポート（フレーム時間の4倍に初期化）。
  • 線形速度 ($v$): フロー場から導出された一定の速度ベクトルであり、位置 $x(t) = x_0 + (t - t_\mu)v$ を決定する。
  • 時間的変調: 不透明度は時間に対してガウス関数によって変調され、プリミティブが滑らかに現れ、消えることを保証する。
• アルファ損失: 動的なガウスが静的な背景領域に誤って配置されるのを防ぐため、モーションマスクにおいて火が存在しない領域の不透明度を罰する追加のアルファ損失が適用される。

3. ハードウェア同期

コンシューマ向けハードウェア（GoPro Hero 13）を用いて高周波な火のダイナミクス（最大400 Hz）をキャプチャするために、著者らはカスタムの低コスト同期システムを設計した。

• メカニズム: ESP32マイクロコントローラが21個のピンを制御する。5つのピンがCOB LEDストリップのシリーズを切り替え、ローリングシャッター効果を通じて可視化されるサブフレーム同期パターンを作成する。他の16個のピンは、フレーム識別用の15-LED Grayコードカウンタを駆動する。
• 精度: ローリングシャッターにおけるLEDストリップの輝度変化を検出することにより、本システムは、急速な炎の運動の再構成に不可欠な、約15 $\mu$sの精度でサブフレームの時間的整合性を達成する。

4. 評価プロトコル (DVE)

標準的な画像指標（PSNR, SSIM）は、動的な3D再構成を評価するには不十分である。著者らは、グラウンドトゥルースの速度場を持つ合成シーンのための密度重み付きボリューム評価 (Density-Weighted Volumetric Evaluation: DVE) プロトコルを提案する。

• 指標: 再構成されたガウス速度とグラウンドトゥルースの速度場との間の、密度重み付き相対 $L_2$ 誤差および重み付きボリューム余弦類似度を計算する。これにより、運動の大きさ（マグニチュード）と方向の整合性の両方を評価する。

主な貢献

1. 失敗分析: 本論文は、疎な視点による火の再構成が既存の動的GS手法における特定の失敗ケースであることを特定し、これは「持続的なプリミティブ」という仮定と「過渡的な性質」を持つ火との間の不一致に起因すると結論付けている。
2. 過渡的ガウス定式化: 持続的なトラッキングではなく、融合された3Dフローを介して初期化される、短命な発光構造と静的幾何学を分離する新しい表現。
3. 実用的なキャプチャセットアップ: 安価な高フレームレート同期ソリューションの欠如に対処する、市販のハードウェアを用いて多視点火キャプチャを可能にする低コストの高速度同期システム。
4. 評価プロトコル: 物理的に妥当な運動場を評価する新しい指標スイート（DVE）を提供し、従来のGS手法が、視覚的指標が競争力があるように見えても、正しいダイナミクスを回復できていないことを示している。

結果

本手法は、3台のカメラで400 Hzでキャプチャされた実世界のデータセット（プロパン、薪、ガソリンなど、17種類の火のシーケンス）および合成Mantaflowシミュレーションを用いて検証された。

• 視覚的品質: 提案手法は、炎の領域および全画像の両方において、すべての視覚的指標（PSら、SSIM、LPIPS）でベースライン（4DGS, FreeTimeGS, Grid4D）を上回る。
• 深度の一貫性: 本手法は、深度崩壊や空間的不安定性に陥りやすいベースラインと比較して、大幅に低い深度誤差（RMSE）を達成している。
• 運動の正確性: 合成評価において、提案手法はグラウンドトゥルースの速度場に対して高い類似性（CosSim $\approx$ 0.74）を示す一方、ベースラインは弱い方向の整合性（CosSim $< 0.23$）しか示さない。
• アブレーション研究: フローベースの初期化（RandFlow）または同期（NoSync）を取り除くと性能が低下する。静的成分と動的成分を結合して最適化する（JointOpt）と、シミュレーション指標は改善するが、視覚的な忠実度が低下する。これは、提案された分離アプローチによって管理されているトレードオフを浮き彫りにしている。

意義と主張

著者らは、本研究が、**「高度に動的で発光し、体積的な現象の疎な視点による再構成は、重い物理シミュレータや高密度のカメラアレイなしでも可能である」**ことを示すことで、動的なシーン表現における重要なギャップを埋めるものであると主張している。

「持続的なプリミティブ」から「過渡的な体積的キャリア」へと表現の単位を再考することで、本手法は以下を実現する：

• 堅牢性: 多様な炎の種類や照明条件下での安定した再構成。
• 効率性: ガウス・スプラッティング固有のリアルタイムレンダリング能力と、ニューラル・ラディアンス・フィールド（NeRF）の計算オーバーヘッドを回避する訓練パイプラインの組み合わせ。
• 物理的妥当性: 単に2Dピクセルの外観を一致させるだけでなく、火の物理的挙動と一致する、時間的に一貫した運動軌道と深度場を回復する能力。

本論文は、現在の線形速度モデルやオプティカルフローへの依存には限界（例：乱流や低テクスチャ領域における制限）があるものの、提案された定式化が、複雑な体積現象のための適応的で学習ベースの動的再構成に向けた基礎的な一歩を提供するものであると結論付けている。