GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

高速で走り去るレースカーのハイスピードビデオを撮影しようとしている場面を想像してみてください。しかし、あなたのカメラは非常に遅いため、たった一枚のぼやけた写真を撮ることしかできません。次に、その一枚の写真が、実はレースの何百もの異なる瞬間をすべて混ぜ合わせた、一種の秘密のコードであると想像してください。これが、**スナップショット圧縮イメージング（SCI）**の驚くべき世界です。これは、カメラがビデオを撮るのではなく、特別なマスクによって「変調」された一枚の写真を撮り、時間と空間を一つのスナップショットの中に混ぜ合わせるという巧妙なトリックです。課題は？ その一枚の乱れた写真を、クリアで動きのあるビデオへとデコードすることです。通常、科学者たちはビデオのフレームがどのような見た目になるかを推測しようとしますが、カメラが3Dシーン（建物の中を飛び回るドローンなど）を移動している場合、それらの推測はしばしば崩れ去り、混乱した幽霊のような残像を残してしまいます。

ここで、**3D Gaussian Splatting（3DGS）**が登場します。これは、3Dの世界を構築するための、より新しく超高速な手法です。彫刻家のように堅固なメッシュを構築する代わりに、3DGSは、キラキラとした粒子のように見える何千もの小さな、ふわふわとした3Dの雲（ガウス分布）でシーンを描きます。光（あるいはカメラ）をそれらに通すと、それらは混ざり合って鮮明な画像を作り出します。それは、霧で作られた街を築き、正しい角度から見た瞬間に、それが一瞬にして実体化するようなものです。しかし、この「キラキラ・シティ」の構築者は、SCIカメラからの、あのスクランブルされた一枚の写真だけを唯一の手がかりとしている場合、苦戦を強いられます。数学的な計算が複雑になり、霧の雲が間違った場所に浮遊し、カメラの経路を見失ってしまうのです。

本論文は、このパズルを解くための超スマートな探偵として機能する新しい手法、GS2CIを紹介しています。著者たちは、スクランブルされた写真から3Dの形状とカメラの経路を推測しようとすることは困難であると気づき、強力な助っ人を投入しました。それが大規模ビジョンモデル（VFM）です。これらは、何百万もの3Dシーンを見てきた経験があり、光、奥行き、そしてカメラの動きが通常どのように機能するかを熟知しているAIモデルだと考えてください。GS2CIはこのAIの脳を利用して、カメラがどこにあり、3Dシーンがどのような形をしているかについて、賢い「最初の推測」を行います。次に、システムはOSGR（Opacity-Guided Splitting and Growth Regulation：不透明度ガイドによる分割および成長制御）と呼ばれる、特別に作られた独自のルールブックを使用して、キラキラとした雲を整えます。このルールブックは、数学的な要件を満たすためだけに、雲が大きくなりすぎたり、奇妙な形で塊になったりすることを防ぎます。最後に、第二のAIを使用して細部を磨き上げ、あらゆる角度からシーンが鮮明でリアルに見えるようにします。その結果、この手法は、スクランブルされた写真から高品質な3Dシーンを再構成することができ、カメラが激しく動いても一貫性を保ち、速度と明瞭さの両面で従来の手法を凌駕します。

問題点： 「ワンショット」の謎

あなたが犯罪現場の再構成を試みている探偵だと想像してください。しかし、手元にあるのは一枚の写真だけです。さらに悪いことに、その写真は「圧縮」されたバージョンであり、警察がその現場を8つの異なるタイミングで撮影し、それらを特殊なフィルターで混ぜ合わせて、その結果をあなたに渡したものです。あなたは、その8つの瞬間のうち、正確にどこにカメラがあったのかを知りませんし、どの瞬間におけるシーンがどのような見た目であったかも分かりません。これが**スナップショット圧縮イメージング（SCI）**の問題です。

既存のほとんどの手法は、フレームごとに推測することでこれを解決しようと試みます。しかし、カメラが3Dオブジェクトの周囲を移動している場合（彫像の周りを飛行するドローンのように）、これらの推測は混乱します。カメラが実際に動いているのに、オブジェクトが動いていると誤認してしまうことがあります。彼らが苦戦するのは、奥行きや遠近感を理解するための優れた「3Dの脳」を欠いているからです。彼らは、テーブルの上に落ちた平らな影だけに頼りながら、目隠しをして3Dパズルを解こうとしている人のようです。

解決策： 二人組の探偵チーム

本論文の著者たちは、3つの強力なツールを組み合わせることでこれを解決する、GS2CIと呼ばれるフレームワークを提案しています。

ステップ1：スマートな推測（3D VFM 初期化）
ゼロから始める代わりに、GS2CIはまず「プロキシ・ビュー（代理視点）」を作成します。スクランブルされた写真と既知のフィルターパターンを取り込み、8つの異なるフレームがどのような見た目になるかについての、大まかな推測版を作成します。次に、これらの大まかな推測を**3Dビジョン基盤モデル（VFM）**に投入します。このVFMは、何百万もの3Dシーンを学習したAIだと考えてください。VFMはこれらの大まかな推測を見て、「ああ、これまでの経験に基づけば、カメラはおそらくここにあり、オブジェクトはこのような形をしているはずだ」と判断します。これにより、システムはランダムな推測ではなく、非常に強力な出発点を得ることができます。

ステップ2：キラキラ・ビルダー（3D Gaussian Splatting）
AIがカメラの経路とシーンの形状に関する大まかな概念を把握したら、次は3D Gaussian Splattingに切り替わります。これは、何千もの小さな、ふわふわとした3Dの雲（ガウス分布）を使用してシーンを構築する手法です。システムは、これら（雲）を配置することで、8つの異なる角度から見たときに、元のスクランブルされた写真を完璧に再現するように試みます。

ひねり：OSGR ルールブック
ここからが、この論文の真に巧妙な部分です。3Dの雲をスクランブルされた写真に適合させようとすると、数学的な処理が難しくなることがあります。システムは、正しい場所に雲を移動させる代わりに、間違いを隠すために単一の雲を極端に不透明（非常に固形）にすることで、数学的な整合性を「満たそう」とすることがあります。これは「不透明度のピーク（opacity peaks）」を生み出し、3D構造を台無しにします。

これを修正するために、著者らは**OSGR（不透明度ガイドによる分割および成長制御）**を考案しました。

• 不透明度ガイドによる分割（Opacity-Guided Splitting）： もし一つの雲がある場所で「固まりすぎ（不透明度のピーク）」になった場合、OSGRは「これは怪しい！ この一つの大きな雲を、より精密な二つの小さな雲に分割しよう」と指示します。これにより、システムは固形物の塊の後ろに隠れるのではなく、真の形状を見つけ出すことを強制されます。
• 成長制御（Growth Regulation）： システムはまた、使用できる雲の数についても厳格なカウントを行います。これにより、シーンが不要な雲で膨張することを防ぎ、再構成の速度と安定性を維持します。

ステップ3：磨き上げ（補助的2D VFM）
メインの3Dシーンが構築された後も、システムはまだ完了していません。システムは、カメラが実際には見ていなかった新しい「偽の視点（合成された視点）」を作成します。そして、2Dビジョン基盤モデルを使用して、それらの視点が本来どうあるべきかを想像させます。システムは、自身の3Dシーンをこれらの「夢見た」画像と比較し、雲の詳細を調整して、より鮮明でリアルに見えるようにします。これは、アーティストが絵画に細部を書き加える最終的な仕上げのようなものです。

結果： より速く、より鮮明に、より堅牢に

著者らは、単純なオブジェクトから複雑な屋外環境まで、さまざまなシーンでGS2CIをテストしました。さらに、非常に高い圧縮率（32の異なる視点が一つにまとめられている場合）でもテストを行いました。

• 優れた品質： テストにおいて、GS2CIは従来の手法よりもエラーが少なく、一貫してより鮮明な画像を生成しました。例えば、「Vender」というシーンでは、PSNR（画質を測る指標）で38.52を達成し、次点の優れた手法のスコアである36.40を上回りました。
• スピード： 極めて高速です。スクランブルされた写真から最終的な3Dシーンに至る全プロセスは、標準的なハイエンドコンピュータ（NVIDIA RTX 4090）で約68.4分でした。比較として、以前のトップレベルの手法であるSCINeRFは、同じ作業を行うのに12時間以上（746.84分）を要していました。
• 堅牢性： カメラが予測不能で奇妙な動きをした場合や、写真が高度に圧縮されている場合でも、GS2CIは崩壊しませんでした。GS2CIは、「アンバウンデッド（境界のない）」なシーン（視界が無限に続くようなシーン）や複雑なカメラ経路を、競合他社よりもはるかに上手く処理しました。

現時点での限界

論文は、その限界についても正直に述べています。静的なシーン（オブジェクトが動かないシーン）には非常に効果的ですが、人が走ったり鳥が飛んだりするように、オブジェクトが独立して動くダイナミック（動的）なシーンでは苦戦します。動くオブジェクトを含むテスト（「クマ」や「フラミンゴ」のビデオなど）では、他の専門的な手法ほどの結果は出せませんでした。著者らは将来、動くオブジェクトをより良く扱うために、「キラキラの雲」を4D（時間に次元を加えたもの）にアップグレードする必要があるかもしれないと示唆しています。

なぜこれが重要なのか

この論文は、大規模AIモデルの「常識」と3D Gaussian Splattingのスピードを組み合わせることで、イメージングにおける最も困難な問題の一つを解決できることを示しています。それは、一つのスクランブルされた写真を、歩き回ることができる豊かな3Dの世界へと変貌させ、しかも実用的な速さで行うことができます。これは、小型で安価、かつ強力なハイスピード3Dカメラを実現するための大きな一歩です。