GO-PRE: Goal-Oriented Next-Best-View Selection via Predictive Rendering Entropy for Active 3D Reconstruction

あなたは、霧に包まれた謎めいた城の完璧な3Dモデルを構築しようとしていると想像してください。しかし、手元にある写真は限られています。ただランダムに写真を撮るわけにはいきません。最も有用な情報を得るために、どこに立つべきかを賢く判断する必要があります。これが、コンピュータが好奇心旺盛な探検家のように振る舞い、どのカメラアングルがシーンについて最も多くを教えてくれるかを決定する、「アクティブ3D再構成（active 3D reconstruction）」という分野の世界です。これを行うために、コンピュータは通常、自身の数学的な「揺らぎ」や、まだ見ていない空の空間がどれくらいあるかに基づいた「推測ゲーム」に頼ります。しかし、ここに落とし穴があります。コンピュータは、自身の数学が不確実であるために「多くを学んだ」と思い込むことがありますが、その結果として表示される最終的な画像は、依然としてぼやけていたり、穴だらけであったりすることがあります。それは、シェフがオーブンの中の温度（内部の数学）を心配している一方で、中身のケーキはまだ生のまま（最終的な画像）であるようなものです。大きな疑問は、どうすればコンピュータを、自分自身の内部的な感覚ではなく、実際に表示される「画像」そのものに関心を持たせることができるか、ということです。

そこで、ゲームチェンジャーとなる新しい手法、GO-PREが登場します。これは研究者によって提案された手法で、「もしこの写真を撮ったら、最終的な画像はどれくらい鮮明になるか？」というシンプルで直接的な問いを投げかけます。内部の数学に基づく推測の代わりに、GO-PREは「予測レンダリング（predictive rendering）」という技術を使用します。これは、コンピュータが未来の短いシミュレーションを実行していると考えてください。コンピュータは、その写真を撮った場合にどのような見た目になるかを仮想的にレンダリングし、その画像にどれだけの「混乱（またはエントロピー）」が残っているかを確認します。もしシミュレートされた写真がまだ不鮮明であれば、コンピュータはその写真を撮る必要があると判断します。もし写真がすでに鮮明であれば、その撮影はスキップします。研究者たちは、最終的な画像におけるこの「視覚的な混乱」を減らすことに完全に集中することで、彼らの手法が従来の技術よりも優れた3Dモデルをより速く、より正確に構築できることを発見しました。また、コンピュータに「どこに集中すべきか」を正確に伝えることもできることを見出しました。例えば、「城の塔だけに興味がある、庭園は無視してくれ」と言えば、システムは他のすべてを無視して、その特定の場所を完璧にするために動いてくれます。

問題点： 「内部の数学」という罠

長い間、3Dの世界を構築しようとするロボットやAIは、「ホット・アンド・コールド（熱いか冷たいか）」のゲームをしてきました。彼らはカメラを動かし、最も多くの情報を得られる場所を探そうとします。しかし、その多くはショートカットを利用しています。彼らは自身の内部的な「不確実性」、つまり、自身の数学がいかに激しく変動しているかを見て、「数学が激しく変動しているなら、新しい写真が必要だ」と仮定します。問題は、これがしばれて悪い代用指標（プロキシ）になることです。それは、テスト勉強をする学生が、実際の質問の内容を見るのではなく、自分がどれくらい緊張しているかだけをチェックしているようなものです。あなたは、実際には完璧に理解しているトピックに対して非常に緊張（高い不確実性）を感じているかもしれませんし、完全に忘れてしまったトピックに対して冷静（低い不確実性）であるかもしれません。3D再構成の世界において、これは、コンピュータが最終的な画像を改善することには実際には役に立たない写真を撮るために、限られた写真の予算を無駄にする可能性があることを意味します。内部の数学的エラーは減少させても、最終的な3Dモデルは奇妙だったり、ぼやけていたりするままになるかもしれません。

解決策： GO-PREの「水晶玉」

Yan Song氏とそのチームは、GO-PRE（Goal-Oriented Next-Best-View Selection via Predictive Rendering Entropy）と呼ばれるフレームワークを構築しました。内部の数学を見る代わりに、GO-PREは直接的な「結果」を見ます。

あなたが限られたフィルムロールを持つ写真家だと想像してください。複雑な彫刻の写真を撮りたいと考えています。

• 従来の方法： あなたはカメラの設定を見て、「フォーカスリングが揺れているから、左側から写真を撮る必要がある」と言います。
• GO-PREの方法： あなたは鏡を掲げて、「もし左側から写真を撮ったら、反射はもっと鮮明に見えるだろうか？ 右側から撮ったら、反射はもっと鮮明になるだろうか？」と考えます。あなたは、反射（最終的な画像）が最もぼやけなくなる角度を選びます。

技術的には、彼らは予測レンダリング・エントロピーと呼ばれるものを計算することでこれを行っています。簡単に言えば、ここでの「エントロピー」とは「無秩序」や「混乱」を意味します。コンピュータが予測した画像が非常に混乱している（高いエントロピーを持つ）場合、それはそこに何があるのかを理解していないことを意味します。GO-PREの目標は、次のカメラアングルを選択して、この混乱を最も減少させることです。彼らは単に推測するのではなく、未来をシミュレートします。「この新しい視点をコレクションに加えたら、予測される画像の中の『霧』はどれくらい消えるだろうか？」と問いかけるのです。

「ゴール」機能： ロボットに何を重視させるかを伝える

GO-PREの最も素晴らしい点の一つは、**ゴール（目標）**を設定できることです。多くの状況において、世界全体の完璧な写真が必要なわけではなく、ただ「一つのもの」の完璧な写真が必要な場合があります。例えば、あなたは橋を点検しているドローンであり、背景の木々ではなく、中央の梁にある亀裂だけに興味があるかもしれません。

GO-PREは、ユーザーが「ターゲット・ゾーン（target view manifold）」を描くことを可能にします。「この特定の角を見ている視点だけに興味がある」と指定できます。すると、システムはそれ以外のすべてを無視します。システムは、その特定の角に対して最も役立つカメラアングルを計算します。それは、ロボットがモードを切り替えられるようなものです。「グローバル・エクスプローラー（すべてを見る）」から「ディテール・ハンター（特定の亀裂に集中する）」へ。研究者たちは、特定のゴールを設定したとき、ロボットがその特定の部分を修正するために驚異的な効率を発揮し、時間を節約するためにシーンの他の部分を無視することを示しました。

研究結果

チームは、合成オブジェクト（「Blender」データセットなど）や実世界のシーン（「Mip-NeRF360」や「Tanks & Temples」データセットなど）を含む、いくつかの有名な3Dデータセットを用いてGO-PREをテストしました。彼らは、「フィッシャー情報量」や「ガウス・スプラッティング（Gaussian Splatting）」の不確実性といった複雑な数学的トリックを使用する既存の最高の手法と比較しました。

結果は明白でした：

• より高品質な画像： テストにおいて、GO-PREは一貫してより高品質な3Dモデルを生成しました。例えば、「Mip-NeRF360」データセットにおいて、彼らの手法は21.2283のPSNR（画像の品質を示すスコア）を達成し、次点のPOp-GS（20.6180）を上回りました。「Blender」データセットでは、25.5740に達し、ランナーアップの25.5235を上回りました。
• よりスマートな集中力： 特定のゴール（シーンの120度のスライスに焦点を当てるなど）を設定したとき、GO-PREは競合を圧倒しました。「Tanks & Temples」データセットで特定のゴールを設定した場合、GO-PREは20.5030のPSNRに達しましたが、次点のメソッドは16.7581しか達成できませんでした。これは巨大な差です。
• リアルタイムの速度： シミュレーションを実行しているにもかかわらず、この手法はリアルタイムで使用できるほど高速です。標準的なハイエンドコンピュータ（NVIDIA RTX 3090）を使用して、一つの潜在的なカメラアングルをチェックするのに約120ミリ秒かかることが計算されました。

なぜ重要なのか

この論文は、コンピュータに自身の内部の数学を心配させるのをやめさせ、実際の画像そのものに関心を持たせることで、より少ない写真で、より速く3Dの世界を構築できることを示唆しています。これは、危険な場所（災害現場など）を探索する必要があるロボットや、バッテリーを無駄にすることなくインフラを点検する必要があるドローンにとって極めて重要です。

また、研究者たちは、彼らの手法が「自分が何を知らないか」を知ることに非常に優れていることも示しました。彼らは、コンピュータに写真を「最もぼやけているもの」から「最も鮮明なもの」へとランク付けさせるテストを行いました。GO-PREは、他の手法と比較して、どの写真が悪劣な画像をもたらすかを予測することにおいて、はるかに優れていました。それは、気圧計に基づいて推測するのではなく、実際に雨が降るかどうかを正しく予測できる天気予報者のようなものです。

限界

著者たちは、自身がまだ解決していない問題についても正直に述べています。現在、彼らのシステムは、あらかじめ定義されたカメラ位置のリスト（離散的な候補プール）から選択しなければなりません。数学が複雑になりすぎ、見える範囲の急激な変化によってコンピュータが混乱してしまうため、滑らかに連続的な流れの中でカメラを動かすことはまだできません。彼らは、この滑らかで連続的な動きを実現することが次の大きな課題であると示唆しています。

要約すると、GO-PREはコンピュータがどこを見るべきかを決定するための、よりスマートな方法です。自分の感覚に基づいて推測する代わりに、彼らは未来の画像を見つめ、「これは画像をより良くするか？」と問いかけます。そして、彼らの実験における答えは、力強い「イエス」でした。