あなたは、現実の世界と全く同じに見えるビデオゲームのレベルのような、完璧な3Dモデルを構築しようとしていると想像してください。これを行うには、コンピュータはあらゆるものの形状、つまり壁がどこにあるのか、山がどれほどの高さにあるのか、そして穴がどれほど深いのかを知る必要があります。これは「3Dジオメトリ（3D幾何学）」と呼ばれます。通常、コンピュータはカメラやセンサーからこの情報を得ますが、現実の世界は混沌としています。雲が視界を遮ったり、影が細部を隠したりすることもありますし、センサーが一部の地点を見逃してデータに「穴」が開いてしまうこともあります。それは、誰かがパズルのピースを食べてしまった状態でジグソーパズルを完成させようとしているようなものです。絵は見えているのですが、画像が欠落している部分に隙間があります。

これらの穴を埋めるために、科学者たちはしばしば「深度推定器（depth estimators）」を使用します。これらは、非常に賢い「推測屋」だと考えてください。彼らは何百万もの写真に触れ、壁や木や建物が通常どのような見た目であるかを学習してきました。隙間を見つけたとき、彼らはその知識を使って、その部分を埋めます。しかし、これらの推測屋には2つの大きな問題があります。第一に、彼らは時として、実際に見えている部分と矛盾するような推測をしてしまうことがあります（例えば、明らかに固い壁がある場所にドアがあると推測してしまうようなケースです）。第二に、もし彼らがこれまで見たことのないもの（例えば、街の地上レベルの視点ではなく、衛星から高い位置で見下ろした景色など）を目にした場合、混乱してデタラメで間違った推測をしてしまう可能性があります。

この論文では、これらの問題を解決するための巧妙な新しい手法である**Neural Depth Field (NDF)**を紹介しています。研究者たちは、深度推定器は単なる「一回限りの推測屋」であってはならないことに気づきました。代わりに、彼らはそれを、見ている特定のシーンに合わせて形を変えることができる、柔軟で目に見えない「型（モールド）」として扱いました。想像してみてください、あなたは完璧なカップを作ることを知っている粘土の塊を持っています。通常、あなたは一度だけそれを押し付けて、うまくいくことを祈ります。しかし、NDFでは、その粘土を実際に手に持っているカップに対して押し当て、実際の曲線に完璧に一致するように滑らかに整えていきます。これにより、カップという一般的な形状を維持しながらも、実物の曲線にぴったりと合わせることができます。これにより、コンピュータは欠落した穴を高い精度で埋めることができ、屋内の一角のような雑多な場所でも、宇宙から見た巨大な都市のような場所でも、新しい部分が古い部分とシームレスに融合するようにできるのです。

「ワンショット」推測の問題点

3Dコンピュータビジョンの世界では、私たちはしばしば、物体の深さを教えてくれる学習済みモデルに頼っています。これらのモデルは、3D形状に関する膨大な教科書を勉強してきた学生のようなものです。写真を見せると、彼らは即座に深度を推測します。しかし、現実世界のデータはしばしば不完全です。ドローンが木の影響で建物を見逃したり、衛星が雲によってデータを失ったりすることがあります。

標準的なアプローチは、これらの学習済みモデルを取り出し、欠落している部分を「インペイント（塗りつぶし）」させることです。しかし、著者らは、これが具体的に以下の2つの方法で失敗することを指摘しています。

1. 不整合性（Inconsistency）: モデルが、シーンの可視部分と矛盾する形状で穴を埋めてしまうことがあります。それは、写真の他の部分が明らかにレンガの壁であることを示している場所に、ドアを描き込んでしまうようなものです。
2. 分布外の混乱（Out-of-Distribution Confusion）: もしモデルが主に地上レベルの写真で学習されていた場合、衛星画像を見たときに完全に迷ってしまう可能性があります。その特定の「ドメイン」におけるルールを知らないため、その推測は信頼できなくなります。

「Neural Depth Field」による解決策

著者らは、**Neural Depth Field (NDF)**と呼ばれる新しい手法を提案しています。彼らの大きなアイデアは、深度推定器を単に答えを出すだけの静的なツールとして扱うのではなく、**シーンレベルの暗黙的な場（implicit field）**として扱うことです。

ここで比喩を使います。深度推定器が、パターンが印刷されたゴムシートであると想像してください。

• 予測器として: 通常、このシートを写真の上に広げ、そのパターンに基づいて推測を出力します。
• 場（フィールド）として: NDFでは、その同じゴムシートを取り、写真の実際に見えている部分に対して物理的に押し当てます。そして、シートが実際の可視幾何学に完璧に沿うように、引き伸ばし、滑らかにします。

この「テスト時最適化（test-time optimization）」（モデルが特定のシーンを見ている間に調整すること）を行うことで、NDFはモデルに2つのことを同時に行うよう強制します。

1. 観測されたものに適合する: モデルは、実際に見ることができる画像の部分と一致しなければなりません。これにより、新しい推測が既存のデータと矛盾しないようにします。
2. 事前知識を適応させる: モデルは自身の一般的な知識（シート上の「パターン」）を使用して、欠落している部分がどうあるべきかを推測しますが、この知識は今、このシーンのために特別に調整されています。

これにより、「空白を埋める」という問題は、既知の部分と未知の部分の両方に同時にフィットする「最高のバージョンのゴムシート」を見つけるという、単一の統合されたタスクへと変わります。

研究の結果

研究者たちは、このアイデアを2つの非常に異なる種類のシーンでテストしました。

1. 衛星画像: 雲やセンサーのエラーによって高さデータが多くの箇所で欠落している、大規模な都市マップ（バーミンガム）に使用しました。
2. 屋内スキャン: オクルージョン（遮蔽）やセンサーノイズによって家具や壁が欠落している、部屋の3Dスキャン（ScanNetデータセット）に使用しました。

結果:

• より高い精度: NDFは、従来の手法よりもはるかに正確に欠落部分を埋めることができました。衛星データにおいて、欠落した高さの補完精度を**23.1%**向上させました。
• 少ない不具合: 新しい部分が古い部分と衝突するという問題を解決しました。視点を切り替えたときに画像が違って見えたり壊れたりする「クロスビュー不整合（cross-view inconsistency）」を**63.3%**減少させました。
• 微細な詳細: この手法は、他の手法が見逃してしまうような、衛星写真の小さな街灯や、屋内スキャンの細いワイヤーなどの小さな詳細を復元することができました。

論文では、単に調整なしで学習済みモデルを使用するだけでは不十分であるという考えを明確に否定しています。彼らは、単に「予測」すること、あるいは単に「再構成」することだけでは、ぼやけた結果や不整合な結果を招くことを示しました。魔法は、これら2つをこの単一の最適化プロセスへと組み合わせた時にのみ起こります。

なぜこれが重要なのか

これは単に綺麗な画像を作るための話ではありません。世界の完全で一貫した3Dマップを持つことは、ロボットのナビゲーション、都市のインフラ計画、あるいは仮想現実（VR）をリアルに感じさせるために極めて重要です。もしロボットが、壁がない場所に壁があると判断すれば、衝突してしまうかもしれません。もし都市計画者が、建物が実際よりも低いと考えていれば、それは安全上の脅威となり得ます。

「汎用的な推測モデル」を取り出し、それを特定のシーンに完璧に適合するように調整できることを示すことで、NDFは、センサーが故障したり、見たことのない角度から物を見たりしている場合でも、高品質な3Dデータを得る方法を提供しています。これは、3D再構成の未来が、単に「より大きく、より賢いモデル」を作ることではなく、それらのモデルに対して「今まさに目の前にある特定の現実」に適応する方法を教えることにあることを示唆しています。

著者らは、このプロセスには現在、1つのシーンにつき数分から1時間程度の時間がかかることを注記しています。これは単純な「ワンショット」の推測よりも遅いですが、そのトレードオフとして、はるかに高品質な結果が得られます。彼らは将来的にこれを高速化できる可能性があると示唆していますが、現時点では、「型をシーンに合わせる」ために時間をかけることが、真に正確な3D世界を得るために価値のあることであることを証明しています。