海底は広大で、大部分が未開拓のフロンティアであるが、リーフや砂、瓦礫の上を静かに滑るように進む自律型車両によって、その地図作成が進みつつある。これらの機械は、一度のミッション中に数万枚もの画像をキャプチャし、海底の膨大なアーカイブを作成する。しかし、これらの生の写真を有用な三次元地図へと変換することは、非常に困難である。水が光を屈折させ、海底にはしばっきりとした特徴が欠けていることが多く、結果として得られるデータは、信頼できる深度情報やカメラの位置を持たない、単なる平坦な写真に過ぎない。こうした障害があるため、科学者やエンジニアは、水中世界の正確なデジタルモデルを構築することに苦慮している。このギャップは重要である。なぜなら、研究者はロボットの訓練やナビゲーションシステムのテスト、海洋生態の研究を行うために現実的な3D環境を必要としているが、それらのシミュレーションに必要な特定の高品質なデータを容易に収集することができないからである。
これを解決するために、研究チームは、水中の景観を生成するためのエンジンとして機能する「BenthicFlow」と呼ばれる新しいシステムを開発した。BenthicFlowは、既存の調査データから既存の写真を繋ぎ合わせたり、硬直したコンピュータ・スクリプトに頼ったりするのではなく、既存の調査データから海底の視覚的パターンを学習し、そして見た目や感覚が本物のように感じられる、新しく妥当なシーンを創り出す。チームが取り組んだ核心的な課題は、いかにして生成されたシーンが、不一致のあるタイルの継ぎ接ぎのような見た目にならないようにしながら、大規模に作成するかであった。従来の手法は、海底の小さく独立した断片を生成し、後でそれらを繋ぎ合わせようとするものであったが、このプロセスでは頻繁に目に見える継ぎ目や不一致なテクスチャが生じていた。BenthicFlowは異なるアプローチをとっている。このシステムは、シーン全体を一つの連続した統一的なプロセスとして生成する。カラー画像と深度マップの両方を同時に生成する単一の数学的モデルを使用することで、砂や岩のテクスチャが、最初からその三次元的な形状と完璧に一致するようにしているのである。
このシステムは、特定の水中の場所のいくつかの参照画像を取り込み、それらを用いてより大規模な環境を構築する仕組みとなっている。このプロセスは、アーティストが正しいスタイルやカラーパレットを維持するために、いくつかの小さなスケッチを常に参照しながら巨大な壁画を描く様子に例えられる。コンピュータは、広大な領域の静的なノイズから始まり、ステップごとに段階的にクリアな画像へと洗練させていく。海底の広大なサイズを扱うために、システムはタスクを重なり合うセクションに分割し、それらすべてを同時に処理しながら、結果を融合させていく。これにより、セクション間の移行がシームレスになり、パターンに硬い線や断絶が生じることはない。コンピュータが海底の高解像度画像とその対応する深度マップを生成すると、システムはその平坦な写真を完全な3D環境へと引き上げる。これは、すべてのピクセルを空間内で正しく方向付けられた小さな平坦な表面要素に変換することによって行われ、あらゆる角度から閲覧可能な、連続したナビゲーション可能な3D世界を作り出す。
研究者らは、オーストラリアの2つのリーフとハワイの沿岸部という、3つの異なる場所から収集されたデータを用いてシステムをテストした。その結果、生成されたシーンは、各地点の特定の色彩、テクスチャ、および照明条件を捉えており、実際の環境に対して極めて忠実であることが判明した。他の高度な画像生成ツールと比較した際、BenthicFlowは、一般的なモデルが作り出しがちな奇妙に様式化されたサンゴや澄んだ青い水とは異なり、実際の水中データと遥かに一貫性のある画像を生成した。また、システムは異なる場所間を補間することも可能であり、あるリーフの特徴を別のリーフへとスムーズにブレンドして、多様で一貫性のある景観を作り出すことができた。さらに、システムによって生成された深度情報は視覚的なテクスチャと高度に一致しており、コンピュータが単に美しい絵を作っただけでなく、地形の構造的に正確な表現を作成したことを示している。
拡張可能な水中環境の生成に成功したことで、この研究は海洋科学とロボティクスに強力な新しいツールを提供することになる。大規模で現実的な3Dシミュレーションを作成できる能力により、エンジニアは、物理的にすべての場所を訪れることなく、濁った水や複雑な地形といった現実の海の課題を模倣した仮想世界の中で、自律型車両を訓練することができる。また、生態学者にとっては、健康な海底がどのような姿をしているかをモデル化する方法を提供し、サンゴの白化や外来種の侵入といった異常を検知するための基準を提供することにもなる。本研究は、画像の生成とジオメトリ（幾何学）の生成を単一の連続したプロセスへと統合することで、従来の手法の限界を克服し、広大かつ深く真正な海洋のデジタルツインを作成することが可能であることを実証している。
技術概要：BenthicFlow
問題提起
水中コンピュータビジョンは、重大なボトルネックに直面している。自律型水中航走体（AUV）は膨大な画像コレクションを蓄積してきたが、信頼できるカメラポーズ、高密度な3D教師データ、および低テクスチャや濁度の高い環境におけるStructure-from-Motion（SfM）やSLAMの劣化により、利用可能な3D構造化データは極めて乏しい。このデータギャップを埋めるための既存の生成手法には、深刻な限界が存在する。例えば、[52]における拡張可能な地形生成器のような従来の手法は、個別に生成されたタイルを別のインペインティングモデルを用いて繋ぎ合わせることで大規模なシーンを構築している。この戦略は境界のアーティファクトを導入し、シーン全体におけるグローバルな一貫性を維持できず、生成を単一の調査サイトに限定してしまうため、地理的に異なる環境間を補間する能力を欠いている。さらに、汎用的な基盤モデルは、調査画像の特有の（しばしば平坦で濁った）外観を捉えることができず、代わりに様式化された透明度の高いサンゴ礁へとデフォルトで回帰してしまう。
手法
著者らは、空間的に拡張可能で整合性の取れたRGB-深度（RGBD）モザイクを生成し、それらを明示的な3D環境へとリフトアップする統一フレームワークであるBenthicFlowを提案する。パイプラインは主に以下の3つの段階で構成される：
- 潜在表現 (d-RAE): システムは、修正された表現オートエンコーダ（d-RAE）によって管理される圧縮された潜在空間内で動作する。このエンコーダは、RGB画像に対しては凍結されたDINOv2バックボーンを利用し、深度マップに対してはゼロから学習させた個別のVision Transformer（ViT）を利用する。これらは単一の潜在表現 (z∈Rh×w×1024) へと融合され、学習中にテクスチャと幾何学構造の間の自然な整合性を保証する。
- 条件付きフローマッチングによる拡張生成:
- コンディショニング: モデルは、特定の調査サイトからの参照画像に基づいて条件付けられる。参照シードからグローバルな外観記述子が抽出され、平均プーリングおよびバイリニア補間を経て、連続的なコンディショニング・グリッドを形成する。これにより、サイト固有の特徴を保持しながら、多様なシーンの生成が可能となる。
- フローマッチング: 実装としてフル畳み込みU-Netを用いた単一の条件付きフローマッチング（CFM）モデルが、等方的なガウスノイズをターゲットの潜在分布へと変換する速度場を回帰することを学習する。
- MultiDiffusionに着想を得たサンプリング: 学習解像度よりも大きなシーンを生成するために、潜在キャンバスは重なり合うウィンドウに分割される。タイルを事後的に繋ぎ合わせる従来の手法とは異なり、BenthicFlowは生成の軌跡の中で重なり合うウィンドウを調整する。各積分ステップにおいて、重なり合うトークンの予測速度は分離可能なサインウィンドウ重み付けを用いて平均化される。これにより、二次的な繋ぎ合わせネットワークを必要とせずに、グローバルな一貫性が確保される。
- 3Dリフティング: デノイズされた潜在キャンバスは、高解像度のRGBDモザイクへとデコードされる。この2.5D観測データは、**表面整合型ガウシアンサーフェル（surface-aligned Gaussian surfels）**を用いて連続的な3D表現へとリフトアップされる。等方的な3Dガウス分布とは異なり、サーフェルは局所的な表面法線に基づいて方向付けられ、深度の不連続性を橋渡ししないように異方的な面内広がりを持つ。外観のみのリファインメントステップが、幾何学的整合性を維持しながら、ソースのビューに一致するように色と不透明度を調整する。
主な貢献
- 統一された拡張生成: 重なり合う潜在ウィンドウが共有された生成軌跡を通じて調整される、ウィンドウ化されたフローマッチング定式化。これにより、単一の生成モデルを用いて、事後のインペインティングや繋ぎ合わせネットワークを必要とせずに、空間的に拡張可能なRGBDモザザイクの作成が可能となる。
- サイト間の補間: 地理的に異なる複数の調査サイトを跨ぎ、それらの間を滑らかに補間することができる単一の条件付き速度場。これは従来の水中生成モデルでは実証されていない能力である。
- サーフェルによる3Dリフティング: RGBDモザイクを、表面整合型ガウシアンサーフェルを用いて空間的に連続した3D表現へと変換するリフティング段階。これにより、表面の被覆率が向上し、推定された幾何構造が保持される。
結果
実験は、3つの異なる場所（バテマンズ・ベイ、スコット・リーフ、ハワイ）から得られた60万フレーム以上の底生生物フレームを用いて実施された。
- 画像品質: BenthicFlowは、最先端のFLUX.2-devベースラインを大幅に上回り、平均FID（Fréchet Inception Distance）において、99.7であったのに対し16.2を達成した。また、優れた条件付き適合性（コサイン類似度 0.842 vs 0.649）を示した。
- サイト固有性: 生成されたデータで学習されたk-NN分類器は、実データの均衡精度およびマクロF1スコアの95%以上を保持しており、サイト固有の視覚的特徴が保存されていることを確認した。
- シームレス性: Seam Gradient Ratio（SGR）指標は、62.5%のウィンドウ重なりにおいて最適なブレンディングを示し、境界のアーティファクトは他のテクスチャと区別がつかないレベルであった。
- 深度の一貫性: システムは生成画像と深度マップの間でほぼ完全な整合性を達成し（ピアソン相関係数 r=0.997）、マルチモーダル生成の構造的一貫性を検証した。
- 3D忠実度: 3Dリフティング段階のアブレーション研究により、アンカー付きリファインメントを備えた表面整合型サーフェルを使用することが、等方的なガウス的手法よりも優れたシングルビュー忠実度（SSIM 0.925, LPIPS 0.046）をもたらすことが示された。
意義
本論文は、BenthicFlowがその統一された定式化を通じて、既存の水中生成パイプラインの限界に対処していると主張している。生成とインペインティングを共有されたサンプリング軌跡内の単一の操作として扱うことで、本フレームワークは、事後の繋ぎ合わせに伴うアーティファクトなしに、ターゲット分布に密接に一致する一貫した大規模3Dシーンを生成する。地理的に異なるサイト間を補間する能力は、海洋生態学における正規事前分布を提供し、ターゲットサイトのデータを事前に収集できないシナリオにおける、自律型水中航走体の知覚システム訓練のためのスケーラブルな合成地形ソースを提供する。本研究は、プロシージャルモデリングや標準的な拡散パイプラインが複製に苦慮してきた、真正でトポロジー的に複雑な水中環境を生成するための基礎を確立するものである。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録