CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

技術要約：CrossMaps – ローバーナビゲーションのための信頼度を考慮したオープンボキャブラリー・セマンティック・マッピング

問題提起
非構造化環境で作動する自律ローバーは、幾何学的な正確さと意味論的な有用性の両方を備えた空間表現を維持するという大きな課題に直面している。従来のナビゲーションシステムは、空間構造を捉えるものの、オープンボキャブラリーな相互作用に必要な意味理解を欠いたSLAMベースの幾何学的マップに依存している。近年の視覚言語モデル（VLM）は、オープンボキャブラリーなセマンティック・マッピング（例：VLMaps）を可能にしたが、これらを移動式ローバーに展開することは依然として困難である。主な課題は、ノイズが多く視点依存的な観測、照明やパースペクティブによる埋め込みの変化、そして新しい証拠を取り入れるための適応性と長期的なマップの安定性のバランスをとる必要性である。既存の手法は、不確実性の扱いが限定的であり、すべての証拠を単一の表現に融合させるため、センサーノイズや動的な環境変化の影響を受けやすい。

手法：CrossMapsパイプライン
CrossMapsは、移動式ローバー向けに設計された、リアルタイムで信頼度を考慮したオープンボキャブラリー・セマンティック・マッピング・パイプラインを通じて、これらの課題に対処する。本システムは、マルチスケールCLIP埋め込みと、デュアルメモリ・アーキテクチャおよび信頼度を考慮したデータ融合メカニズムを統合している。

1. マルチスケール埋め込み抽出:
   パイプラインは、RGBフレームをマルチスケールのタイルに分割することで、入力されるRGB-Dデータを処理する。各タイルは、自然言語と整合したセマンティック埋め込みを生成するために、学習済みCLIPビジュアルトランスフォーマー（ViT-L/14）を使用してエンコードされる。このタイルレベルのアプローチは、カメラの動きに対する堅牢性を維持しながら、高密度なピクセル単位の埋め込みに伴う計算コストを回避する。

2. 空間投影と融合:
   SLAMによって推定された深度画像（$D_t$）とローバーの視点（$T_t$）を使用し、システムは深度ピクセルを3D空間へと逆投影する。これらの3D点は、対応する画像タイルのセマンティック埋め込みに関連付けられる。観測結果は、トップダウンの空間グリッドマップに蓄積される。

3. 信頼度を考慮した短期記憶（STM）:
   STMは、最近の観測結果を集約する動的なグリッドマップとして機能する。これは、以下の3つの手がかりに基づいて観測に信頼度値を割り当てることで、知覚の不確実性を明示的にモデル化する。

• 幾何学的信頼度: センサー距離と可視性を考慮し、遠方の観測に対して距離に基づく減衰を適用する。
• セマンティック信頼度: CLIP空間におけるコサイン類似度を介して、新しい埋め込みと現在のセルの証拠との一致度を測定する。不整合な観測は重みを下げられる。
• 時間的信頼度: ほとんど観測されない領域に対して時間ベースの減衰を適用し、マップの変化への適応を可能にする。
  STM内での融合は、信頼度重み付き集約によって行われる。各セルは、セマンティック蓄積器（$S_C$）と信頼度蓄積器（$W_C$）を保持する。新しい観測は、セルへの追加前に、セマンティックな一貫性に基づいてソフトゲート制御される。

4. デュアルメモリ・アーキテクチャ（STMからLTMへの昇格）:
   安定性を確保するため、CrossMapsは永続的なセマンティック・ランドマークを保存する長期記憶（LTM）を採用している。STM内のセルは、以下の3つの厳格な基準を満たす場合にのみ、LTMへと昇格される。

• 高い信頼度: 蓄積された信頼度（$W_C$）が閾値（$\tau_c$）を超えること。
• セマンティックなコヒーレンス（一貫性）: 融合された埋め込みの平均のノルムが閾値（$\tau_h$）を超えること。これにより、矛盾する観測が長期マップを破壊しないことを保証する。
• 視点の多様性: セルが複数の異なる視点から観測されていること（ビットマスクにより追跡）。これにより、単一のパースペクティブを超えた信頼性が確認される。

5. 自然言語によるクエリ:
   生成されたマップは、オープンボキャブラリーなクエリをサポートする。自然言語クエリはCLIPテキスト埋め込みへとエンコードされ、コサイン類似度を用いてセル埋め込みと比較される。出力は空間ヒートマップであり、マッチングスコアはセルのコヒーレンスによって重み付けされる。これにより、高信頼度のセルが信頼できるランドマークとして機能する一方で、潜在的に有用な低信頼度の領域もハイライトすることができる。

主な貢献
本論文は、主に4つの貢献を提示している。

1. 幾何学的、セマンティック、および時間的な手がかりを用いて、CLIPベースの観測に対してポイントレベルおよびセルレベルの信頼度を割り当てる、信頼度を考慮したオープンボキャブラリー・セマンティック・マッピング・フレームワーク。
2. 観測結果を短期グリッドマップ（STM）に集約し、十分に信頼でき、コヒーレントで、かつマルチビューで支持されたセルのみを永続的な長期ランドマークマップ（LTM）へと昇格させる、デュアルメモリ・セマンティックマップ表現。
3. ローバーの運動下で、言語クエリ可能な3Dマップを構築するために、マルチスケール・タイルレベルのCLIP埋め込みをSLAMベースの空間配置と融合させる、リアルタイム・セマンティック・マッピング・パイプライン。
4. ヒートマップとセル選択の形成にセル内の一致度を用い、一方で長期的な昇格とナビゲーションターゲットの決定にセル単位の信頼度を用いる、信頼度およびコヒーレンスに基づく昇格およびクエリメカニズム。

結果とデモンストレーション
著者らは、NVIDIA Jetson Orin GPUとRGB-Dカメラを搭載したWaveshare UGV上で、CrossMapsをモジュール式のROS 2ノードとして実装した。システムは、ローカリゼーションのためにRTAB-Mapと並行して動作する。

• リアルタイム動作: パイプラインは、RGB-Dストリームを正常に処理し、リアルタイムでセマンティックマップを構築することに成功した。
• クエリ性能: システムは、自然言語クエリ（例：「plant（植物）」、「hammer（ハンマー）」）に対して空間ヒートマップを生成する。
• ノイズ軽減: 可視化の結果、STMにはノイズの多い観測が含まれているものの、LTMはこれらを効果的にフィルタリングし、疎（スパース）で信頼性の高い提案を実現していることが示された。例えば、「hammer」のクエリでは、ノイズの多いSTMヒートマップが表示されるが、よりクリーンで信頼性の高いLTMヒートマップが表示されており、信頼度およびコヒーレンスのゲーティングメカニズムの有効性が検証されている。

意義と主張
本論文は、CrossMapsが、オープンボキャブラリーな知覚と信頼度を考慮した融合、およびデュアルメモリ表現を組み合わせることで、パーセプチュアルノイズを軽減しながら、ローバーが言語クエリ可能なセマンティックマップを構築できることを実証していると主張している。不確実な観測（STM）と安定した構造（LTM）を分離することで、システムは可塑性と堅牢性のバランスを実現している。著者らは、本研究を部分観測下における安全なローバーナビゲーションへの一歩として位置づけており、将来的にはセグメンテーションベースの特徴抽出の統合や、マルチエージェント間の知識共有、および安全性が重要なシナリオに向けたニューロ・シンボリック推論への拡張を計画している。