技術要約: BiMoSG – オープンセット・タスクのためのバイモーダル3Dシーングラフ

問題提起

オープンセットのタスク実行には、ロボットが事前の情報なしに未知の物体を含む複雑な環境をナビゲートする必要があります。オープン語彙（Open-vocabulary）3Dシーングラフ（SAM、CLIP、LLaVaなどの大規模視覚基盤モデルを活用したもの）は、堅牢なインスタンスセグメンテーションと分類を実現しますが、モバイルロボットへのリアルタイム展開において大きな障壁に直面しています。これらの障壁には、基盤モデルの膨大な計算需要、限られたエッジコンピューティングのリソース、および高いエネルギーコストが含まれ、これらが運用時間を制限する要因となります。

本論文は、タスクの全期間を通じて高粒度なオープン語彙シーングラフを生成する必要はないと主張しています。代わりに、ロボットはナビゲーションや一般的な機能性の判断には粗い意味情報のみを必要とし、タスクに関連する可能性が高い特定の領域に対してのみ、詳細なオープン語彙分析を行うというアプローチをとります。この手法は、人間の認知における、高速で直感的な「システム1」の思考と、低速で熟考的な「システム2」の思考の区別を模倣しています。

手法: BiMoSG

著者らは、タスクのコンテキストに基づいて「高速（粗い）」モードと「低速（詳細な）」モードをシームレスに切り替えるように設計された、バイモーダル3Dシーングラフ生成フレームワークであるBiMoSGを提案しています。

1. デュアルモード・アーキテクチャ

• 高速モード (デフォルト): クローズド語彙の設定を使用して、粗い3Dシーングラフを生成します。セグメンテーションにはMask2Former（ADE20K-150で学習）を使用し、新しい**プリズム状体積表現（prismatic volumetric representation）**を用いて物体を扱います。このモードは大規模な基盤モデルを回避することで、計算量とエネルギーコストを劇的に削減します。
• 低速モード (オンデマンド): システムがタスクに関連する可能性のある領域や物体を特定したときにトリガーされます。このモードでは、SmolVLM2やLangSAMといった視覚言語モデル（VLM）を用いたオープン語彙技術を採用し、詳細なオープン語彙による記述の生成と物体ラベルの精緻化を行います。

2. プリズム状体積物体表現

「高速」モードにおける速度を実現するため、BiMoSGは新しい幾何学的抽象化を導入しています。

• 密な点群（計算コストが高く、視点の変化に敏感）を処理する代わりに、システムはセグメンテーションマスクから物体の輪郭を抽出します。
• これらの輪郭はワールドフレームに投影され、デノイズされた後、XYポリゴン（凸包またはアルファシェイプ）とZ範囲（$z_{min}, z_{max}$）によって定義される**多角柱プリズム（polygonal prisms）**に変換されます。
• この表現により、マージおよび重複排除の計算複雑性が大幅に軽減され（ボクセル化された点群の$O(n^3)$に対し、$O(n+m)$）、疎な視点間での体積重複のマッチングが向上します。

3. 近傍ベースの物体関係

本フレームワークは、近傍ベースのアプローチを用いて階層的なシーングラフを構築します。

• 可視性行列 (Visibility Matrix): 物体が同じフレーム内にどの程度の頻度で同時に現れるかを追跡します。
• 階層的分割: 物体は「太さ（体積の立方根）」と隣接する物体に対する相対的なサイズによって順序付けられます。これにより、方向性非巡回グラフ（DAG）が形成され、「近傍（vicinities：ローカルクラスター）」と「ゾーン（zones：部屋レベルの近似）」を確立します。
• 関係生成: 近傍内における物体プリズムの近接性と交差に基づき、自然言語による関係（例：ON, IN, BESIDE）が生成されます。

4. LLMプランナーの統合

大規模言語モデル（LLM）プランナー（具体的にはGPT-4o）が、認知の架け橋として機能します。

• フェーズ1 (分解): 高レベルのタスクを分析し、クローズドセットの物体に対する「トリガーラベル」を生成します。
• フェーズ2 (モニタリング): シーングラフを監視します。トリガーラベルが検出された物体と一致した場合、InspectAtアクションを呼び出します。
• フェーズ3 (確認): VLMが物体ラベルを精緻化し、LLMが下流の実行前にその物体がタスクに関連しているかを確認します。これにより、視覚的に似ているが文脈的に無関係な物体による誤検知を防ぎます。

2つのオープンセット識別モードがサポートされています：

• ハイブリッドモード: CLIP埋め込みを使用してクローズドセットのマスクを処理し、オープンセットの意味論を暗黙的に扱います。
• スイッチングモード: LLMが詳細な調査を要求した際に、VLMベースのセグメンテーション（LangSAM）へ明示的に切り替えます。

主な貢献

1. BiMoSGフレームワーク: 効率性と意味的な豊かさのバランスを取るために、クローズドセット（高速）とオープンセット（低速）のモードを動的に切り替える、新しい3Dシーングラフ生成アプローチ。
2. プリズム状体積表現: 3D物体のための新しい幾何学的抽象化であり、点群ベースの手法と比較して高速なマージと重複排除を可能にします。
3. 近傍ベースの階層構造: 可視性と相対的なサイズに基づき、物体間の関係と階層的分割（近傍およびゾーン）を確立する新しい手法。
4. 性能検証: 「高速」モードが、最新のオープン語彙アプローチ（ConceptGraphsなど）よりも約3倍高速でありながら、堅牢性を維持していることを示す実証的エビデンス。
5. 実世界への展開: 美術館環境におけるClearpath Jackalロボットを用いた検証により、事前のマッピングなしにタスク（不審な物体の特定）を正常に実行できることを実証。

実験結果

• 計算効率: RTX 4090において、BiMoSGの高速モードはフレームあたり平均0.1秒で処理されます（ConceptGraphsの0.4秒、BBQの0.2秒と比較）。
• 幾何学的精度: Replicaデータセットを用いた評価では、許容可能な幾何学的精度を示しました（平均GTカバレッジは約57%、線形mIoUは約61%）。精度の低下は、体積表現自体ではなくセグメンテーションのアーティファクトに起因しています。
• タスク実行時間: Habitat Matterport3Dシミュレーションにおいて、BiMoSGはオープンセットおよびクローズドセットの両方のタスクでClioのベースラインを一貫して上回りました。例えば、オープンセットのタスクにおいて、BiMoSGはキーボードを見つけるまでの実行時間をClioの約1分45秒から2.13秒へと短縮しました。これは、タスク完了前に環境全体をマッピングすることを回避したためです。
• 収束性: 高レベルのタスク（例：「アイスクリームをどこに置くべきか？」）において、システムは高い収束率（80〜90%）を達成し、実行時間を大幅に短縮しました（例：アイスクリームのタスクで19秒）。

意義と主張

本論文は、人間の認知効率を模倣することで、BiMoSGがオープンセットのタスク実行のためのリアルタイムかつエネルギー効率の高いソリューションを提供すると主張しています。デフォルトで粗いクローズド語彙表現を使用し、必要な場合にのみ計算負荷の高いオープン語彙モデルを稼働させることで、以下の実現を可能にします：

• シーングラフ生成とタスク実行のシームレスな統合。
• 事前のマッピングを必要としない、未知の環境における堅牢な運用。
  、純粋なオープン語彙手法と比較して、成功率を維持しながらタスク実行時間を大幅に短縮すること。

著者らは、このバイモーダル設計が、モバイルロボティクスに求められる速度と、オープンセット・タスクに求められる意味的な深さの間のトレードオフを効果的に解決しており、リアルタイムのロボット知覚、ナビゲーション、および推論において競争力があるとしています。