OSMa-Bench++: Toward Open-Ended Benchmarking of Semantic Mapping for Manipulation with Prompt-Generated Synthetic Scenes

OSMa-Bench++ の技術的概要

問題定義
意味的マッピング手法は、下流のロボティクス推論および操作のための中間シーン表現として、ますます活用されるようになっている。しかし、現在の評価フレームワークは、固定されたベンチマークデータセットに大きく制約されており、雑多な小物、部分的な遮蔽、対象物へのアクセス制限など、操作に関連するコーナーケースを十分に網羅できていない。最近のオープンボキャブラリおよび物体中心のシーン表現手法（OpenScene、OpenMask3D、ConceptGraphs、BBQ など）は表現力を向上させたものの、その評価は閉じたシーンコレクションによって制限されたままとなっている。さらに、標準的な評価は視覚依存の観測に依存することが多く、特定のカメラ軌道から関連する物体が遮蔽されているか、または同時に観測できない場合、物体数や物体間関係に関するシーングラフの完全性を頑健に評価することが困難である。

手法
著者らは、操作指向の評価に特化した合成屋内シーンを生成するための制御可能でプロンプト駆動型のパイプラインを導入した、元の OSMa-Bench の拡張である**OSMa-Bench++**を提案する。ワークフローは以下の 4 つの主要な段階で構成される。

1. プロンプト生成とフィルタリング: 大規模言語モデル（LLM）が、操作に関連する物体配置と関係を含む屋内シーンを記述する候補プロンプトの初期プールを生成する。これらのプロンプトは意味特徴空間に埋め込まれる。コサイン類似度を用いて、ほぼ重複するプロンプトを除去し、配置や相互作用シナリオの広範なカバレッジを確保するために多様な部分集合を選択する。
2. シーン合成と変換: 選択されたプロンプトを用いて、SceneSmithにより屋内環境を合成する。SceneSmith の出力は Drake シミュレーション形式であるため、これらのアセットを Habitat 互換形式に変換するための非自明な中間層を実装する。この適応には、意味的正規化、マテリアルとテクスチャの修復、シェーダーフォールバックポリシー、床の処理、ナビゲーション設定、制御された照明設定が含まれる。
3. データシーケンス生成: 変換されたシーンはHaDaGeジェネレーターによって処理され、元の OSMa-Bench のデータ生成プロセスを模倣して、カメラ軌道に沿った RGB-D 観測シーケンスを生成する。
4. 評価プロトコル: 生成されたシーケンスは、意味的マッピング手法（実験では特にConceptGraphsとBBQ）によって処理される。評価は以下の 2 つの指標で行われる。
   • セグメンテーション精度: 標準的なセグメンテーション指標。
   • プロンプトグラウンド VQA: 元のシーン生成プロンプトを補助的な意味仕様として用いる新しい評価コンポーネント。これにより、軌道依存の可視性に依存しない物体数や関係に関する質問の生成が可能となる。この「プロンプトグラウンド（PromptGT）」プロトコルは、標準的な視覚依存 VQA では通常不安定であるMeasurementsおよびRelationsカテゴリを特にターゲットとする。

主要な貢献

• 制御可能なベンチマーキングパイプライン: 本論文は、プロンプト生成による合成シーンを含むように OSMa-Bench を拡張する完全自動化パイプラインを導入し、特定の条件下（例：雑多さ、照明変化、小物）での意味表現のターゲットとしたストレステストを可能にする。
• プロンプトグラウンド評価: 生成プロンプトを質問応答の真実値ソースとして使用することは、重要な方法論的貢献である。これにより、シーングラフの完全性（特に物体数と空間関係）の評価を、カメラ軌道の可視性の制限から切り離すことができる。
• 適応層: 本論文は、SceneSmith（Drake）と Habitat ベースのシミュレーション間のギャップを埋めるために必要な技術的課題と解決策、アセット修復および意味的正規化を含む詳細を記述している。

実験結果
このフレームワークは、4 つの照明条件（Baseline、Camera Light、Dynamic Lights、Nominal Lights）下で、40 枚のシーン（24 枚は家具中心、16 枚は操作対象中心）のデータセットで評価された。

• セグメンテーション性能: 結果は、Camera Light条件が ConceptGraphs と BBQ 双方のセグメンテーション性能に最も顕著な劣化を引き起こすことを示している。Dynamic Lightingは軽微な影響しか与えず、いくつかの手法では平均精度（mAcc）がわずかに向上した。
• 手法比較: 2 つの手法は相補的な失敗モードを示した。BBQは、数が少なくても幾何学的に正確なマスクを生成し、頻度重み付き交差率（f-mIoU）は高かったが、シーングラフの完全性は低かった（物体をフィルタリングするため）。ConceptGraphsはより多くの物体を復元し、完全性は高かったが、マスクの精度は低かった。
• プロンプトグラウンド QA: 両手法とも、Measurements と Relations に関するプロンプトグラウンド質問で 30% 未満のスコアであり、タスクの難しさを浮き彫りにした。しかし、明確な堅牢性プロファイルが現れた。
  • BBQは、Relations および Manipuland サブセットにおいて概して ConceptGraphs よりも優れていたが、Dynamic Lighting 下では顕著な性能低下をきたした。これは、BBQ が単一画像から物体ごとの埋め込みを生成する戦略を採用しており、不利なフレーム条件に対して敏感であることに起因する。
  • ConceptGraphsは複数のビューにわたって証拠を集約し、Dynamic Lighting 下で埋め込みを安定させ、特に Furniture カテゴリにおいてその条件下で改善を示した。
• 標準対プロンプトグラウンド: 本研究は、標準的な画像由来の VQA が、同じカテゴリにおいてプロンプトグラウンド QA よりも高い精度スコアをもたらすことを発見した。これは、標準的な指標が、可視物体のみが照会される軌道依存のバイアスによって過大評価されている可能性を示唆している。

重要性
本論文は、OSMa-Bench++ が合成シーン生成を操作指向評価のための実用的なツールへと変容させることを主張している。その主な重要性は以下の 2 点にある。

1. 拡張性: 固定データセットを超えて、研究者が現実世界の固定ベンチマークでは得がたい多様で困難な評価シナリオ（例：特定の雑多さレベルや照明条件）を生成することを可能にする。
2. 評価の安定性: プロンプトグラウンドプロトコルは、物体数と物体間関係に関するシーングラフの完全性を評価するためのより安定したメカニズムを提供し、標準的な視覚依存評価が意図された完全なシーン構造を捉えられないという重要なギャップを埋める。

著者らは、BBQ と ConceptGraphs が照明変化やシーン構成に対して異なる反応を示したことに鑑みて、このフレームワークが、グラフレベルの意味的完全性とセグメンテーションの堅牢性が、表現の質の相補的な側面をどのように捉えているかを効果的に浮き彫りにしていると結論づけている。