Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data

技術概要：Trinity：未構造化屋外環境におけるクラス非依存の地形セマンティックセグメンテーションの統合

問題定義
未構造化屋外環境で動作する移動ロボットは、ナビゲーション、状態推定、ミッション計画のために堅牢な地形理解を必要とする。既存のビジョンベースのアプローチは、主に以下の 2 つの制限に直面している：

1. 通過性推定: 現在の手法は、多くの場合、ロボット固有のアノテーションやセマンティッククラスのマッピングに依存している。これにより、ロボットの能力が変化した場合や新しい環境に展開された際に、モデルの再学習または再アノテーションが必要となる依存関係が生まれる。これは、転移可能性とスケーラビリティを制限する。
2. セマンティックセグメンテーション: 標準的な手法は、事前に定義されたセマンティッククラス（例：「道路」、「建物」）に焦点を当てている。しかし、屋外の地形は、不規則な領域、漸移的な遷移、視覚的な類似性を示すことが多く、固定された分類体系では不十分である。さらに、地形の通過性（例：土や草）は文脈に依存し、環境条件や特定のロボットプラットフォームによって変動するため、普遍的に定義される絶対的なセマンティックラベルは困難である。

手法：Trinity-Net
著者は、固定された地形分類体系に依存することなく、クラス固有（CS）のセマンティックセグメンテーションとクラス非依存（CA）の地形セグメンテーションを共同で実行するように設計された、統合されたトランスフォーマーベースのアーキテクチャであるTrinity-Netを提案する。

• アーキテクチャ: ネットワークは、特徴を抽出するために凍結された DINOv2 画像エンコーダを利用する。これらの特徴は、学習可能なクエリセット（$q_{CS}$ および$q_{CA}$）を使用して特徴空間を暗黙的に CS および CA コンポーネントに分割するSplit Transformerによって処理される。

  • 分割メカニズム: 更新されたクエリ埋め込みに対して補助損失を適用し、CS および CA 領域の分離を促進する。その後、クエリは拡張され、2 つの後続モジュールに渡される。CS-Transformer（木や岩など、ミッションに不可欠でプラットフォームに依存しないカテゴリを処理）とCA-Transformer（事前に定義されたラベルなしで視覚的に一貫した地面領域を処理）である。
  • クエリ集約: 現実世界の地形の変動性に対処するため、領域ごとに複数のクエリが使用される。出力は集約され、アップサンプリングされ、連結されて統合された予測テンソルを形成する。
  • マッチング: CA コンポーネントはクエリと領域の間の固定された整合性を強制しないため、交差エントロピー損失を適用する前に、予測された CA 領域をグランドトラスマスクに整合させるためにハンガリアンマッチャーが使用される。

• データ生成（RUGDSynth）: CA コンポーネントを訓練するために、著者はOAISYSシミュレータを拡張した。彼らは、4,500 の世界にわたる 42,000 以上のサンプルを含む大規模な合成データセットRUGDSynthを導入した。

  • 素材ベースのラベリング: 典型的なオブジェクトベースのシミュレータとは異なり、OAISYS は素材ベースのセマンティクスを使用し、クラス非依存の学習に不可欠な多様な地面テクスチャ（例：砂、泥、砂利）のシミュレーションを可能にする。
  • 拡張: シミュレータは、現実的なオブジェクトスポーンのための物理ベースの配置モジュール（MeshPhysicsScatter）と、地面テクスチャとスケールをランダム化して高い視覚的多様性を確保するためのカスタム素材モジュール（MaterialCSCATerrain）で拡張された。

• 評価指標: 予測領域の数が任意であるクラス非依存タスクでは標準的な交差率（IoU）が不十分であることを認識し、著者は**Residual Recall（resR）**を導入する。この指標は、すべての未マッチングの予測マスクを集約し、グランドトラウトと比較した予測領域の過剰分を定量化する。

主な貢献

1. Trinity-Net: ロボット非依存の地形表現をミッション関連のセマンティック予測から分離する統合アーキテクチャ。これにより、ロボット固有の経験と組み合わせ可能な視覚的地形事前知識の学習が可能になる。
2. RUGDSynth: 拡張された OAISYS シミュレータから派生した合成データセット。クラス非依存の地形サンプルとクラス固有のカテゴリを提供し、大規模な訓練を容易にする。
3. EXTerra データセット: 惑星探査アナログミッションサイトから収集された実世界データセット。クラス固有およびクラス非依存のラベルでアノテーションされており、ドメインシフト能力の評価に使用される。

結果
実験はRUGDベンチマークとEXTerraデータセットで行われた。

• クラス固有のパフォーマンス: RUGD データセットにおいて、Trinity-Net は比較対象のモデル（m1、CRLNet、SAM）の中で最高平均 IoU（51.80%）を達成し、フェンス、建物、車両などの特定のオブジェクトの識別において強力なパフォーマンスを示した。
• クラス非依存のパフォーマンス: Trinity-Net は、クラス非依存セグメンテーションにおいて Segment Anything Model（SAM）および他のベースラインを大幅に上回り、RUGD 上で平均 IoU 69.01% を達成した。定性的な結果は、SAM が前景の詳細を過剰セグメント化したり、曖昧な地形境界で苦労する傾向があるのに対し、Trinity-Net は地形領域を効果的に区別することを示している。
• 合成データの関連性: 合成データである RUGDSynth のみで訓練した場合、実世界の RUGD データのみで訓練した場合よりも優れた指標が得られ、合成データの価値の高さを示している。両方のデータセットを組み合わせることで最良のパフォーマンスが達成され、それらが互いに補完し合っていることが示唆された。
• ドメイン転送: 合成データおよび RUGD データで訓練されたモデルは、境界が視覚的に曖昧であっても、クラス非依存タスクにおいて SAM を上回る性能で、惑星探査コンテキストである EXTerra データセットに正常に転送された。

意義と主張
本論文は、Trinity-Net が固定された地形分類体系の硬直性を回避する、柔軟なシーン理解アプローチを提供すると主張している。ロボット非依存の視覚的事前知識を学習することにより、このシステムは、異なるロボットプラットフォームや環境に適応可能な、通過性推定、視覚オドメトリ、ミッション計画などの下流タスクの基盤として機能し得る。著者は、提案されたタスク定式化と、RUGDSynth および EXTerra データセットの公開が、未構造化屋外環境におけるさらなる研究を刺激し、将来のロボットシステムの自律性の向上に寄与すると位置づけている。この研究は、セマンティックラベルと通過性が文脈に依存する一方で、視覚的外観に基づくセグメンテーションは、安定した転移可能な表現を提供することを強調している。