Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data

기술 요약: Trinity: 비정형 야외 환경을 위한 클래스 무관 지형 및 의미론적 분할의 통합

문제 제기
비정형 야외 환경에서 작동하는 이동 로봇은 항법, 상태 추정, 임무 계획에 견고한 지형 이해가 필요합니다. 기존 비전 기반 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 통과성 추정: 현재 방법들은 종종 로봇 특화 주석이나 의미론적 클래스 매핑에 의존합니다. 이로 인해 로봇의 능력이 변경되거나 새로운 환경에 배포될 때 모델을 재학습하거나 재주석해야 하는 의존성이 발생하여, 전이성과 확장성이 제한됩니다.
2. 의미론적 분할: 표준 방법들은 사전 정의된 의미론적 클래스 (예: "도로", "건물") 에 초점을 맞춥니다. 그러나 야외 지형은 불규칙한 영역, 점진적인 전환, 시각적 유사성을 자주 보여주어 고정된 분류 체계로는 부족합니다. furthermore, 지형의 통과성 (예: 흙이나 잔디) 은 환경 조건과 특정 로봇 플랫폼에 따라 달라지는 맥락 의존적 특성을 가지므로, 절대적인 의미론적 라벨을 보편적으로 정의하기 어렵습니다.

방법론: Trinity-Net
저자들은 고정된 지형 분류 체계에 의존하지 않고 클래스 특정 (CS) 의미론적 분할과 클래스 무관 (CA) 지형 분할을 공동으로 수행하도록 설계된 통합 트랜스포머 기반 아키텍처인 Trinity-Net을 제안합니다.

• 아키텍처: 네트워크는 특징을 추출하기 위해 고정된 DINOv2 이미지 인코더를 활용합니다. 이러한 특징은 학습 가능한 쿼리 세트 ($q_{CS}$ 및 $q_{CA}$) 를 사용하여 특징 공간을 암시적으로 CS 및 CA 구성 요소로 분리하는 Split Transformer에 의해 처리됩니다.

  • 분할 메커니즘: CS 및 CA 영역의 분리를 장려하기 위해 업데이트된 쿼리 임베딩에 보조 손실 (auxiliary loss) 이 적용됩니다. 그런 다음 쿼리가 확장되어 두 개의 후속 모듈로 전달됩니다: CS-Transformer(나무나 바위와 같은 임무에 중요하고 플랫폼과 무관한 범주를 처리) 와 CA-Transformer(사전 정의된 라벨 없이 시각적으로 일관된 지면 영역을 처리).
  • 쿼리 집계: 실제 세계 지형의 변이성을 처리하기 위해 영역당 여러 쿼리가 사용됩니다. 출력들은 집계되고, 업샘플링되며, 연결되어 통합된 예측 텐서를 형성합니다.
  • 매칭: CA 구성 요소는 쿼리와 영역 간의 고정된 정렬을 강제하지 않으므로, 교차 엔트로피 손실을 적용하기 전에 예측된 CA 영역을 실제 지상 마스크 (ground-truth masks) 와 정렬하기 위해 헝가리안 매처 (Hungarian matcher) 가 사용됩니다.

• 데이터 생성 (RUGDSynth): CA 구성 요소를 학습하기 위해 저자들은 OAISYS 시뮬레이터를 확장했습니다. 그들은 4,500 개의 세계에 걸쳐 42,000 개 이상의 샘플을 포함하는 대규모 합성 데이터셋인 RUGDSynth를 도입했습니다.

  • 재료 기반 라벨링: 일반적인 객체 기반 시뮬레이터와 달리 OAISYS 는 재료 기반 의미론을 사용하여 클래스 무관 학습에 필수적인 다양한 지면 질감 (예: 모래, 진흙, 자갈) 의 시뮬레이션을 가능하게 합니다.
  • 강화: 시뮬레이터는 현실적인 객체 생성을 위한 물리 기반 배치 모듈 (MeshPhysicsScatter) 과 지면 질감 및 크기를 무작위화하여 높은 시각적 다양성을 보장하는 커스텀 재료 모듈 (MaterialCSCATerrain) 로 확장되었습니다.

• 평가 지표: 예측 영역의 수가 임의인 클래스 무관 작업에서는 표준 교차율 (Intersection over Union, IoU) 이 부족하다는 점을 인식하여, 저자들은 **잔여 재현율 (Residual Recall, resR)**을 도입했습니다. 이 지표는 실제 지상 대비 예측 영역의 과잉을 정량화하기 위해 모든 매칭되지 않은 예측 마스크를 집계합니다.

주요 기여

1. Trinity-Net: 로봇 무관 지형 표현과 임무 관련 의미론적 예측을 분리하여 로봇 특화 경험과 결합할 수 있는 시각적 지형 사전 지식을 학습할 수 있게 하는 통합 아키텍처.
2. RUGDSynth: 확장된 OAISYS 시뮬레이터에서 파생된 합성 데이터셋으로, 대규모 학습을 촉진하기 위해 클래스 무관 지형 샘플과 클래스 특정 범주를 제공합니다.
3. EXTerra 데이터셋: 행성 탐사 유사 임무 현장에서 수집된 실제 세계 데이터셋으로, 클래스 특정 및 클래스 무관 라벨이 모두 주석되어 있으며 도메인 전이 능력을 평가하는 데 사용됩니다.

결과
실험은 RUGD 벤치마크와 EXTerra 데이터셋에서 수행되었습니다.

• 클래스 특정 성능: RUGD 데이터셋에서 Trinity-Net 은 비교된 모델들 (m1, CRLNet, SAM) 중 가장 높은 평균 IoU(51.80%) 를 달성하여 울타리, 건물, 차량과 같은 특정 객체를 식별하는 데 강력한 성능을 입증했습니다.
• 클래스 무관 성능: Trinity-Net 은 클래스 무관 분할에서 Segment Anything Model(SAM) 과 기타 베이스라인을 크게 능가하여 RUGD 에서 평균 IoU 69.01% 를 달성했습니다. 정성적 결과는 SAM 이 전경 세부 사항을 과도하게 분할하거나 흐릿한 지형 경계에서 어려움을 겪는 반면, Trinity-Net 은 지형 영역을 효과적으로 구분함을 보여줍니다.
• 합성 데이터 관련성: RUGDSynth 만으로 학습한 경우 실제 RUGD 데이터만으로 학습한 경우보다 더 나은 지표를 보여주어 합성 데이터의 높은 가치를 나타냈습니다. 두 데이터셋을 결합했을 때 가장 좋은 성능이 달성되어 상호 보완적임을 시사합니다.
• 도메인 전이: 합성 데이터와 RUGD 데이터로 학습된 모델은 행성 탐사 컨텍스트인 EXTerra 데이터셋으로 성공적으로 전이되었으며, 경계가 시각적으로 모호할 때도 클래스 무관 작업에서 SAM 보다 우수한 성능을 발휘했습니다.

의의 및 주장
본 논문은 Trinity-Net 이 고정된 지형 분류 체계의 경직성을 피하는 유연한 장면 이해 접근법을 제공한다고 주장합니다. 로봇 무관 시각적 사전 지식을 학습함으로써, 이 시스템은 다양한 로봇 플랫폼과 환경에 적응할 수 있는 통과성 추정, 시각적 오도메트리, 임무 계획과 같은 하류 작업의 기반이 될 수 있습니다. 저자들은 제안된 작업 형식과 RUGDSynth 및 EXTerra 데이터셋의 공개가 비정형 야외 환경에 대한 추가 연구를 자극하고 미래 로봇 시스템의 자율성 발전에 기여할 것이라고 주장합니다. 이 연구는 의미론적 라벨과 통과성이 맥락 의존적이지만, 시각적 외관 기반 분할은 안정적이고 전이 가능한 표현을 제공한다는 점을 강조합니다.