OmniUnet: A Multimodal Network for Unstructured Terrain Segmentation on Planetary Rovers Using RGB, Depth, and Thermal Imagery

논문 요약: OmniUnet (다중 모달 지형 분할을 위한 변환기 기반 신경망)

1. 문제 제기 (Problem)

• 배경: 화성 탐사와 같은 행성 탐사 임무에서 로버의 자율 항법은 예측 불가능한 비구조적 환경 (불규칙한 지형, 경사진 경사면, 느슨한 토양 등) 에서 안전을 보장해야 합니다.
• 도전 과제:
  • 기존 단일 센서 (RGB 또는 스테레오 비전) 는 저조도, 강한 눈부심, 또는 토양 유형 식별의 어려움으로 인해 한계가 있습니다.
  • 열적 특성 (Thermal inertia) 은 토양 유형 (모래 vs 다짐된 흙) 을 구별하는 데 유용하지만, 이를 RGB 및 깊이 정보와 통합하여 처리할 수 있는 전용 머신러닝 아키텍처가 부족합니다.
  • 기존 멀티모달 데이터셋은 라벨링된 분할 마스크가 없거나, 임베디드 로봇 플랫폼에서 효율적으로 실행되도록 최적화되지 않은 경우가 많습니다.

2. 방법론 (Methodology)

A. OmniUnet 아키텍처

• 기본 구조: 변환기 (Transformer) 기반의 인코더 - 디코더 구조로, Omnivore 백본 (Swin Transformer 기반) 과 U-Net 디코딩 전략을 결합했습니다.
• 입력: RGB, 깊이 (Depth), 열화상 (Thermal) 의 5 채널 (RGB-D-T) 이미지를 통합 입력받습니다.
• 핵심 메커니즘:
  • 토크나이저 (Tokenizer): 다양한 모달리티의 이미지를 패치 임베딩으로 변환하여 통합합니다.
  • Swin Transformer: 시프트 윈도우 (Shifted Window) 어텐션 메커니즘을 사용하여 국소적 컨텍스트와 전역적 정보 흐름을 모두 포착하며, 이질적인 데이터 간의 상관관계를 학습합니다.
  • 디코딩: 업샘플링된 출력과 특징 맵을 융합하고, 3x3 컨볼루션 및 GELU 활성화 함수를 거쳐 최종 분할 마스크를 생성합니다.
• 유연성: 추가 모달리티가 필요할 경우 확장 가능하며, RGB-only 입력 (RUGD 데이터셋) 으로도 훈련 및 테스트가 가능합니다.

B. 훈련 전략

• 손실 함수: 교차 엔트로피 손실 (Cross-entropy loss) 과 소렌슨 - 디계수 (Sørensen-Dice coefficient) 손실을 결합한 복합 손실 함수를 사용하여 정밀도 (Precision) 와 재현율 (Recall) 의 균형을 맞췄습니다.
• 데이터셋:
  • BASEPROD (신규): 스페인 바르데나스 (Bardenas) 반사막에서 MaRTA 로버를 통해 수집한 RGB-D-T 데이터. 36,000 장의 이미지 중 950 장을 수동으로 라벨링 (8 개 지형 클래스: 공백, 다짐, 기저암, 모래, 자갈, 암석, 관목, 잔디).
  • RUGD: 기존 RGB 데이터셋을 사용하여 모델의 일반화 능력을 검증.

C. 하드웨어 및 센서 구성

• 센서 하우징: 3D 프린팅으로 제작된 맞춤형 하우징을 사용하여 Realsense D435i (스테레오/RGB) 와 Optris PI-640i (열화상) 카메라를 MaRTA 로버에 통합했습니다.
• 플랫폼: 훈련은 NVIDIA DGX Station (Tesla V100) 에서 수행되었으며, 추론은 자원 제약이 있는 Jetson Orin Nano에서 테스트되었습니다.

3. 주요 기여 (Key Contributions)

1. OmniUnet 모델 개발: RGB, 깊이, 열화상을 통합하여 비구조적 지형을 분할하는 최초의 변환기 기반 멀티모달 신경망 아키텍처 제안.
2. 새로운 데이터셋 및 라벨링: 화성 표면과 유사한 바르데나스 반사막 환경에서 수집된 BASEPROD 멀티모달 데이터셋과 이에 대한 수동 라벨링된 분할 마스크 공개 (Zenodo).
3. 오픈 소스 소프트웨어: 훈련 및 배포를 위한 전체 소프트웨어 코드를 GitHub 에 공개하여 재현성 확보.
4. 임베디드 검증: 고사양 GPU 가 아닌 저전력 임베디드 플랫폼 (Jetson Orin Nano) 에서 실시간 추론이 가능함을 입증.

4. 실험 결과 (Results)

• 정량적 평가:
  • BASEPROD (다중 모달): 전체 픽셀 정확도 (Pixel Accuracy) 80.37%, 평균 IoU 38.77%.
    • 안전한 주행이 가능한 '다짐된 지형 (Compact)' 인식 정확도: 77.44%.
    • '자갈 (Gravel)' 인식 정확도: 51.83%.
    • 열적 특성이 뚜렷한 모래와 다짐된 지형의 구별에서 높은 성능 발휘.
  • RUGD (RGB 단일): 전체 픽셀 정확도 92.58%. (모델의 일반화 능력 입증)
• 정성적 평가:
  • 열적 관성 (Thermal inertia) 차이를 활용하여 모래와 암반/다짐된 지형의 경계를 명확히 구분.
  • 일부 경우 지상 진실 (Ground Truth) 라벨링보다 지형 간 과도 구역 (Transition zones) 식별이 더 우수함.
• 성능 (추론 속도):
  • Jetson Orin Nano: 이미지당 평균 673ms (실시간 적용 가능 수준).
  • RTX 2070: 이미지당 평균 137.50ms.

5. 의의 및 결론 (Significance)

• 행성 탐사 적용 가능성: 화성과 같은 저기압 환경에서는 토양 유형 간의 열적 대비가 더 뚜렷하므로, OmniUnet 의 열화상 통합 접근법은 지상 실험보다 더 높은 성능을 발휘할 것으로 기대됨.
• 자율 항법 향상: 복잡한 비구조적 환경에서 장애물 (관목, 암석) 과 주행 가능 지형을 실시간으로 식별하여 로버의 안전성을 크게 향상.
• 미래 연구 방향: 시각적으로 유사한 지형과 장애물 구분 정확도 향상, 저조도 조건에 최적화된 센서 하우징 설계, 그리고 전용 장애물 탐지 모듈 통합 등을 통해 더욱 견고한 멀티모달 지각 시스템 개발이 필요함.

이 논문은 멀티모달 센서 퓨전과 최신 트랜스포머 아키텍처를 결합하여 행성 탐사 로버의 자율 주행 및 지형 인식 능력을 획기적으로 개선한 중요한 연구로 평가됩니다.