기술 요약: GOOSE 2D 미세 조정 의미론적 분할(Fine-Grained Semantic Segmentation) 챌린지 제출물

문제 정의

본 논문은 ICRA 2026 현장 로보틱스 워크숍을 위해 조직된 GOOSE 2D 미세 조정 의미론적 분할 챌린지를 다룹니다. 핵심 문제는 비정형 실외 환경에서의 의미론적 분할이며, 이는 도시 환경과 비교하여 독특한 어려움을 제시합니다. 이러한 과제는 다음과 같습니다:

• 미세 조정 식별(Fine-grained discrimination): 시각적으로 매우 유사한 수많은 지형 및 장애물 클래스(56개의 미세 클래스와 11개의 광범위한 카테고리)를 구분하는 것.
• 롱테일 분포(Long-tailed distributions): 일부 클래스는 풍부한 반면 다른 클래스는 심각하게 과소 표현되는 상당한 불균형.
• 교차 도메인 강건성(Cross-domain robustness): 다양한 환경, 기상 조건 및 로봇 플랫폼 전반에 걸친 일반화의 필요성.
• 데이터 부족(Data scarcity): 실외 장면에 대한 주석이 달린 데이터의 가용성이 역사적으로 발전을 저해해 왔음.

이 챌린지는 네 가지 서로 다른 카메라 설정을 통해 촬영된 13,000장 이상의 밀도 높게 주석이 달린 이미지로 구성된 통합 GOOSE 및 GOOSE-Ex 데이터셋을 활용합니다.

방법론

저자들의 접근 방식은 표준 베이스라인에서 더 정교한 아키텍처로 진화하였으며, 두 가지 주요 변수인 모델 아키텍처와 훈련 중 제공되는 공간적 문맥(spatial context)에 집중했습니다.

1. 아키텍처 전환: SegFormer에서 Mask2Former로

• 베이스라인 (SegFormer): 저자들은 처음에 Cityscapes로 사전 학습된 계층적 트랜스포머 인코더와 경량 MLP 디코더를 갖춘 SegFormer (B2 변체)를 활용했습니다. 이는 신속한 탐색을 위한 계산 효율적인 베이스라인 역할을 했습니다.
• 제안된 모델 (Mask2Former): 주요 아키텍처 변화는 Mask2Former (Cityscapes로 사전 학습된 Swin-L 백본 사용)로의 전환이었습니다. 이 모델은 분할을 쿼리 기반 마스크 분류(query-based mask classification) 문제로 취급합니다. 픽셀 단위 분류 대신, 마스크ed 어텐션을 통해 세그멘테이션 마스크와 의미론적 카테고리를 예측하기 위해 고정된 쿼리 집합을 사용합니다. 저자들은 이 방식이 객체의 범위, 형태 및 문맥을 활용하여 시각적으로 유사한 클래스를 모호성을 해소함으로써 미세 조정 작업에 더 우수하다고 가설을 세웠습니다.

2. 훈련 구성 및 공간적 문맥

• 크롭 크기 분석: 본 연구의 핵심 요소는 훈련 크롭 크기에 대한 경험적 분석이었습니다. 모델은 512 × 512 또는 1024 × 1024 픽셀 크기의 크롭으로 훈련되었습니다. 저자들은 더 큰 크롭이 시각적으로 유사한 카테고리를 구별하는 데 필요한 장면 수준의 문맥적 단서를 보존한다고 주장했습니다.
• 데이터 증강: 무작위 리스케일링, 수평 뒤집기, 컬러 지터링, 이미지 품질 섭동(가우시안 노이즈, 블러, 선명도)을 포함한 강력한 증강 파이프라인이 채택되었습니다.
• 테스트 시 증강 (TTA): 최종 제출물은 예측 강건성을 높이기 위해 세 가지 스케일링 인자(0.75, 1.0, 1.25)와 수평 뒤집기를 사용하는 TTA를 활용했습니다.
• 최적화: 모델은 50 에포크 동안 코사인 학습률 감쇠를 사용하는 AdamW를 사용하여 훈련되었습니다. SegFormer는 픽셀 단위 교차 엔트로피 손실을 사용한 반면, Mask2Former는 교차 엔트로피, 이진 교차 엔트로피 마스크 손실, 그리고 Dice 손실의 가중 결합을 사용했습니다.

주요 결과

저자들은 검증 세트(1,369장)에 대해 절제 연구(ablation study)를 수행하였고, 챌린지 테스트 세트에 대한 최종 결과를 보고하였습니다.

정량적 성능

• 크롭 크기의 영향: 훈련 크롭 크기를 512×512에서 1024×1024로 늘렸을 때 상당한 이득이 있었습니다. SegFormer의 경우 복합 mIoU($mIoU_{comp}$)가 58.4%에서 61.5%로 증가했습니다. Mask2Former의 경우 이 증가는 67.5%에서 73.4%로 뛰어오르며 더욱 두드러졌습니다.
• 아키텍처 비교: (512×512에서) SegFormer에서 Mask2Former로 전환함으로써 +9.1 포인트의 $mIoU_{comp}$ 상승을 가져왔습니다.
• 최종 제출물: Mask2Former, 대형 크롭 훈련, 그리고 TTA의 조합은 테스트 세트에서 최종 69.6%의 $mIoU_{comp}$를 달성하여 대회에서 5위를 차지했습니다.
  • Coarse mIoU: 76.6%
  • Fine mIoU: 62.7%

카테고리별 관찰

• 높은 성능: Terrain, Vegetation, Sky와 같은 빈번한 카테고리는 90% 이상의 IoU를 달성했습니다.
• 어려움: "Animal"(26.9%) 및 "Water"(58.8%)와 같이 과소 표현된 클래스는 여전히 어려운 과제로 남았습니다.
• 의미론적 모호성: "Vehicle"(92.6% IoU)과 "Object"(62.7% IoU) 사이에 주목할 만한 격차가 존재했습니다. 저자들은 "Object"의 낮은 성능을 그 이질적인 성격 때문으로 보았으며, 이로 인해 다른 카테고리와 모호한 경계를 생성한다고 설명했습니다.

정성적 결과

• 구조적 보존: Mask2Former는 고해상도 특징을 잃지 않는 픽셀 디코더 덕분에 SegFormer에 비해 가는 구조물(예: 기둥, 와이어)을 보존하는 능력이 우수함을 보여주었습니다.
• 일관성: Mask2Former는 SegFormer가 파편화된 결과를 생성했던 복잡한 형상(예: 트레일러)을 올바르게 분할하며 더 공간적으로 일관된 마스크를 생성했습니다.
• 문맥적 추론: 대형 크롭 훈련은 모델이 글로벌 문맥을 바탕으로 시각적으로 유사한 국소적 외형을 구별할 수 있게 했습니다. 예를 들어, 모델은 나무 줄기의 가시성과 차량으로부터의 거리를 분석함으로써 "전경의 나무(foreground trees)"와 "숲(forest, 개별 나무가 불분명한 곳)"을 구별할 수 있었습니다. 마찬가지로, 도로의 존재와 구조물의 전체적인 형상을 활용하여 흐릿한 벽을 헤지(hedge)가 아닌 벽으로 정확히 식별했습니다.

의의 및 주장

본 논문은 그 결과가 실외 환경에서의 미세 조정 의미론적 분할을 위한 강력한 베이스라인을 제공한다고 주장합니다. 연구의 의의는 다음과 같이 요약됩니다:

1. 쿼리 기반 접근 방식의 효과성: 본 연구는 쿼리 기반 마스크 분류(Mask2Former)가 기존의 조밀한 예측(dense prediction) 아키텍처(SegFormer)보다 미세 조정된 실외 장면 이해에 있어 유의미하게 우수함을 입증했습니다.
2. 공간적 문맥의 결정적 역할: 저자들은 (더 큰 크롭 크기를 통해) 훈련 중 공간적 문맥을 확장하는 것이 미세 조정된 모호성 해소에 필수적임을 강조합니다. 이를 통해 모델은 시각적으로 유사한 요소들을 서로 다른 의미론적 카테 カテゴ리로부터 분리하기 위해 장면 수준의 단서를 활용할 수 있습니다.
3. 재현성: 향후 연구를 촉진하기 위해 저자들은 코드와 가중치를 공개적으로 제공하여, 이 분야의 후속 연구를 위한 재현 가능한 토대를 마련했습니다.

결론적으로, 롱테일 및 모호한 클래스에 대한 과제는 남아 있으나, 쿼리 기반 아키텍처와 확장된 공간적 문맥의 결에는 실외 장면 이해를 위한 견고한 경로를 제시합니다.