UMSS: Towards Unsupervised Multi-modal Semantic Segmentation

기술 요약: UMSS – 비지도 다중 모달 의미론적 분할을 향하여

문제 정의
다중 모달 의미론적 분할(Multi-modal Semantic Segmentation, MSS)은 자율 주행 및 로보틱스와 같은 안전 필수 애플리케이션에서 이질적인 센서(예: RGB, Depth, Thermal)의 신호를 통합하여 단일 모달리티 RGB 인식의 한계를 극복하는 데 매우 중요합니다. 그러나 MSS의 발전은 픽셀 수준의 인간 주석(Annotation)에 따르는 막대한 비용으로 인해 정체되어 있습니다. 비지도 의미론적 분할(Unsupervised Semantic Segmentation, USS)은 자기 지도 학습 기반의 Vision Transformer(예: DINO 계열)를 사용하여 단일 RGB 모달리티에서는 성공을 거두었으나, 이러한 방법들을 다중 모달 데이터로 단순히 확장할 경우 심각한 성능 저하가 발생합니다.

식별된 핵심 과제는 명시적인 감독(Supervision)이 없는 상황에서의 **융합 저하(Fusion Degradation)**입니다. 기존 프레임워크는 서로 다른 센서에서 포착된 이질적인 구조적 패턴과 표현 편향(Representation Bias)을 조화시키는 데 어려움을 겪습니다. 두 모달리티 간의 불일치를 중재할 지상 참값(Ground-truth) 레이블이 없기 때문에, 서로 상충하는 신호(예: RGB는 질감 경계를 보여주지만 Depth는 미미한 변화만을 보여주는 경우)는 무질서한 잠재 공간(Latent Space)을 형성하여 클러스터링 품질을 저하시키고 효과적인 상호 보완적 정보 활용을 방해합니다.

방법론: UniM2 프레임워크
이러한 과제를 해결하기 위해 저자들은 완전한 레이블 프리(Label-free) 환경에서 통일된 잠재 공간을 학습하도록 설계된 DINOv3 아키텍처 기반의 UniM2(Unified Multi-Modal) 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 교차 모달 대응 시너지 (Cross-modal Correspondence Synergy, CMCS):
   경직된 특징 정렬이나 일방향 모방을 강제하는 대신, UniM2는 구조적 일관성에 의해 구동되는 통일된 잠재 공간을 학습합니다. 이 프레임워크는 통일된 임베딩 공간을 모든 구성 모달리티 전반에서 일관되게 지지되는 구조적 관계를 보존해야 하는 매개체로 취급합니다.

   • 메커니즘: 학습 쌍인 다중 모달 그룹에 대해, 모델은 고정된 백본으로부터 기본(RGB) 및 보조 모달리티의 조밀한 특징(Dense features)을 추출합니다. 이후 모달리티별 대응 텐서(특징 맵 간의 코사인 유사도)를 계산합니다. CMCS 손실은 융합된 분할 임베딩이 RGB와 보조 특징 모두의 구조적 상관관계와 동시에 정렬되도록 강제합니다. 이는 공유된 의미론적 매니폴드(Semantic Manifold)의 발견을 촉진하는 동시에 모달리티 특유의 노이즈를 억제합니다.

2. 교차 모달 조화기 (Cross-modal Harmonizer, CMH):
   물리적 센서 차이로 인해 발생하는 내재적 충돌(예: Depth 센서가 깊이 변화가 없어 커튼을 벽으로 인식하는 경우)을 완화하기 위해 저자들은 CMH를 도입했습니다.

   • 메커니즘: CMH는 RGB를 안정적인 기본 의미론적 참조점으로 지정합니다. 이는 보조 감독 신호를 공유 의미 공간으로부터 분리하는 가볍고 학습 가능한 변환 버퍼를 도입합니다. 모델은 공유 임베딩을 보조 신호와 직접 정렬하는 대신, 조화된(Harmonized) 버전의 임베딩을 정렬합니다. 이를 통해 모델은 보조 모달리티로부터 상호 보완적인 구조적 단서를 흡수하면서도, 픽셀 단위의 모순이나 신뢰할 수 없는 관계적 감독으로부터 기본 의미론적 매니폴드를 보호할 수 있습니다.

3. 모달리티 융합 및 확장성:
   프레임워크는 모달리티 특화 네트워크(MSN)로부터 정제된 특징을 통합하기 위해 학습 가능한 합성곱 융합(Convolutional Fusion) 모듈을 사용합니다. CMH의 모듈형 설계 덕분에, UniM2는 각 소스에 독립적인 CMH 브랜치를 할당함으로써 복잡한 균형 전략 없이도 $N$개의 보조 모달리티(예: RGB, NIR, DoLP, AoLP)로 원활하게 확장될 수 있습니다.

주요 기여

• 태스크 정의: 본 논문은 인간의 주석 없이 이질적인 모달리티를 활용하여 분할을 수행하는 방법론을 조사하며, 새로운 과제인 **비지도 다중 모달 의미론적 분할(UMSS)**을 공식적으로 정의합니다.
• UniM2 프레임워크: CMCS를 통해 공유 잠재 공간을 학습하고, CMH를 사용하여 정렬 강도를 조절함으로써 모달리티 간의 충돌을 효과적으로 해결하는 통합 프레임워크를 제안합니다.
• 성능 및 확장성: 기존의 융합 방식이 비지도 설정에서 보이는 전형적인 성능 저하를 상당한 성능 향상으로 전환함을 입증합니다. 또한, 프레임워크가 여러 보조 모달리티로 자연스럽게 확장됨을 보여줍니다.

실험 결과
저자들은 세 가지 벤치마크인 NYU-Depth-v2(실내 RGB-D), MFNet(도시 RGB-Thermal), MCubeS(4중 모달 재질 분할)에서 UniM2를 평가했습니다.

• NYU-Depth-v2: UniM2는 RGB 전용 STEGO 베이스라인(36.9%) 대비 mIoU를 6.4% 향상시켰습니다(28.8% vs 36.9%). 반면, 기존 USS 베이스라인(STEGO, EAGLE)에 Depth를 단순 융합했을 때는 성능이 3.5%에서 7.3%까지 하락했습니다.
• MFNet: UniM2는 RGB 전용 베이스라인 대비 **9.8%**의 절대 mIoU 이득을 달고 달성했습니다(35.9% vs 45.7%).
• MCubeS: 프레임워크는 정보가 풍부한 모달리티를 추가할 때(예: RGB + NIR + DoLP) 일관된 개선을 보였으며, 4중 모달 입력을 처리하는 확장성을 입증했습니다.
• 절제 연구(Ablation Studies): CMH가 충돌을 조화시키는 데 결정적임을 확인했습니다. CMH를 제거하거나 "No anchors" 설정을 사용할 경우 심각한 성능 저하가 발생했습니다. 또한 학습 가능한 Conv Fusion 모듈이 정적 융합 전략(Sum, Mean, Max)보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 UniM2가 전통적인 융합 체계의 일반적인 실패를 근본적으로 역전시킨다고 주장합니다. 교차 모달 대응 시너지를 본질적인 감독 신호로 확립하고, 교차 모달 조화기를 사용하여 구조적 모순을 관리함으로써, 프레임워크는 교차 모달 간의 간섭을 시너지 효과를 내는 개선으로 변모시킵니다. 저자들은 이 연구가 방대한 양의 정제되지 않은 다중 모달 데이터를 활용하기 위한 기초적인 단계이며, 단일 모달리티 비지도 학습의 한계와 지도 학습 기반 다중 모달 융합의 주석 의존성을 넘어선 확장 가능한 베이스라인을 제공한다고 강조합니다.