기술 요약: UNIV – 적외선 및 가시광 모달리티를 위한 통합 기반 모델

1. 문제 제기

최근 기반 모델 (foundation models) 의 발전은 가시광 (RGB) 과 적외선 (IR) 영역 모두에서 단일 모달리티 작업에 있어 놀라운 성과를 거두었습니다. 그러나 이러한 모델을 모달리티 간에 적용할 때 여전히 상당한 "교차 영역 간극 (cross-domain gap)"이 존재합니다. 저자들은 그 근본 원인을 **패턴 단축 (pattern shortcut)**으로 지목했습니다. 단일 모달리티로 훈련된 모델들은 색상이나 밝기 (RGB 의 경우) 또는 열 강도 (IR 의 경우) 와 같은 피상적인 센서 고유의 단서보다는 근본적인 의미론적 구조에 의존하기보다는 이러한 단서에 의존하는 경향이 있기 때문입니다.

결과적으로, IR 로 훈련된 모델을 RGB 데이터에 적용하면 밝기 단서에 기반하여 주의를 잘못 집중시키는 경우가 많으며, 그 반대의 경우도 마찬가지입니다. 기존 접근법들은 두 모달리티 모두에 대해 의미론적으로 일관된 특징을 생성할 수 있는 통합 인코더가 부족하여, 다양한 지각 환경 (RGB 만, IR 만, 또는 결합된 RGB-IR 시나리오) 에서의 일반화 능력을 제한하고 있습니다.

2. 방법론

본 논문은 적외선과 가시광 모달리티 간의 간극을 해소하기 위해 설계된 통합 기반 모델인 UNIV를 제안합니다. UNIV 의 핵심은 **패치 교차 모달 대비 학습 (Patch Cross-modal Contrastive Learning, PCCL)**이라고 불리는 자기지도 학습 전략입니다.

2.1. 핵심 아키텍처

UNIV 는 학습 가능한 인코더 ($E_{train}$) 와 ImageNet 사전 훈련 모델 (특히 MCMAE) 에서 초기화된 고정된 사전 훈련 RGB 인코더 ($E_{frozen}$) 를 활용합니다.

• 입력: 짝을 이룬 가시광 RGB 이미지와 적외선 이미지.
• 특징 추출: 학습 가능한 인코더는 두 모달리티에 대한 특징 ($F^V$는 가시광, $F^I$는 적외선) 을 추출합니다.
• 목표: 동일한 의미 클래스의 특징이 모달리티 간에 서로 뭉치고, 서로 다른 클래스의 특징은 서로 멀어지는 통합 특징 공간을 학습하는 것입니다.

2.2. 주의 지향 패치 앵커 (Attention-Guided Patch Anchors)

정답 레이블 없이 학습을 안내하기 위해 UNIV 는 고정된 RGB 인코더 ($E_{frozen}$) 에 인코딩된 의미론적 사전 지식을 활용합니다.

• 의사 레이블 생성: 가시광 모달리티에 적용된 $E_{frozen}$의 최후층 주의 맵 (attention map) 을 사용하여 이미지 패치 간의 의미론적 유사성을 결정합니다.
• 이진 마스크화: 이 주의 맵은 세 가지 규칙을 사용하여 이진 의사 레이블 행렬 ($M^A$) 로 변환됩니다.
  1. 자기 유사성: 대각선 요소는 1 로 설정됩니다.
  2. 상관관계 선택: 각 패치에 대해 주의 점수에 기반하여 가장 상관관계가 높은 상위 $m$개의 패치가 누적 임계값 $\gamma$에 도달할 때까지 양 (1) 으로 표시됩니다.
  3. 비유사성 억제: 나머지 모든 항목은 0 으로 설정됩니다.
• 앵커: 고정된 인코더의 특징은 학습 가능한 인코더의 출력이 정렬되는 의미론적 앵커 ($F^A$) 역할을 합니다.

2.3. 패치 교차 모달 대비 학습 (PCCL)

최적화 전략은 $M^A$로 정의된 의미론적 앵커와 학습 가능한 인코더의 표현을 정렬합니다.

• 목적: 모델은 모달리티 간에 부정적 쌍 (서로 다른 클래스) 간의 비유사성을 최소화하고 긍정적 쌍 (동일한 클래스) 간의 유사성을 최대화합니다.
• 손실 함수: 저자들은 학습 가능한 특징에서 유도된 유사성 행렬의 시그모이드와 의사 레이블 행렬 $M^A$ 간의 이진 교차 엔트로피 (BCE) 손실로 손실을 공식화합니다.
  • $L_{IA}$: 적외선 특징을 앵커에 정렬합니다.
  • $L_{VA}$: 가시광 특징을 앵커에 정렬합니다 (RGB 성능의 파국적 망각을 방지하기 위함).
  • 총 손실: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• 메커니즘: 이 과정은 모달리티 간에 의미론적으로 관련된 패치들을 서로 끌어당기고 관련 없는 것들을 밀어내어, 센서 고유의 패턴보다 의미론적 구조를 우선시하는 통합 특징 공간을 효과적으로 재구성합니다.

2.4. MVIP 데이터셋

이러한 교차 모달 학습을 지원하기 위해 저자들은 **MVIP(다중 장면 가시광 - 적외선 쌍)**을 소개했습니다. 이는 98,992 개의 정밀하게 정렬된 이미지 쌍을 포함하는 포괄적인 벤치마크입니다.

• 출처: FLIR-Align, KAIST, DroneVehicle, LLVIP, LasHeR 등 다섯 개의 공개 데이터셋에서 선별되었습니다.
• 범위: 도시 주행, 감시, 항공 드론 뷰를 포함한 다양한 시나리오를 다루며, 주간 및 야간 조건 모두를 포괄합니다.

3. 주요 기여

1. 패치 교차 모달 대비 학습 (PCCL): 주의 지향 의사 레이블을 사용하여 교차 모달 특징 간극을 적응적으로 줄이면서 클래스 간 판별력을 향상시키는 자기지도 학습 방법.
2. MVIP 데이터셋: 약 10 만 개의 정렬된 쌍을 제공하여 견고한 교차 모달 연구의 토대를 마련한 현재까지 가장 큰 가시광 - 적외선 벤치마크.
3. 최고 수준의 성능: UNIV 는 IR 작업에서 우수한 성과를 거두면서 RGB 작업에서도 경쟁력 있는 정확도를 유지합니다.

4. 실험 결과

의미론적 분할 및 객체 탐지 작업에 대해 광범위한 실험이 수행되었습니다.

4.1. 적외선 의미론적 분할 (MSRS-IR)

• 성능: UNIV(LoRA 변형) 는 76.0 mIoU를 달성하여 이전 최고 수준 (InfMAE) 보다 +1.7 mIoU를 상회했습니다.
• 효율성: 이 개선은 LoRA 를 통해 총 88.7M 파라미터 중 약 2% 인 1.8M 파라미터만 업데이트하여 달성되었습니다.
• 전체 사전 훈련: 전체 파라미터 변형은 76.6 mIoU에 도달했습니다.

4.2. 적외선 객체 탐지 (M3FD-IR)

• 성능: UNIV(LoRA) 는 56.9 mAP와 88.7 AP50을 달성하여 InfMAE 보다 +0.7 mAP 더 높은 성능을 보였습니다.
• 관찰: 저자들은 전체 파라미터 사전 훈련이 LoRA 에 비해 탐지 결과가 약간 최적화되지 않았음을 지적하며, 이는 개별 패치 내의 의미론적 풍부함을 희생하면서 패치 유사성을 과도하게 최적화한 결과라고 설명합니다. 이는 탐지에 매우 중요합니다.

4.3. RGB 하류 작업

• RGB 성능 유지: UNIV 는 MSRS-RGB 에서 79.0 mIoU(베이스라인과 일치) 를 달성하고 ADE20K 에서 51.2 mIoU(원래 MCMAE 기능의 99% 유지) 를 기록하여 RGB 작업에서 경쟁력 있는 성능을 유지했습니다.
• 의미: 이는 UNIV 가 "모달리티 붕괴"를 유발하거나 원래 RGB 능력을 파국적으로 망각하지 않고 통합된 공간을 성공적으로 구축했음을 보여줍니다.

4.4. 특징 공간 분석

• 정렬: 지구 이동 거리 (EMD) 분석은 UNIV 가 교차 모달 정렬을 크게 개선했음을 보여주었으며, 동일 카테고리 특징이 서로 다른 카테고리 특징보다 더 가깝게 뭉치는 것을 확인했습니다.
• 분리 가능성: t-SNE 시각화는 UNIV 가 MCMAE 나 InfMAE 와 같은 단일 모달리티 모델보다 더 나은 클래스 간 분리 가능성을 달성함을 확인시켜 주었습니다.

5. 중요성 및 주장

본 논문은 UNIV 가 통합된 교차 모달 의미론적 특징 공간을 구축하기 위한 범용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 그 주요 중요성은 피상적인 센서 단서에 의존하여 모달리티 간에 일반화하지 못하는 "패턴 단축" 문제를 해결하는 데 있습니다.

PCCL 을 통합함으로써 UNIV 는 다음을 달성하는 효과적인 통합 의미론적 특징 공간을 재구성합니다.

1. 견고한 교차 모달 정렬: 센서 모달리티에 관계없이 동일한 의미 객체에 대한 일관된 특징 표현 보장.
2. 강력한 클래스 간 의미론적 분리 가능성: 서로 다른 객체 클래스를 구분하는 모델의 능력 향상.

저자들은 이 접근법이 가시광 작업에서의 원래 능력을 희생하지 않으면서 (LoRA 를 통한) IR 작업에 대한 효율적인 적응을 가능하게 하여, 다양한 기상 및 조명 조건에서 견고한 지각 시스템을 배포하기 위한 실용적인 경로를 제공한다고 강조합니다. 또한 MVIP 데이터셋의 도입은 이 분야의 향후 연구를 위한 중요한 자원으로 부각되었습니다.