기술 요약: 결손 모달리티 하의 멀티모달 분할을 위한 잠재 공간 기반 시나리오 샘플링

1. 문제 정의

원격 탐사에서의 멀티모달 시맨틱 분할은 광학, SAR, DSM 등 다양한 센서로부터의 상호 보완적 정보를 활용하여 토지 피복 매핑 및 환경 모니터링을 개선합니다. 그러나 실제 배포 환경에서는 센서 고장, 대기 간섭, 또는 데이터 획득 문제로 인해 모달리티가 결손되는 경우가 빈번합니다. 기존 방법들은 재구성, 모달리티 불변 특징 학습, 또는 강건한 학습 목적 함수를 통해 이를 해결하려 하지만, 중요한 한계가 존재합니다. 즉, 표준 학습 전략들은 일반적으로 균일 무작위 모달리티 드롭아웃을 사용합니다.

이러한 균일 샘플링은 모든 모달리티 가용성 시나리오를 동등하게 유익한 것으로 간주합니다. 저자들은 이 접근법이 최적이지 않다고 가정합니다. 서로 다른 결손 모달리티 패턴은 모델이 학습한 공유 잠재 표현을 서로 다른 정도로 교란시키기 때문입니다. 결과적으로 균일 드롭아웃으로 학습된 모델은 미세 조정 (fine-tuning) 단계에서 가장 어렵거나 유익한 시나리오를 적절히 우선시하지 못하여, 모달리티가 결손되었을 때의 강건성이 제한될 수 있습니다.

2. 방법론

본 논문은 균일 무작위 드롭아웃을 잠재 공간 기반 시나리오 샘플링 분포로 대체하는 새로운 미세 조정 전략을 제안합니다. 핵심 아이디어는 사전 학습된 멀티모달 분할 모델의 행동으로부터 직접 샘플링 확률을 도출하는 것입니다. 방법론은 크게 네 단계로 진행됩니다.

A. 시나리오 왜곡 정량화

저자들은 공유 및 모달리티별 구성 요소로 잠재 공간을 구조화하는 사전 학습된 모델 (구체적으로는 CBC-SLP 아키텍처이지만, 이 방법은 다른 모델에도 적용 가능함) 을 활용합니다.

1. 기준 상태: 주어진 입력에 대해, 완전한 모달리티 가용성 하의 공유 잠재 표현 ($\mathbf{z}_{sh, full}$) 을 기준으로 삼습니다.
2. 왜곡 측정: 각 가능한 모달리티 가용성 시나리오 $\mathbf{s}^{(k)}$에 대해, 모델은 공유 잠재 표현 $\mathbf{z}_{sh}(\mathbf{X}, \mathbf{s}^{(k)})$을 생성합니다. "공유 잠재 왜곡"은 해당 시나리오의 표현과 완전 모달리티 기준 간의 평균 제곱 유클리드 거리로 계산됩니다:
   $$d_{sh}^{(k)}(i) = \frac{1}{|\Omega_{sh}|} \|\mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{s}^{(k)}) - \mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{F}_M)\|_2^2$$
3. 원시 중요도: 학습 세트에 대한 평균 왜곡은 시나리오 $k$에 대한 원시 중요도 점수 $\eta^{(k)}$를 정의합니다. 높은 점수는 공유 잠재 공간에 더 큰 교란을 일으키는 시나리오를 나타냅니다.

B. 커널 기반 시나리오 결합

이러한 원시 점수를 정제하고 시나리오 간의 관계를 고려하기 위해, 저자들은 MaD-Mix 프레임워크에서 영감을 받은 정규화된 커널 스무딩 접근법을 사용합니다.

1. 커널 정의: 시나리오 간의 유사성을 포착하기 위해 시나리오 설명자 (원시 왜곡 점수) 위에 라디얼 기저 함수 (RBF) 커널을 정의합니다:
   $$\kappa(\eta^{(p)}, \eta^{(q)}) = \exp\left(-\frac{(\eta^{(p)} - \eta^{(q)})^2}{2\sigma^2}\right)$$
2. 정규화된 최적화: 목표는 원시 점수에 적합하면서도 유사한 시나리오에 걸쳐 매끄럽게 변하는 재현 커널 힐베르트 공간 (RKHS) 내의 정제된 점수 함수 $f$를 찾는 것입니다. 이는 RKHS 노름과 원시 점수에 대한 오차를 최소화하는 정규화된 목적 함수로 공식화됩니다.
3. 폐쇄형 해: 표현자 정리를 사용하여, 최적 점수 벡터 $\mathbf{r}$은 원시 중요도 벡터 $\mathbf{\nu}$에 적용된 스펙트럼 소프트 임계값 필터를 통해 유도됩니다:
   $$\mathbf{r} = \mathbf{K}(\mathbf{K} + \lambda\mathbf{I})^{-1}\mathbf{\nu}$$
   여기서 $\mathbf{K}$는 커널 행렬이고 $\lambda$는 정규화 계수입니다. 이를 통해 유사한 잠재 교란을 가진 시나리오가 유사한 점수를 받도록 하여 노이즈에 대한 민감도를 줄입니다.

C. 확률 분포 구성

정제된 점수는 미세 조정을 위한 샘플링 확률 분포 $p$로 변환됩니다:

1. 표준화: 점수는 표준화 (평균 0, 분산 1) 됩니다.
2. 온도 스케일링: 균일하지 않은 분포를 생성하기 위해 온도가 적용된 소프트맥스가 적용됩니다.
3. 볼록 결합: 모델이 희귀 시나리오를 무시하는 것을 방지하기 위해, 최종 분포는 학습된 소프트맥스 분포와 균일 분포의 혼합이며, 혼합 계수 $\gamma$에 의해 제어됩니다.

D. 학습 프로토콜

이 방법은 두 단계로 운영됩니다:

1. 사전 학습: 모델은 표준 균일 무작위 모달리티 드롭아웃을 사용하여 학습됩니다.
2. 미세 조정: 모델은 몇 개의 추가 에포크 동안 미세 조정됩니다. 이 단계에서 모달리티 가용성 마스크는 균일하게가 아니라 학습된 확률 분포 $p$에 따라 샘플링됩니다. 이는 더 높은 잠재 왜곡을 유발하는 시나리오로 학습을 편향시킵니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 학습 전략: 학습된 잠재 공간에서 직접 시나리오 가중치를 도출하여 균일 무작위 드롭아웃을 학습된 비균일 분포로 대체하는 멀티모달 시맨틱 분할 방법.
2. 잠재 왜곡 공식화: 공유 잠재 왜곡에 기반한 시나리오 중요도의 구체적 정의이며, 정규화된 커널 스무딩을 통해 샘플링 분포로 변환됩니다. 이 공식화는 잠재 설명자 공간에서 개별 시나리오의 심각성과 이들 간의 관계적 구조를 모두 포착합니다.
3. 포괄적 평가: 세 가지 원격 탐사 데이터셋 (DSTL, Potsdam, Hunan) 과 세 가지 다른 백본 (CBC-SLP, CBC, CMX) 을 사용한 광범위한 실험. 이 연구는 표준 미세 조정 및 LoRA 기반 적응보다 일관된 개선을 보여줍니다.

4. 실험 결과

제안된 전략은 다음에서 평가되었습니다:

• 데이터셋: DSTL (동질적 광학), Potsdam (이질적 RGB/IRRG/DSM), Hunan (이질적 MSI/SAR/DEM).
• 백본: CBC-SLP, CBC, CMX.
• 기준선: 미세 조정 없음, 무작위 드롭아웃을 통한 미세 조정, LoRA 적응을 통한 미세 조정.

주요 발견:

• 일관된 개선: 제안된 전략은 모든 데이터셋과 백본에서 표준 무작위 드롭아웃 미세 조정 및 LoRA 기반 적응을 모두 능가했습니다.
• 결손 모달리티에서의 강건성: 결손 모달리티가 있는 시나리오에서 상당한 향상이 관찰되었습니다. 예를 들어, Potsdam 데이터셋에서 CBC-SLP 를 사용할 때, RGB 만 존재하는 경우 무작위 드롭아웃 대비 IoU 가 0.9% 향상되었습니다.
• 완전 모달리티에서의 성능: 주목할 만한 점은 모든 모달리티가 사용 가능한 경우 성능이 저하되지 않았다는 것입니다. 오히려 종종 약간의 향상을 보였으며 (예: Hunan 데이터셋에서 완전 모달리티 조건 시 LoRA 대비 IoU 1.3% 향상), 이는 전략이 완전한 데이터 시나리오를 훼손하지 않으면서 일반적인 특징 학습을 강화함을 시사합니다.
• 일반화 가능성: 이 접근법은 서로 다른 아키텍처 설계 (공유 대 공유 - 특정 잠재 공간) 와 이질적 모달리티 조합에서 효과적이었으며, 잠재 공간 기반 가이드가 모델에 구애받지 않는 신호임을 나타냅니다.
• 정성적 분석: 시각적 비교 결과, 제안된 방법은 기준선 대비 결손 모달리티가 있는 어려운 시나리오 (예: DSM 또는 MSI 결손) 에서 더 정확한 경계를 생성하고 더 많은 대상 픽셀을 복원하는 것을 보여주었습니다.

5. 의의 및 주장

저자들은 그들의 연구가 사전 학습된 잠재 표현이 결손 모달리티 미세 조정 중 샘플링을 위한 효과적인 기반이 될 수 있음을 보여준다고 주장합니다.

논문은 다음과 같이 논증합니다:

• 균일 무작위 드롭아웃은 서로 다른 결손 모달리티 패턴이 모델의 내부 표현에 미치는 영향의 이질성을 고려하지 못합니다.
• 사전 학습된 잠재 구조를 직접 활용함으로써, 제안된 방법은 일반적인 파라미터 효율적 미세 조정 (LoRA 등) 이나 표준 균일 샘플링보다 더 유익하고 작업 관련성이 높은 가이드를 제공합니다.
• 이 전략은 특정 아키텍처에 국한되지 않으며, 모달리티가 사용 불가능할 때 멀티모달 분할의 미세 조정 성능을 개선하기 위한 일반적인 프레임워크를 제공합니다.

이 연구는 잠재 공간에서 시나리오 샘플링 분포를 학습함으로써 모델이 미세 조정 과정에서 가장 어렵고 유익한 구성에 더 효과적으로 집중할 수 있게 하여, 센서 데이터가 불완전할 수 있는 실제 원격 탐사 응용 분야에서 더 강건한 성능을 달성한다고 결론지었습니다.