기술 요약: 원격 탐사 모달리티 결손 분류를 위한 효율적인 Mixture-of-Experts 재고찰

1. 문제 정의

다중 모달 원격 탐사 분류는 견고한 지구 관측을 달성하기 위해 상호 보완적인 데이터 소스(예: 광학, SAR, 초분광, LiDAR)에 의존한다. 그러나 실제 시나리오에서는 센서 고장, 대기 간섭 또는 예산 제약으로 인해 모달리티 결손(missing modalities) 현상이 빈번하게 발생한다. 이러한 불완전성은 완전한 모달리티 가용성을 가정하고 훈련된 기존의 다중 모달 모델에서 심각한 성능 저하를 초래한다.

기존의 솔루션들은 일반적으로 2단계 패러다임을 따른다. 즉, 완전한 데이터로 모델을 훈련시킨 후 추가적인 모듈이나 재학습을 통해 결손 시나리오에 적응시키는 방식이다. 이 접근법은 두 가지 주요 한계점을 갖는다:

1. 연산 오버헤드: 여러 가지 모달리티 결손 패턴에 대해 반복적으로 재학습하거나 적응시키는 것은 비효율적이다.
2. 일반화 격차(Generalization Gap): 완전한 데이터로 훈련된 모델은 실제 관측의 본질적인 불완전성을 고려하지 못하므로, 보지 못한 모달리티 결손 조건에 대응하는 능력이 제한된다.

프롬프트 기반의 매개변수 효율적 미세 조정(PEFT)이 경량화된 대안을 제공하기도 하지만, 모달리티 수가 증가함에 따라 구성 설정이 기하급로 증가하여 확장성을 저해하는 경우가 많다.

2. 방법론: MaMOL

저자들은 **MaMOL(Missing-aware Mixture-of-LoRAs)**을 제안한다. 이는 결손 모달리티 학습을 **조건부 연산 문제(conditional computation problem)**로 재정의하는 매개변수 효율적 프레임워크이다. MaMOL은 결손 모달리티를 데이터 재구성 작업으로 취급하는 대신, 가용한 입력에 따라 연산 경로를 동적으로 선택하는 Mixture-of-Experts(MoE) 구조를 활용한다.

핵심 아키텍처

MaMOL은 프리트레인된(pretrained) Vision Transformer(ViT) 백본을 기반으로 구축된다. 이 모델은 피드포워드 레이어에 저차원 적응(LoRA) 전문가를 주입하며, 변환 과정을 세 가지 구조적 구성 요소로 분해한다:
$$f(z, m) = f_{shr}(z) + f_{mod}(z, m) + f_{pat}(z, m)$$
여기서 $z$는 입력 표현(representation)이고 $m$은 모달리티 가용성 지표이다.

이 프레임워크는 두 가지 상호 보완적인 전문가 카테고리로 구성된 **이중 라우팅 메커니즘(dual-routing mechanism)**을 채택한다:

1. 정적 전문가 (Static Experts - 모달리티 불변 및 특정):

   • 공유 전문가 (Shared Expert): 모든 시나리오에서 공통적인 모달리티 불변 지식을 인코딩하기 위해 항상 활성화되어 글로벌 안정성을 보장한다.
   • 모달리티 특정 전문가 (Modality-Specific Experts): 해당 모달리티가 존재할 때만($\alpha_i = m_i$) 활성화된다. 이들은 모달리티 의존적 사전 지식을 보존하고 특정 센서가 사용 가능할 때 특징 정렬을 안정화한다.

2. 동적 전문가 (Dynamic Experts - 패턴 인식):

   • 다양한 **결손 패턴 구성(missing-pattern configurations)**에 적응적으로 특화되는 $K_d$개의 전문가 집합이다.
   • 라우팅 메커니즘: 표준 MoE와 달리, 라우터는 입력의 의미론적 내용($z$)과 결손 모달리티 구성($\psi(m)$)을 모두 명시적으로 포함한다. 이는 게이팅 함수를 통해 Top-$K$ 전문가를 선택한다:
     $$g = \text{TopK}(\text{softmax}(W \phi([z; \psi(m)])))$$
   • 이를 통해 모델은 재학습 없이도 특정 결손 패턴(예: "HS만 결손" vs "LiDAR만 결손")에 대한 구체적인 적응을 학습할 수 있다.

매개변수 효율성

LoRA(Low-Rank Adaptation)를 활용함으로써 MaMOL은 최소한의 학습 가능한 매개변수를 도입한다. 전문가들은 저차원 행렬($A \in \mathbb{R}^{r \times d}, B \in \mathbb{R}^{d \times r}$이며 $r \ll d$)로 분해되어, 단일 모델 구조 내에서 $2^M - 1$개의 가능한 모달리티 조합을 통합할 수 있게 한다.

3. 주요 기여

1. 문제의 재정의: 본 논문은 원격 탐사의 결손 모달리티 학습을 조건부 전문가 선택 문제로 재정의하였으며, 다양한 결손 모달리티 설정 하에서 MoE 패러다임에 대한 첫 번째 체계적인 연구를 제공한다.
2. MaMOL 프레임워크: 다중 결손 모달리티 시나리오를 통합하는 이중 라우팅 기반의 매개변수 효율적 MoE 프레임워크를 소개한다. 이는 모달리티 불변 공유 지식과 모달리티 인지적 동적 적응을 분리한다.
3. 실증적 검증: 광범한 실험을 통해 MaMOL이 다양한 결손 모달리티 시나리오에서 최소한의 연산 오버헤드로 성능과 일반화 능력을 크게 향상시킴을 입증하였다. 또한, 이 프레임워크가 자연 이미지 작업으로 확장 가능함을 보여줌으로써 교차 도메인 적용성을 검증하였다.

4. 실험 결과

저자들은 세 가지 공개 다중 모달 원격 탐사 데이터셋인 Houston2013 (HS + LiDAR), Trento (HS + LiDAR), Augsburg (HS + SAR)에서 MaMOL을 평가하였다.

• 성능: MaMOL은 모든 결손율(50%, 70%, 90%)과 결손 구성에서 기존의 최첨단 베이스라인(MMP, DCP 및 Moerep, Moeada, Moetask와 같은 다양한 MoE 변형 포함)을 일관되게 능가하였다.
  • Houston2013 데이터셋의 50% 결손율 조건에서, MaMOL은 98.40% OA(차점 모델 97.60% 대비)를 달성하였으며, 50% 훈련/100% 테스트 분할 시나리오에서도 88.00% OA를 기록하여 약 83-85%로 떨어진 베이스라인들을 크게 앞질렀다.
  • 모달리티 간 차이가 큰 Augsburg에서 MaMOL은 50% 결손율 조건에서 79.05% OA를 달성하여, 가장 우수한 베이스라인인 78.57%보다 명확한 우위를 보였다.
• 일반화: MM-IMDb 자연 이미지 데이터셋에 대한 전이 실험을 통해 MaMOL이 원격 탐사를 넘어 일반화될 수 있음을 확인하였으며, 모든 훈련/테스트 분할에서 가장 높은 F1-Macro 점수를 기록하였다.
• 절제 연구 (Ablation Studies):
  • **동적 전문가(Dynamic Experts)**를 제거했을 때 성능이 크게 하락하여, 결손 패턴에 적응하는 데 있어 이들의 역할을 확인하였다.
  • **정적 전문가(Static Experts)**를 제거하면 안정성이 감소하여, 불변 지식을 보존하는 데 있어 이들의 중요성이 드러났다.
  • 전문가를 마지막 6개의 트랜스포머 레이어에 배치했을 때 가장 좋은 결과를 얻었으며, 이는 동적 라우팅이 고수준의 교차 모달 상호작용을 모델링하는 데 가장 효과적임을 시사한다.

5. 의의 및 주장

본 논문은 MaMOL이 실제 세계의 다중 모달 불완전성에 대한 경량화되고 견고하며 확장 가능한 솔루션을 제공한다고 주장한다. 결손 모달리티를 데이터 재구성 문제가 아닌 조건부 연산 문제로 다룸으로써, 저자들은 다음을 입증하였다:

• MoE 구조는 별도의 재학습이나 기하급수적인 프롬프트 구성 없이도 다양한 모달리티 결손 시나리오에 본질적으로 적응할 수 있다.
• 공유 전문가와 동적 전문가의 분리는 특정 결론 패턴에 대한 유연성을 유지하면서도 안정적인 지식 전이를 가능하게 한다.
• 이 접근법은 확장 가능하며, 복잡한 다중 모달 조합(실험에서 최대 3개 모달리티)을 처리할 수 있고 자연 이미지 도메인으로 전이될 수 있다.

이 연구는 MaMOL을 결손 인지적(missing-aware)이고 일반화 가능한 다중 모달 학습 시스템을 구축하기 위한 단계로 자리매김하며, 센서 제약이 있는 원격 탐사 응용 분야의 근본적인 신뢰성 문제를 해결한다.