기술 요약: 멀티모달 학습에서의 누락된 양상에 대한 비지도 학습 (UL4M4)

1. 문제 정의

멀티모달 학습은 감성 분석 및 분류와 같은 작업을 강화하기 위해 다양한 데이터 소스(예: 텍스트, 오디오, 비전)로부터 보완적인 정보를 활용합니다. 그러나 실제 응용 분야에서는 센서 고장, 개인정보 보호 제한 또는 데이터 획득 제약으로 인해 **누락된 양상(missing modalities)**이 빈번하게 발생합니다. 모든 양상이 훈련과 추론 단계 모두에서 존재한다고 가정하는 기존의 멀티모달 모델들은 불완전한 데이터에 직면했을 때 심각한 성능 저하를 겪습니다.

기존의 솔루션들은 일반적으로 두 가지 범주로 나뉩니다:

1. 생성적 방법(Generative methods): 가용한 양상으로부터 누락된 양상을 재구성하려고 시도합니다 (예: 적대적 학습 또는 확산 모델을 통해).
2. 비생성적 방법(Non-generative methods): 공유된 표현을 학습하거나 융합 전략을 조정합니다 (예: Mixture-of-Experts, 검색 증강 학습).

이러한 진전에도 불구하고, 현재의 접근 방식들은 상당한 한계에 직면해 있습니다: 이들은 대개 고정된 수의 양상만을 지원하거나, 특정 누락 패턴(예: 단 하나의 양상만 누락된 경우)만을 다루며, 임퓨테이션(imputation, 결측치 보간) 메커니즘을 다운스트림 태스크와 밀접하게 결합하여 일반성을 제한하거나, 엄격한 누락 데이터 환경(예: 50% 이상의 슬롯이 누락된 경우)에서의 엄밀한 평가가 부족합니다.

2. 방법론: UL4M4 프레임워크

저자들은 누락된 특징 임베딩을 슈퍼바이즈드 예측 전에 보간하는 유연하고 태스크 독립적인 프레임워크인 UL4M4(Unsupervised Learning for Missing Modalities in Multi-Modal Learning)를 제안합니다. 이 프레임워크는 **동결된 사전 학습된 인코더(frozen pre-trained encoders)**를 사용하여 두 가지 별도의 단계로 작동하며, 이를 통해 임퓨테이션 모듈이 경량화되고 다운스트림 태스크로부터 분리되도록 보장합니다.

단계 1: 부분 양상 거리를 이용한 멀티모달 클러스터링

첫 번째 단계는 불완전한 관측치로부터 교차 모달 구조를 포착하기 위해 훈련 세트에 대해 비지도 클러스터링을 수행합니다.

• 양상별 정규화(Modality-Specific Normalization): 각 양상 $m$에 대해, 시스템은 가용한 임베딩에 대한 평균($\mu_m$)과 표준 편차($\sigma_m$)를 계산합니다. 특징은 z-score를 통해 정규화됩니다: $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$.
• 부분 양상 거리 메트릭(Partial-Modality Distance Metric): 서로 다른 양상 집합을 가진 샘플을 처리하기 위해 새로운 거리 메트릭이 도입되었습니다. 샘플 $i$와 클러스터 중심 $j$에 대하여, 거리 $d(i, j)$는 공유된 양상의 집합 $M_{i,j}$에 대해서만 계산됩니다:
  $$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$$
  여기서 $d_m$은 양상 $m$의 차원수입니다. 이 메트릭은 다양한 차원 간의 스케일 불변성을 보장하며, 더 많은 중첩된 양상을 가진 중심점으로 인한 편향을 방지합니다.
• 클러스터링 프로세스: K-means 클러스터링이 반복적으로 수행됩니다. 클러스터 중심은 초기화 샘플의 양상을 상속받습니다. 만약 중심에 특정 양상이 결여되어 있다면, 해당 양상은 해당 중심에 대해 정의되지 않은 상태로 남습니다.

단계 2: 반복적 탐욕적 완성(Iterative Greedy Completion)

클러스터 중심이 설정되면, 불완전한 샘플의 누락된 양상은 다음과 같은 반복적인 탐욕적 과정을 통해 보간됩니다:

1. 후보 생성(Candidate Generation): 샘ple $i$에 대하여, 샘플의 가용한 양상과 각 $k$개의 클러스터 중심으로부터 대응하는 양상을 결합하여 후보 완성을 생성합니다.
2. 반복적 선택(Iterative Selection): 각 반복 단계에서, 알고리즘은 남아 있는 모든 후보와 모든 클러스터 중심 사이의 부분 양상 거리를 계산합니다.
3. 임퓨테이션(Imputation): 최소 거리를 가진 후보-중심 쌍이 선택됩니다. 선택된 후보에 존재하는 누락된 양상이 타겟 샘플의 표현으로 복사됩니다.
4. 종료(Termination): 이 과정은 샘플이 모든 $K$개의 양상 임베딩을 보유할 때까지 반복됩니다. 모든 클러스터 중심의 합집합이 훈련 데이터에 존재하는 모든 양상을 공동으로 커버하기 때문에 이 방법은 종료가 보장됩니다.

다운스트림 태스크 훈련

임퓨테이션 후, 모든 훈련 샘플은 완전한 양상 세트를 갖게 됩니다. 융합 모듈(Multi-Head Self-Attention 사용)이 이러한 표현들을 결합한 후, 태스크 특화 헤드(예: 분류 또는 회귀)가 뒤따릅니다. 융전(fusion) 및 헤드 파라미터만 훈련되며, 인코더와 임퓨테이션된 임베딩은 동결된 상태를 유지합니다. 추론 시, 누락된 양상이 있는 테스트 샘플은 오직 훈련 세트에서 유도된 통계치를 사용하여 동일한 2단계 임퓨테이션 과정을 거칩니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 강조합니다:

1. 임의의 양상 지원: 프레임워크는 아키텍처의 재설계 없이 임의의 개수의 입력 양상을 지원합니다.
2. 임의의 누락 패턴 지원: 샘플 수준에서 발생하는 모든 조합의 누락된 양상을 처리하며, 50% 이상의 슬롯이 누락된 극단적인 경우를 포함합니다.
3. 태스크 독립적 임퓨테이션: 비지도 임퓨테이션 단계가 감독된 태스크와 분리되어 있어, 해당 컴포넌트를 다른 멀티모달 문제에 재사용하거나 확장할 수 있습니다.
4. 엄격한 평가: 실험은 매우 불완전한 환경(빈번하게 50% 이상의 양상 슬롯 누락)에서 수행되었습니다.
5. 최첨단 성능(SOTA): 이 방법은 도전적인 멀티모달 감성 분석 구성에서 기존 베이스라인을 능가하며 일관되게 0.7 이상의 F1-Micro 점수를 달ps니다.

4. 실험 결과

저자들은 세 가지 다양한 벤치마크인 MM-IMDb(영화 장르 분류), CMU-MOSI(멀티모달 감성 분석), Sleep-EDF(수면 단계 분류)에서 UL4M4를 평가했습니다.

• 성능: UL4M4는 모든 데이터셋과 누락 구성에 대해 강력한 베이스라인들(M3Care, ShaSpec, ICL-CA, SimMLM, 그리고 태스크 특화 MissModal 포함)을 일관되적으로 능가했습니다.
  • MM-IMDb에서, 모든 누락 패턴에 대해 현존하는 차순위 모델(약 0.58)보다 훨씬 높은 F-Micro 점수(예: 0.92)를 달성했습니다.
  • CMU-MOSI에서, 양상 슬롯의 50% 이상이 누락된 상황에서도 일관되게 0.7 이상의 F1-Micro 점수를 기록했으며, 이는 다른 방법들이 어려움을 겪는 임계치였습니다.
  • Sleep-EDF(5개 양상)에서, 누락 비율이 증가함에 따라 우아한 성능 저하(graceful degradation)를 보여주었으며, 높은 누락 환경에서 베이스라인들을 압도했습니다.
• 통계적 유의성: 차이점은 t-검정과 Wilcoxon 부호 순위 검정을 통해 통계적으로 유의함이 확인되었습니다.
• 하이퍼파라미터에 대한 견고성: 이 방법은 클러스터 수($k$)에 대해 놀라운 안정성을 보여주었습니다. 성능은 $k$ 값이 10에서 100 사이일 때 일관되게 유지되었으며, 이는 세심한 $k$ 튜닝이 필요하지 않음을 시사합니다.
• 정성적 분석: 임퓨테이션된 임베딩의 t-SNE 시각화는 생성된 특징들이 실제 정답 분포와 긴밀하게 겹쳐져 있으며, 현실적인 의미 구조를 보존하고 있음을 보여주었습니다.

5. 의의 및 주장

본 논문은 UL4M4가 실제 세계의 불완전한 멀티모달 데이터를 처리하는 데 있어 중요한 진전을 이루었다고 주장합니다. 그 주요 의의는 일반성과 견고성에 있습니다:

• 태스크 특화된 귀납적 편향(inductive bias)이나 복잡한 생성 모델에 의존하지 않는 통합된 표현 전략을 제공합니다.
• 도전적인 CMU-MOSI 벤치마크에서 심각한 누락 조건 하에서도 일관되게 0.7 이상의 F1-Micro 점수를 달성한 최초의 방법입니다.
• 임퓨테이션을 다운스트림 태스크로부터 분리함으로써, 어떤 융합 아키텍처와도 통합 가능한 경량화된 플러그 앤 플레이(plug-and-play) 솔루션을 제공하며, 이는 데이터 완결성을 보장할 수 없는 이질적이고 신뢰할 수 없는 실제 환경에서 매우 실용적입니다.

저자들은 UL4M4가 데이터의 대부분이 누락된 상황에서도 높은 성능을 유지하는 확장 가능한 솔루션을 제공함으로써, 누락된 양상을 처리하는 새로운 기준을 세웠다고 결론짓습니다.