Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

기술 요약: 클래스 불균형 하의 반지도 학습을 위한 다중 모态 딥 생성 모델

문제 제기
심층 신경망 (DNN) 은 종종 클래스 불균형 데이터에 직면하여 다수 클래스에 편향되고 소수 클래스에서 일반화 성능이 저하되는 문제를 겪습니다. 이 문제는 라벨이 지정된 데이터셋이 불균형할 때 라벨이 없는 데이터에 대한 의사 레이블 (pseudo-label) 이 생성되는 반지도 학습 (SSL) 환경에서 더욱 악화되어, 편향이 전파되고 강화됩니다. 또한, 실제 세계 데이터는 이미지와 텍스트와 같은 다양한 소스를 결합한 다중 모态인 경우가 많지만, 기존 해결책들은 일반적으로 클래스 불균형, 다중 모态, 또는 부분적 지도 학습을 각각 개별적으로 다룹니다. 이 세 가지 과제의 교차점을 다루는 방법은 거의 없으며, 해당 방법을 사용하는 경우 도메인 특화성이 부족하거나 상당한 계산 자원을 요구하는 제로샷 기반 모델에 의존하는 경우가 많습니다. 본 논문이 다루는 핵심 문제는 부분적으로 라벨이 지정된 다중 모态 데이터를 불균형한 클래스 분포 하에서 견고하게 학습할 수 있는 통합 프레임워크의 부재입니다.

방법론: SSMVAE-CI
저자들은 **클래스 불균형 학습을 위한 반지도 다중 모态 변이 오토인코더 (Semi-Supervised Multimodal Variational Autoencoder for Class-Imbalanced Learning, SSMVAE-CI)**를 제안합니다. 이는 세 가지 핵심 기술 요소를 통합한 통합 생성 프레임워크입니다:

1. 전문가 곱 (Product-of-Experts, PoE) 을 활용한 다중 모态 아키텍처:
   이 모델은 $M$개의 모态 ($x_1, ..., x_M$) 을 처리할 수 있도록 반지도 VAE 프레임워크를 확장합니다. 공통 잠재 공간 (연속 잠재 변수 $z$와 이산 클래스 변수 $y$ 포함) 을 공유하는 모态별 인코더를 사용합니다. 지수적으로 많은 수의 추론 네트워크를 요구하지 않으면서 결합 사후 확률 $p(y, z | x_1, ..., x_M)$을 추론하는 복잡성을 관리하기 위해, 모델은 전문가 곱 (PoE) 프레임워크를 활용합니다. 이는 사전 전문가에 조건부인 개별 모态 사후 확률들의 곱으로 결합 사후 확률을 근사화하는 것으로, 수학적으로 다음과 같이 표현됩니다:
   $$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$$
   이를 통해 여러 모态에 걸쳐 확장 가능한 추론이 가능해집니다.

2. 무거운 꼬리 분포 (Student's t):
   클래스 불균형을 해결하기 위해, 모델은 일반적인 VAE 에서 사용하는 표준 가우시안 분포 대신 사전, 인코더, 디코더에 Student's t-분포를 대체합니다. t-분포의 무거운 꼬리 특성은 잠재 공간의 희소 영역 (소수 클래스 샘플이 존재하는 영역) 에서 무시할 수 없는 확률 밀도를 유지하도록 하여, 가우시안 사전 분포로 인해 종종 발생하는 소수 샘플의 과도한 정규화를 방지합니다. 이를 통해 의미 있지만 대표성이 부족한 패턴이 보존됩니다.

3. $\gamma$-파워 발산 목적 함수:
   저자들은 라벨이 지정된 데이터와 라벨이 없는 데이터 모두에서 모델을 학습시키기 위해 $\gamma$-파워 발산에 기반한 새로운 목적 함수를 유도합니다.

   • 라벨이 지정된 데이터의 경우, 목적 함수는 관측된 클래스 변수 $y$를 포함하도록 t3VAE 에서 사용된 $\gamma$-손실을 확장합니다.
   • 라벨이 없는 데이터의 경우, 클래스 변수 $y$는 잠재 변수로 간주됩니다. 목적 함수는 $\gamma$-발산을 통해 $y$를 주변화하여 증거 하한 (ELBO) 과 유사한 처리 가능한 하한을 유도합니다.
   • 전체 목적 함수는 하이퍼파라미터 $\alpha$로 가중치가 부여된 생성 손실과 판별 분류 손실을 결합하여, 일관된 잠재 표현과 분류 성능 사이의 균형을 맞춥니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 주장합니다:

1. 통합 프레임워크: 단일 확률 프레임워크 내에서 반지도 학습, 다중 모态, 그리고 클래스 불균형을 동시에 해결하는 최초의 생성 모델로, 이러한 과제들의 상이한 모델링 요구사항을 조화시킵니다.
2. PoE 추론 메커니즘: 여러 모态에 걸쳐 연속 및 이산 잠재 변수를 모두 지원하는 PoE 추론 메커니즘을 개발하여 유연하고 확장 가능한 모델링을 가능하게 합니다.
3. 일반화된 무거운 꼬리 모델링: Student's t-분포의 사용을 다중 모态 반지도 환경으로 일반화하여, 무거운 꼬리 사후 근사를 통해 클래스 불균형에 대한 견고성을 향상시킵니다.
4. 새로운 목적 함수: 불균형 분포 하에서 라벨이 지정된 데이터와 라벨이 없는 데이터 모두로부터 안정적이고 표현력 있는 학습을 보장하는 $\gamma$-파워 발산 기반의 새로운 학습 목적 함수를 유도합니다.
5. 실증적 검증: 반지도, 다중 모态, 그리고 클래스 불균형 환경에서 베이스라인 방법들에 비해 일관된 성능 향상을 보여주는 광범위한 실험을 수행했습니다.

실험 결과
이 모델은 세 가지 데이터셋에서 평가되었습니다:

• MNIST-SVHN: 손글씨 숫자와 집 번호를 결합한 합성 다중 모态 데이터셋.
• UPMC Food-101: 음식 이미지와 텍스트 설명을 포함한 실제 세계 데이터셋.
• CMU-MOSEI: 감정 분석을 위한 비디오, 오디오, 텍스트 모态를 가진 복잡한 데이터셋.

성능 하이라이트:

• 우수한 정확도: SSMVAE-CI 는 CReST, Adsh, LDAM 과 같은 SSL, 불균형 처리, 융합 전략을 결합한 복합 방법을 포함한 베이스라인들보다 전체 정확도와 소수 클래스 정확도 모두에서 일관되게 우위를 보였습니다.
• 불균형에 대한 견고성: 성능 향상은 높은 불균형 비율 ($r=100$) 과 낮은 라벨 데이터 비율 ($\beta=10\%$) 에서 가장 두드러졌습니다. 예를 들어, $r=100$ 및 $\beta=10\%$ 조건의 MNIST-SVHN 에서 이 모델은 74.79% 의 전체 정확도와 59.07% 의 소수 클래스 정확도를 달성하여 다음으로 가장 좋은 베이스라인을 크게 능가했습니다.
• 누락된 모态 처리: 훈련 데이터의 절반에서 하나의 모态가 누락된 실험에서, SSMVAE-CI 는 불완전한 샘플을 포함한 전체 데이터셋으로 학습했을 때 베이스라인이나 완전한 데이터만으로 학습한 모델들에 비해 가장 작은 성능 저하 (전체 정확도 2.08%) 를 보였습니다. 이는 모델이 불완전한 샘플을 훈련 신호로 활용할 수 있음을 보여줍니다.
• 애벌레이션 연구: Student's t-분포를 제거하고 (가우시안으로 복귀) 또는 PoE 구조를 제거하고 (단순 융합으로 복귀) 한 결과 성능이 크게 저하되어, 클래스 불균형과 다중 모态 상관관계를 처리하기 위해 두 구성 요소 모두 필수적임을 확인했습니다.

의의 및 주장
본 논문은 SSMVAE-CI 가 데이터가 자연스럽게 다중 모态이고, 부분적으로 라벨이 지정되며, 불균형한 도메인에서 구조화되고 데이터 효율적인 접근법을 제공한다고 주장합니다. 저자들은 의료 진단 (예: 희귀한 질병 사례가 있는 X-ray 와 환자 병력을 결합) 및 금융 리스크 평가 (예: 다중 모态 거래 데이터에서 사기 탐지) 와 같은 잠재적 응용 분야를 강조합니다.

저자들은 겸손한 이론적 입장을 유지하며, 모델이 광범위한 실증적 검증을 제공하지만 확률 구성 요소의 이질성으로 인해 공식적인 수렴 또는 일반화 보장은 유도되지 않았음을 인정합니다. 그러나 그들은 통합된 확률적 공식화가 클래스 불균형에 대한 견고성을 유지하면서 반지도 다중 모态 학습에 대한 이론적 일관성을 보장한다고 주장하며, 이는 MVAE 나 t3VAE 가 개별적으로 채울 수 없었던 간극을 해소한다고 강조합니다. 향후 작업은 라벨이 지정된 데이터셋과 라벨이 없는 데이터셋 간의 분포 불일치를 해결하는 방향으로 제안됩니다.