BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates

1. 문제 정의 (Problem)

멀티모달 학습은 오디오, 시각, 텍스트 등 다양한 모달리티의 정보를 결합하여 성능을 높이지만, 실제 환경에서는 센서 고장, 녹음 노이즈, 획득 비용 등의 이유로 모달리티가 부분적 또는 완전히 누락되는 경우가 빈번합니다. 기존 연구들은 주로 공유 누락률 (Shared Missing Rate, SMR) 가정을 기반으로 합니다. 이는 모든 모달리티가 동일한 확률로 무작위로 누락된다는 이상적인 가정입니다.

하지만 현실적인 멀티모달 시스템에서는 불균형 누락률 (Imbalanced Missing Rate, IMR) 이 발생합니다. 즉, 각 모달리티마다 누락 확률이 서로 다릅니다 (예: 오디오는 잘 유지되지만 텍스트는 자주 누락됨). 이러한 IMR 환경은 두 가지 심각한 문제를 야기합니다.

1. 표현 불균형 (Representation Imbalance): 특정 모달리티가 자주 누락되면 해당 모달리티의 특징 분포가 왜곡되어, 다른 모달리티와의 일관된 융합이 어려워집니다.
2. 학습 불균형 (Learning Imbalance): 자주 관측되는 모달리티는 더 많은 그래디언트 (Gradient) 를 제공하여 학습을 주도하고, 자주 누락되는 모달리티는 약한 감독 신호만 받아 학습이 지연되거나 과적합 (Overfitting) 되는 편향된 수렴을 보입니다.

기존의 누락 모달리티 학습 방법들은 대부분 SMR 가정을 하거나, 재구성 (Reconstruction) 에 의존하여 IMR 환경에서 발생하는 표현 및 최적화 수준의 불균형을 효과적으로 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 BALM (Balanced Agnostic Learning under Imbalanced Missing Rates) 을 제안합니다. 이는 기존 멀티모달 백본 (Backbone) 의 아키텍처를 변경하지 않고도 플러그인 형태로 통합 가능한 모델 무관 (Model-Agnostic) 프레임워크입니다. BALM 은 표현 수준과 최적화 수준에서 불균형을 해결하는 두 개의 상호 보완적인 모듈로 구성됩니다.

A. 특징 보정 모듈 (Feature Calibration Module, FCM)

• 목적: IMR 로 인해 왜곡된 단일 모달리티 (Unimodal) 특징을 보정하여 일관된 표현 기반을 확립합니다.
• 작동 원리:
  1. 전역 컨텍스트 추출: 가용한 모든 모달리티의 특징을 평균 풀링하여 전역적인 통계량 (Global Descriptor) 을 생성합니다.
  2. 교차 모달 컨텍스트 추출: 이 전역 정보를 통해 공유되는 교차 모달 컨텍스트를 학습합니다.
  3. 적응형 보정: 학습된 컨텍스트를 바탕으로 각 모달리티별 가중치 (Calibration Weights) 를 생성하고, 이를 시그모이드 함수를 통해 적용하여 누락된 모달리티가 아닌 가용 모달리티의 특징을 재조정 (Rescale) 합니다.
• 효과: 누락 패턴이 다른 경우에도 모달리티 간 표현의 일관성을 유지하고, 하류 작업 (Downstream task) 에 일관된 특징을 제공합니다.

B. 그래디언트 재균형 모듈 (Gradient Rebalancing Module, GRM)

• 목적: IMR 환경에서 발생하는 최적화 편향을 완화하고, 모든 모달리티가 공정한 학습을 하도록 그래디언트 흐름을 조절합니다.
• 작동 원리:
  1. 단일 모달리티 예측 헤드: 각 모달리티별로 경량화된 예측 헤드를 도입하여, 해당 모달리티가 단독으로 학습하는 정도를 측정합니다.
  2. 분산 기반 조절 (Distribution-driven): 단일 모달리티 예측과 멀티모달 융합 예측 간의 KL 발산 (KL Divergence) 을 계산합니다. 학습 속도가 빠른 모달리티 (KL 발산 감소가 큼) 는 그래디언트 업데이트를 약화시키고, 느린 모달리티는 강화합니다.
  3. 공간 기반 조절 (Spatial-driven): 각 모달리티의 예측 헤드 그래디언트와 전체 모델의 그래디언트 간의 코사인 유사도를 측정합니다. 최적화 방향이 전체 목표와 크게 어긋나는 모달리티에 대해 방향을 재조정하여 학습 안정성을 높입니다.
• 효과: 자주 관측되는 모달리티가 학습을 독점하는 것을 방지하고, 모든 모달리티가 균형 있게 수렴하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. IMR 환경에 대한 새로운 프레임워크 제안: 기존 연구들이 간과했던 '불균형 누락률' 조건에서 발생하는 표현 및 최적화 불균형을 동시에 해결하는 최초의 모델 무관 프레임워크인 BALM 을 제안했습니다.
2. 이중 모듈 설계:
   • FCM: 표현 수준에서의 불일치를 보정.
   • GRM: 최적화 수준 (그래디언트) 의 불균형을 조절.
     이 두 모듈이 결합되어 IMR 환경에서의 학습 안정성을 극대화합니다.
3. 광범위한 실험 검증: 멀티모달 감정 인식 (MER) 벤치마크 (IEMOCAP, CMU-MOSEI) 에서 다양한 백본 (GCNet, MMGCN, MMDFN 등) 과 기존 SOTA 모델들을 대상으로 실험을 수행하여, BALM 이 일관적으로 성능을 향상시키고 강건성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: IEMOCAP 및 CMU-MOSEI 데이터셋에서 다양한 IMR 설정 (예: 오디오 0.3, 언어 0.7, 시각 0.5 등) 하에서 BALM 을 적용한 모델들은 기존 백본 및 기존 누락 모달리티 처리 모델들 (MMIN, SDR-GNN, GCNet 등) 보다 일관되게 높은 정확도 (Acc) 와 가중치 F1 점수 (w-F1) 를 기록했습니다.
  • 예시: IEMOCAP 에서 GCNet 에 BALM 을 적용한 경우, 특정 IMR 설정에서 기존 GCNet 대비 최대 +3.27% 의 정확도 향상을 보였습니다.
• 강건성 (Robustness): 공유 누락률 (SMR) 환경에서도 BALM 은 기존 모델들보다 우수한 성능을 유지하여, 균형 잡힌 조건에서도 일반화 능력이 뛰어남을 입증했습니다.
• 극단적 누락 상황: 언어 모달리티가 90% 이상 누락되는 등 극단적인 IMR 상황에서도 BALM 은 성능 저하를 크게 억제하며 안정적인 성능을 유지했습니다.
• Ablation Study: FCM 과 GRM 각각의 모듈이 성능 향상에 기여하며, 특히 두 모듈이 결합되었을 때 상호 보완적으로 작용하여 최적의 성능을 낸다는 것이 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 학습 분야에서 현실적인 데이터 결손 시나리오 (IMR) 를 체계적으로 분석하고 해결책을 제시했다는 점에서 중요한 의의를 가집니다.

• 실용성: 기존 모델의 구조를 변경하지 않고 플러그인으로 추가할 수 있어, 다양한 멀티모달 애플리케이션에 쉽게 적용 가능합니다.
• 이론적 통찰: 누락률이 불균형할 때 발생하는 그래디언트 편향과 표현 왜곡의 메커니즘을 명확히 규명하고, 이를 보정하는 수학적 접근법을 제시했습니다.
• 미래 방향: 감정 인식뿐만 아니라 의료 영상, 자율 주행 등 다양한 불완전 멀티모달 데이터가 존재하는 분야에서도 BALM 의 프레임워크가 핵심 기술로 활용될 수 있는 가능성을 열었습니다.

결론적으로, BALM 은 불완전하고 불균형한 멀티모달 데이터 환경에서도 강건하고 공정한 학습을 가능하게 하는 획기적인 프레임워크로 평가됩니다.