A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations

논문 요약: MiSTER-E (대화 중 감정 인식을 위한 전문가 혼합 모델)

1. 문제 정의 (Problem Statement)

대화 중 감정 인식 (Emotion Recognition in Conversations, ERC) 은 화자의 감정 상태를 추론하는 작업으로, 텍스트, 음성, 시각적 단서 등 다양한 모달리티 (Multi-modal) 와 대화의 시간적 흐름 (Temporal flow) 을 동시에 이해해야 합니다. 기존 ERC 시스템은 다음과 같은 한계를 가지고 있습니다:

• 모놀리식 (Monolithic) 아키텍처: 대부분의 기존 모델은 맥락 모델링 (Context modeling) 과 모달리티 간 융합 (Multimodal fusion) 을 하나의 통합된 구조에서 수행합니다. 이로 인해 두 가지 근본적으로 다른 과제가 서로 얽히게 되어 (Entanglement), 데이터가 부족한 상황에서 과적합 (Overfitting) 이 발생하거나 일반화 능력이 떨어집니다.
• 모달리티 불균형: 음성이나 텍스트 중 한쪽 모달리티가 다른 쪽보다 훨씬 강력한 성능을 보일 때, 기존 융합 방식은 오히려 성능을 저하시키거나 최상의 단일 모달리티 시스템보다 낮은 성능을 보일 수 있습니다.
• 화자 정보 의존성: 많은 모델이 화자 식별 (Speaker identity) 정보를 사용하는데, 이는 실제 적용 시 프라이버시 문제나 화자 정보 부재 상황에서 제한적입니다.

2. 제안 방법론 (Methodology: MiSTER-E)

저자들은 MiSTER-E (Mixture of Speech-Text Experts for Recognition of Emotions) 라는 모듈형 Mixture-of-Experts (MoE) 프레임워크를 제안합니다. 이 모델은 맥락 모델링과 모달리티 융합을 명시적으로 분리 (Decouple) 하고, 결정 (Logit) 수준에서 전문가들을 동적으로 결합합니다.

주요 구성 요소:

1. 단일 모달리티 특징 추출 (Unimodal Feature Extraction):

   • 텍스트: LLaMA-3.1-8B 와 같은 대규모 언어 모델 (LLM) 을 텍스트 인코더로 미세 조정 (Fine-tuning, LoRA 사용) 하여 문맥을 반영한 임베딩을 생성합니다.
   • 음성: SALMONN-7B 와 같은 음성 전용 대규모 언어 모델 (SLLM) 을 미세 조정하여 감정 관련 음향 패턴을 포착합니다.
   • 특징: 화자 식별 정보를 사용하지 않으며, 사전 학습된 지식을 유지하면서 효율적으로 적응합니다.

2. 대화 맥락 모델링 (Conversational Modeling):

   • Context Addition Network (CAN): 추출된 임베딩에 대화의 맥락을 추가합니다.
     • Temporal Inception Network (TIN): 다양한 커널 크기 (1, 3, 5) 를 가진 1D 컨볼루션을 통해 국소적 (Short-range) 인 의존성을 포착합니다.
     • Bi-GRU: 긴 시간 범위의 전역적 (Global) 의존성을 포착합니다.
   • 이 과정은 음성 전문가와 텍스트 전문가가 각각 독립적으로 수행합니다.

3. 다중 모달리티 네트워크 (Multimodal Network):

   • 음성 및 텍스트 특징을 Cross-Attention과 Self-Attention을 통해 융합합니다. 이는 텍스트의 의미적 단서와 음성의 정서적 신호를 정렬 (Align) 시킵니다.

4. 전문가 혼합 게이트 (Mixture-of-Experts Gating):

   • 3 개의 전문가 (Experts): 음성 전용, 텍스트 전용, 다중 모달리티 (융합) 전문가가 각각 예측 로짓 (Logit) 을 생성합니다.
   • 동적 게이트 (Gating Mechanism): 각 발화 (Utterance) 에 대해 3 개의 전문가 예측값을 입력받아 가중치 ($\beta$) 를 학습합니다. 이는 Softmax를 통해 변환되어 최종 예측 로짓을 가중 합산합니다.
   • 핵심 아이디어: 특정 발화에서 한 모달리티 (예: 텍스트) 가 더 신뢰할 수 있다면, 게이트가 해당 전문가의 가중치를 높여 불균형한 모달리티 문제를 해결합니다.

5. 손실 함수 (Loss Functions):

   • Focal Loss: 클래스 불균형 (Imbalance) 문제를 해결하기 위해 사용됩니다.
   • Supervised Contrastive Loss: 같은 감정 클래스를 가진 음성 - 텍스트 쌍의 임베딩을 가깝게 묶어 모달리티 간 정렬을 강화합니다.
   • KL-Divergence Regularization: 단일 모달리티 전문가의 예측 분포가 다중 모달리티 전문가의 분포와 일치하도록 하여 전문가 간의 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 모듈형 MoE 아키텍처: 맥락 모델링과 모달리티 융합을 분리하고, 결정 (Logit) 수준에서 전문가를 혼합하는 새로운 ERC 프레임워크를 제안했습니다.
2. 모달리티 불균형 처리: 발화 단위로 적응적인 가중치를 부여하여, 한 모달리티가 우세할 때 해당 전문가가 주도적으로 예측하도록 하여 기존 시스템의 한계를 극복했습니다.
3. 화자 정보 불필요: 화자 식별 정보 없이도 최첨단 성능을 달성했습니다.
4. 보조 학습 목표: 대비 학습 (Contrastive learning) 과 KL 발산 기반 정규화를 통해 전문가의 전문성 (Specialization) 을 안정화했습니다.

4. 실험 결과 (Results)

세 가지 벤치마크 데이터셋 (IEMOCAP, MELD, CMU-MOSI) 에서 기존 SOTA (State-of-the-Art) 모델들을 능가하는 성능을 기록했습니다.

• 성능 (Weighted F1-Score):
  • IEMOCAP (6 클래스): 70.9% (기존 최고 70.5% 대비 향상)
  • MELD (7 클래스): 69.5% (기존 최고 67.2% 대비 향상)
  • CMU-MOSI (2 클래스): 87.9% (기존 최고 85.8% 대비 향상)
• Ablation Study:
  • 모듈성의 중요성: 전문가 구조를 제거하고 단일 스트림으로 융합할 경우 성능이 크게 저하됨 (IEMOCAP 에서 70.9% $\to$ 67.8%).
  • LLM/SLLM의 영향: 강력한 임베딩 자체만으로는 설명되지 않으며, 모듈형 아키텍처와 게이트 메커니즘이 성능 향상의 핵심 원인임을 확인.
  • 결정 수준 융합: 특징 (Feature) 수준 융합보다 결정 (Decision/Logit) 수준 융합이 더 효과적임.

5. 의의 및 결론 (Significance)

• 아키텍처적 통찰: ERC 작업에서 "맥락 이해"와 "모달리티 융합"은 서로 다른 과제이므로 분리하여 모델링해야 함을 증명했습니다.
• 실용성: 화자 정보를 사용하지 않고도 높은 성능을 내므로, 실제 대화 에이전트나 고객 서비스 봇 등 다양한 응용 분야에 적용 가능합니다.
• 유연성: 특정 모달리티의 품질이 떨어지거나 불균형한 상황에서도 게이트 메커니즘이 자동으로 신뢰할 수 있는 모달리티에 집중하여 견고한 (Robust) 성능을 보장합니다.

한계점:

• 대규모 LLM/SLLM 사용으로 인한 계산 및 메모리 오버헤드.
• 주로 각본화된 대화 (TV 쇼 등) 데이터셋에서 평가되었으며, 실제 자발적 대화 (Spontaneous conversation) 로의 일반화 여부는 추가 연구가 필요합니다.

이 논문은 대화형 AI 의 감정 인식 분야에서 모듈성과 적응적 융합 전략의 중요성을 강조하며, 새로운 SOTA 를 확립했습니다.