Joint Learning using Mixture-of-Expert-Based Representation for Speech Enhancement and Robust Emotion Recognition

"음성 향상 및 강인한 감정 인식을 위한 전문가 혼합 기반 표현을 활용한 공동 학습" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

감정 음성 인식 (SER) 은 인간 - 컴퓨터 상호작용에 필수적이지만, 실제 세계의 잡음 환경에서 성능이 크게 저하됩니다. **음성 향상 (SE)**은 강인성을 향상시킬 수 있지만, 전통적인 접근법은 두 가지 주요 한계에 직면해 있습니다.

• 2 단계 파이프라인 문제: SE 를 전처리 단계로 사용하면 감정 단서를 흐리게 하는 아티팩트가 발생하고 계산 오버헤드가 추가됩니다. 또한, SE 모델은 지각적 명료성을 최적화하도록 설계되어 감정 구분 특징을 보존하는 것과 일치하지 않을 수 있습니다.
• 다중 작업 학습 (MTL) 충돌: 단일 공유 백본을 사용하여 SE 와 SER 를 공동으로 학습하면 경쟁적 경사 (gradient interference) 및 표현적 충돌이 자주 발생합니다. SE 는 세밀한 신호 재구성이 필요한 반면, SER 는 고수준의 의미적 추상이 필요하여 두 작업의 복잡도가 크게 다르기 때문에, 표준 MTL 모델에서는 최적에 미치지 못하는 수렴과 편향된 특징 표현을 초래합니다.

2. 방법론: Sparse MERIT

저자들은 두 작업 모두를 위한 자기지도 학습 음성 표현을 통합하도록 설계된 유연한 MTL 프레임워크인 **희소 전문가 혼합 표현 통합 기술 (Sparse MERIT)**을 제안합니다.

핵심 아키텍처

• 백본: 견고한 음성 표현을 추출하기 위해 사전 훈련된 WavLM Large 모델 (24 레이어 트랜스포머) 을 공유 자기지도 학습 백본으로 활용합니다.
• 레이어별 표현: 단일 레이어를 사용하는 대신, 모델은 입력과 모든 24 개 트랜스포머 레이어의 숨겨진 상태를 연결하여 다중 스케일 맥락 정보를 포착합니다.
• 프레임별 희소 라우팅:
  • 전문가 풀: $N=3$개의 전문가 네트워크 (2 층 피드포워드 네트워크) 로 구성된 공유 풀이 연결된 특징을 처리합니다.
  • 작업별 게이트: 두 개의 독립적인 게이트 네트워크 ($G_{\phi}^{SER}$ 및 $G_{\phi}^{SE}$) 가 각 프레임을 특정 전문가에게 동적으로 라우팅합니다.
  • Top-K 선택: 이 프레임워크는 각 프레임을 정확히 하나의 선택된 전문가가 처리하는 **Top-1 라우팅 전략 (희소 라우팅)**을 사용합니다. 이는 밀집 라우팅에 비해 계산 오버헤드를 줄이고 전문화된 전문가 행동을 장려합니다.
• 작업 헤드:
  • SER 헤드: 라우팅된 특징에 주의력 통계 풀링 (attentive statistics pooling) 을 적용한 후 분류 헤드를 통해 감정 레이블을 예측합니다.
  • SE 헤드: 라우팅된 특징을 잡음이 포함된 입력의 로그 압축 스펙트로그램과 연결하고 디코더 (BSSE-SE 아키텍처 기반) 를 사용하여 향상된 스펙트로그램을 재구성합니다.
• 목적 함수: SER 를 위한 가중 크로스 엔트로피 손실 (클래스 불균형 처리) 과 SE 를 위한 L1 손실 (스펙트럼 재구성 오차 최소화) 을 공동으로 최적화합니다.

3. 주요 기여

1. 새로운 MTL 프레임워크: 프레임별 작업별 라우팅을 갖춘 전문가 혼합 (MoE) 구조를 통합하여 단순한 공유 백본을 넘어선 Sparse MERIT를 도입했습니다. 이는 SE 와 SER 간의 경쟁적 경사를 완화합니다.
2. 효율적인 표현 통합: 이 방법은 다중 레이어 자기지도 학습 표현과 희소 라우팅을 활용하여 추론 비용을 크게 증가시키지 않으면서도 파라미터 효율적이고 작업 적응형 학습을 가능하게 합니다.
3. 종합적 검증: 광범위한 실험을 통해 Sparse MERIT 가 SE 전처리 파이프라인, 단순 MTL, 그리고 PCGrad 및 불확실성 가중치와 같은 고급 경사 조작 기법을 포함한 최첨단 베이스라인보다 우수함을 입증했습니다.
4. 게이트 동역학에 대한 통찰: 이 논문은 게이트 동작에 대한 분석을 제공하여, 전문가 선택이 잡음 수준보다는 감정 내용에 더 의해 결정되며, Top-1 라우팅이 밀집 라우팅보다 더 나은 일반화를 산출함을 보여줍니다.

4. 실험 결과

실험은 잡음 증강 (CRSS-4ENGLISH-14, Freesound, ICASSP 2023 DNS 챌린지) 을 적용한 MSP-Podcast 코퍼스에서 수행되었습니다.

음성 감정 인식 (SER)

• 성능: 가장 까다로운 조건 (-5 dB SNR) 에서 미처 보지 못한 잡음 (Freesound) 하에 Sparse MERIT 는 SE 전처리 베이스라인 대비 F1-macro 를 12.4% 개선하고, 단순 MTL 베이스라인 대비 3.8% 개선했습니다.
• 일반화: 모델은 보지 못한 잡음 조건에서도 견고한 성능을 유지한 반면, SE 전처리 베이스라인은 보지 못한 잡음 유형에서 성능이 크게 저하되었습니다.
• 비교: 불확실성 기반 가중치 및 PCGrad 와 같은 다른 MTL 전략보다 우수했으며, 모든 전문가가 각 프레임에 기여하는 "Dense MERIT" 변형보다도 성능이 뛰어났습니다. 이는 희소 Top-1 라우팅의 유효성을 확인시켜 줍니다.

음성 향상 (SE)

• 지표: PESQ, CSIG, CBAK, COVL, SSNR, STOI 를 사용하여 평가했습니다.
• 성능: Sparse MERIT 는 보지 못한 잡음 조건에서 일관되게 베이스라인보다 우수한 성능을 보였습니다. DNS 데이터셋의 -5 dB SNR 에서 SE 전용 미세 조정 베이스라인 대비 SSNR 은 44.4%, STOI 는 19.6% 개선되었습니다.
• 트레이드오프: PESQ 특정 판별자의 부재로 인해 일부 전문 SE 모델에 비해 PESQ 는 약간 하락했으나, 공동 학습 시나리오에서 명료성 (STOI) 과 전반적 품질 (COVL) 은 크게 향상되었습니다.

제거 분석 (Ablation Studies)

• 전문가 수: SER 성능은 3 명의 전문가에서 정점을 찍은 반면, SE 성능은 전문가 수가 늘어날수록 약간 계속 향상되었습니다. 저자들은 SER 강인성과 모델 복잡도 사이의 균형을 맞추기 위해 3 명을 선택했습니다.
• 손실 균형: Switch Transformer 와 같은 표준 MoE 관행과 달리, **전문가 균형 손실 (expert balancing loss)**을 추가하면 보지 못한 잡음에서 성능이 저하되었습니다. 이는 이 맥락에서 강제적인 균일한 전문가 사용이 작업별 전문화를 방해함을 시사합니다.

5. 의의

• 실제 환경에서의 강인성: Sparse MERIT 는 2 단계 파이프라인의 아티팩트 없이 명료성과 감정 인식을 공동으로 최적화함으로써, 깨끗한 실험실 성능과 실제 세계 배포 간의 중요한 격차를 해소합니다.
• MTL 충돌 해결: 이는 경쟁적 경사 문제에 대한 구조적 해결책 (희소 MoE) 을 제공하며, SE 와 SER 와 같은 이질적인 작업에 대해서는 경사 조작 (PCGrad 등) 보다 작업별 라우팅이 더 효과적임을 입증합니다.
• 실용적 배포: 이 프레임워크는 캐스케이드 시스템에 대한 계산 효율적인 대안을 제공하여, 인간이 들을 수 있는 출력과 자동화된 감정 분석이 모두 필요한 리소스 제약 환경에 적합합니다.

결론적으로, Sparse MERIT 는 자기지도 학습 표현과 희소 프레임별 전문가 라우팅을 통합함으로써 음성 향상 및 감정 인식을 위한 복잡하고 잡음이 많은 음향 환경을 처리할 수 있는 견고하고 일반화 가능한 시스템을 창출함을 보여줍니다.