An Adaptive Cross Attention Multimodal Transformer Architecture for Multilingual Speech Emotion Recognition

기술 요약: 다국어 음성 감정 인식을 위한 적응형 교차 주의 집중 멀티모달 트랜스포머 (ACAMT)

문제 정의
현재의 음성 감정 인식(SER) 시스템은 세 가지 주요 한계에 직면해 있다. 첫째, 많은 고성능 시스템이 단일 모달(unimodal) 방식에 의존하여 가치 있는 어휘적 및 시각적 증거를 버리고 있다. 둘째, 기존의 멀티모달 시스템은 정적 퓨전 방법(예: 결합 또는 고정 가중치 평균)에 의존하는 경우가 많아, 발화, 화자 또는 언어에 따라 음향, 텍스트 또는 시각 신호의 신뢰도가 변하는 인스턴스 의존적 모달리티 신뢰도에 적응하지 못한다. 셋째, 이 분야는 여로 영미권 중심이며, 특히 매개변수 효율적인 적응과 관련하여 다국어 및 교차 언어 SER 연구가 미진하다. 또한, 표준 평가 프로토콜은 코퍼스 내 성능과 진정한 교차 코퍼스 또는 교차 언어 일반화 능력을 구분하지 못하는 경우가 많다.

방법론: ACAMT 아키텍처
본 논문은 음향, 텍축, 시각 모달리티를 동적이고 양방향적인 메커니즘을 통해 통합하도록 설계된 프레임워크인 **적응형 교차 주의 집중 멀티모달 트랜스포머(Adaptive Cross-Attention Multimodal Transformer, ACAMT)**를 제안한다.

• 특징 추출 (Feature Extraction):

  • 음향 (Acoustic): 수작업 특징(40차원 MFCC 및 델타, 128밴드 로그 멜 스펙트로그램)과 사전 학습된 Wav2Vec 2.0(facebook/wav2vec2-large-xlsr-53)으로부터의 자기 지도 학습 임베딩을 결합한다. 음향 스트림은 학습 가능한 가중 결합 방식을 사용하여 모든 트랜스포머 레이어를 활용한다.
  • 텍스트 (Textual): 100개 이상의 언어로 사전 학습된 다국어 트랜스포머 인코더인 XLM-RoBERTa-base를 사용하여 전사 데이터를 처리한다. 오디오 전용 코퍼스의 경우, Whisper large-v3를 통해 전사본을 생성한다.
  • 시각 (Visual): ResNet-18 백본(VGGFace2로 사전 학습됨)과 그 뒤를 잇는 양방향 GRU를 사용하여 얼굴 표정의 역동성(onset–apex–offset)을 포착한다.

• 양방향 교차 주의 집중 핵심 (Bidirectional Cross-Attention Core):
  기존의 이중 모달리티 시스템과 달리, ACAMT는 세 모달리티 간의 모든 쌍을 커버하는 6개의 방향성 교차 주의 집중 맵(Acoustic↔Text, Text↔Visual, Visual↔Acoustic)을 계산한다.

  • 교차 주의 집중의 출력은 쿼리 시퀀스의 길이(예: $A \to T$는 음향 길이를 가짐)를 유지하므로, 아키텍처는 각 쌍에 대한 두 방향성 출력을 결합하고 이를 고정된 차원 $d=256$으로 투영한다.
  • 그 후, 시간 축에 대해 평균 풀링(mean-pooling)을 수행하여 세 개의 고정 길이 쌍 벡터인 $z_{AT}$, $z_{TV}$, $z_{VA}$를 생성한다.

• 마스크 기반 적응형 게이팅 (Masked Adaptive Gating):
  세 개의 쌍 벡터는 마스크가 적용된 인스턴스별 적응형 게이트를 통해 퓨전된다.

  • 결측 모달리티 처리 (Missing Modality Handling): 특정 코퍼스나 발화에서 특정 모달리티를 사용할 수 없는 경우(예: TESS 또는 EMO-DB의 비디오 데이터), 게이트는 해당 결측 모달리티에 의존하는 쌍 벡터에 $-\infty$ 로짓을 할당한다. 이는 소프트맥스 연산 후 사용 불가능한 쌍이 암시적인 재분배에 의존하는 대신 정확히 제로 가중치를 받도록 보장한다.
  • 모달리티 드롭아웃 (Modality Dropout): 훈련 중에는 확률 $p=0.15$로 무작위로 선택된 가용 모달리티를 마스킹하여, 테스트 시에 정상적으로 사용 가능한 모달리티가 부재하더라도 게이트가 가중치를 강건하게 재분배하는 법을 학습하도록 한다.

• 훈련 전략:
  모델은 두 단계 프로토콜을 채택한다.

1. 사전 학습 (Pretraining): 풀링된 6개 코퍼스 데이터셋에서 공동 훈련을 수행하여 공유된 음향 및 퓨전 매개변수를 학습한다.
2. 미세 조정 (Fine-tuning): **저차원 적응(LoRA)**을 Wav2Vec 2.0, XLM-R 및 교차 주의 집중 블록의 쿼리 및 값 투영 행렬에 적용한다(rank $r=8$, scaling $\alpha=16$). 그 외의 백본 매개변수는 동결된 상태로 유지되며, 학습 가능한 매개변수 예산은 전체의 약 0.5~1% 수준을 목표로 한다.

평가 프로토콜
본 논문은 일반화 능력을 테스트하기 위해 엄격한 4단계 레지임(regime) 평가 프로토콜을 정의한다.

1. 코퍼스 내 (Within-Corpus): 화자 독립적 5-겹 교차 검증(화자가 2명뿐인 TESS의 경우 2-겹 검증).
2. 풀링된 다국어 (Pooled-Multilingual): 조화된 6개 코퍼스 세트에 대한 5-겹 교차 검증.
3. 하나의 코퍼스 제외 (Leave-One-Corpus-Out, LOCO): 5개 코퍼스로 학습하고 나머지 1개로 테스트하여 교차 코퍼스 일반화 측정.
4. 하나의 언어 제외 (Leave-One-Language-Out, LOLO): 2개 언어로 학습하고 3번째 언어로 테스트하여 교차 언어 전이 측정.

지표로는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1, ROC-AUC, 매튜스 상관 계수(MCC), 코헨의 카파(Cohen's Kappa)가 포함된다.

결과 및 실증적 상태
본 논문은 전체 실증 훈련이 아직 완료되지 않았음을 명시적으로 밝히고 있다. 집필 당시 환경의 GPU 접근 권한 부족 및 소스 데이터셋 가용성 문제로 인해, 측정된 정확도 수치나 성능 결과는 보고되지 않았다.

본 원고는 아키텍처, 수정된 수학적 공식, 그리고 완전히 명시된 평가 프로토콜을 제시한다. 본 방법론을 기존 연구(예: MemoCMT, CNN-LSTM 하이브리드)와 비교할 때, 아키텍처적 범위(삼중 모달, 양방향, 결측 모달리티 인지) 측면에서 차별점을 두지만, 실증적 검증이 즉각적인 다음 단계임을 밝힘으로써 성능 우위를 주장하지는 않는다.

의의 및 기여
저자들은 본 연구의 의의를 교차 주의 집중이나 적응형 게이팅 자체의 발명(이들은 이미 이중 모달 또는 단일 모달 설정에서 입증된 바 있음)이 아니라, 이를 삼중 모달 및 다국어 맥락에서 결합하여 구현한 데 두고 있다.

주요 기여는 다음과 같다:

1. 삼중 모달 양방향 퓨전: 가변 길이 시퀀스 간의 차원 불일치를 해결하는 수학적으로 일관된 6방향 교차 주의 집중 공식.
2. 명시적 결측 모달리티 처리: 암시적인 재분배에 의존하는 대신 마스킹을 통해 사용 불가능한 모달리티 쌍을 확실히 제외하는 게이팅 메커니즘.
3. 매개변수 효율적인 다국어 적응: 거대한 백본을 재학습하지 않고도 영어와 함께 저자원 언어(독일어, 이탈리아어)를 처리할 수 있도록 설계된 특정 LoRA 기반 미세 조정 프로토콜.
4. 포괄적인 평가 설계: 코퍼스 내 성능과 교차 코퍼스 및 교차 언어 일반화 능력을 분리하여, 평가가 이러한 별개의 역량을 혼동하는 현재 문헌의 공백을 메우는 4단계 레지임 프로토콜.

본 논문은 향후 연구 과제로 유형론적으로 구별되는 저자원 언어로의 언어 범위 확장, 온디바이스 추론을 위한 모델 압축, 공정성 감사, 그리고 프레임워크를 연속적 회귀 작업으로 확장하는 것을 제시하며 마무리된다.