기술 요약: 감정 인식에서 어텐션이 전부는 아니다 (Attention Isn't All You Need for Emotion Recognition)

문제 정의

본 연구는 42명의 참가자가 대화형 상호작용에 참여하며 기록한 동기화된 EEG, 오디오, 비디오 데이터를 포함하는 EAV 데이터셋을 활용한 멀티모달 감정 인식의 과제를 다룹니다. 이 데이터셋은 멀티모달 연구를 위한 독특한 자원을 제공하지만, 딥러닝 관점에서는 중대한 제약을 가집니다. 표준 데이터 분할을 거친 후, 각 피험자당 약 280개의 훈련 샘플만이 남게 됩니다.

핵심 연구 질문은 복잡한 어텐션 메커니즘(특히 factorized attention)이 이러한 소규모 데이터셋에서 성능을 향상시키는지, 아니면 도메인에 적합한 특징(feature)을 활용하는 더 단순한 접근 방식이 더 우수한 결과를 내는지 조사하는 것입니다. 저자들은 모델의 구조적 복잡성이 과적합(overfitting)을 유발하고, 저데이터 환경(low-data regimes)에서 사전 학습된 특징(pretrained features)을 퇴화시킬 수 있다고 가설을 세웠습니다.

방법론

저자들은 세 가지 모달리티(EEG, 오디오, 비전)에 대해 세 가지 범주의 모델을 체계적으로 평가했습니다.

1. M1: 베이스라인 트랜스포머 (Baseline Transformers)

저자들은 기준 성능을 설정하기 위해 Hugging Face의 사전 학습된 백본(backbone)을 사용하여 표준 트랜스포머 아키텍처를 구현했습니다.

• EEG: 1D 컨볼루션 특징 추출 후 6개 층의 트랜스포서 인코더(4개의 어텐션 헤드 포함)를 사용하는 커스텀 아키텍처.
• Audio: 두 단계의 훈련 전략(동결된 백본 후 언프리징)을 활용하여, 5개 클래스 분류 헤드를 가진 **Audio Spectrogram Transformer (AST)**를 미세 조정(fine-tuning)함.
• Vision: 얼굴 감정 인식에 특화되어 사전 학습된 **Vision Transformer (ViT)**를 사용하며, 비디오 세그먼트당 25개 프레임을 처리하고 예측값을 평균화함.

2. M2: 분해된 어텐션 메커니즘 (Factorized Attention Mechanisms)

각 모달리티의 고유한 구조에 착안하여, 저자들은 베이스라인보다 뛰어난 성능을 목표로 설계된 새로운 분해된 어텐션 모델들을 설계했습니다.

• M2-EEG (Tri-Stream): 세 개의 병렬 스트림(공간적 상호작용, 시간적 역학, 데이비드슨 모델에 기반한 반구 비대칭성)으로 분기되는 트랜스포머. 컨볼루션 특징을 보존하기 위한 학습 가능한 스킵 연결(skip connection)을 포함함.
• M2-EEG (EEGNet-Improved): 스퀴즈 엑세리테이션(squeeze-excitation) 블록, 멀티 스케일 컨볼루션 및 고급 정규화 기법이 포함된 개선된 EEGNet.
• M2-Audio: AST 특징에 적용된 시간-주파수 이중 어텐션(Temporal-Frequency Dual Attention) 메커니즘. 패치를 2차 그리드(시간 × 주파수)로 재구성하고 순차적인 시간 및 주파수 어텐션 블록을 적용하며, 스킵 연결을 통해 사전 학습된 특징의 약 88%를 보존함.
• M2-Vision: 전체 시공간 어텐션을 프레임 내 공간 어텐션과 프레임 간 시간 어텐션으로 분해하여 계산 복잡도를 줄이는 분해된 시공간 어텐션(Factorized Space-Time Attention) 모델 (ViViT Model 2를 따름).

3. M3: 개선된 CNN 베이스라인 (Improved CNN Baselines)

M2의 저조한 성과에 따라, 저자들은 버그 수정과 도메인 특화 특징 공학(feature engineering)에 초점을 맞춘 최소한의 CNN 수정을 탐색했습니다.

• Audio: 단기 스펙트럼 역학을 포착하기 위해 델타 MFCC(시간 미분값)를 사용하여 특징 세트를 확장, 입력 차원을 180에서 220으로 증가시킴.
• EEG:
  • v1 (Bug Fix): 기존 구현에서 CrossEntropyLoss 이전에 잘못 적용되었던 nn.Softmax 층을 제거함.
  • v2 (Band Power): 원시 시간 영역 신호를 주파수 영역 특징(델타, 세타, 알파, 베타, 감마 대역 파워, 차분 엔트로피 및 명시적 알파 비대칭 특징 포함, 총 306차원)으로 대체하여 단순 MLP에 입력함.
• Vision:
  • v1 (SE Fix): 효과적인 채널 재가중치를 보장하기 위해 Squeeze-and-Excitation (SE) 블록의 감소 비율(reduction ratio)을 1(병목 없음)에서 16으로 수정함.
  • v2 (Delta Features): 프레임 간 표현 역학을 포착하기 위해 시간 델타 특징을 추가함.

주요 결과

NVIDIA RTX 6000 Ada GPU에서 수행된 실험은 피험자별 평가를 통해 다음과 같은 결과를 도출했습니다 (논문의 Table 1 참조).

• M2의 저조한 성과: 모든 분해된 어텐션 모델(M2)은 각각의 베이스라인보다 5~13 퍼센트 포인트(pp) 일관되게 낮은 성능을 보였습니다.

  • EEG Tri-Stream: 48.00% (논문 베이스라인 60.00% 대비).
  • Audio Dual-Attention: 49.46% (논문 베이스라인 62.70% 대비).
  • Vision ViViT-style: 69.54% (논문 베이스라인 74.50% 대비).
  • 저자들은 이를 과적합, 사전 학습된 특징의 파괴, 그리고 약 280개의 샘플로는 복잡한 귀납적 편향(inductive biases)을 학습하기에 부족한 데이터량 때문이라고 분석했습니다.

• M3의 성공: 단순하고 도메인에 적합한 수정 사항들이 최첨단(SOTA) 결과를 달성했습니다.

  • EEG: 대역 파워(Band power) 특징이 **67.62%**를 달성 (논문 베이스라인 대비 +7.62pp).
  • Audio: 델타 MFCC가 **65.56%**를 달성 (논문 베이스라인 대비 +3.66pp).
  • Vision: 델타 특징이 **72.68%**를 달성 (논문 CNN 대비 +1.28pp).
  • 특히, M1 Vision Transformer(75.30%)가 모든 M3 CNN 수정 모델보다 높은 성능을 보였는데, 이는 도메인 특화 사전 학습이 아키텍처 변경보다 더 영향력 있음을 입증합니다.

• 피험자 변동성: 상당한 개인차가 관찰되었습니다. 피험자 17은 모든 모달리티에서 가장 높은 정확도(비전에서 최대 93.33%)를 지속적으로 기록한 반면, 피험자 35와 12는 미묘한 표정이나 생리적 차이로 인해 지속적인 어려움을 보였습니다.

의의 및 주장

본 논문은 소규모 감정 인식 작업(피험자당 약 280개 훈련 샘플)의 경우, 도메인 지식과 적절한 구현이 아키텍처의 복잡성보다 우수하다고 결론짓습니다.

저자들은 세 가지 주요 기여를 주장합니다:

1. 실패의 입증: 이론적으로는 동기 부여된 분해된 어텐션 메커니즘이 소규모 데이터셋에서는 일관되게 실패하며, 더 단순한 베이스라인보다 성능이 낮음을 보여줍니다.
2. 단순 특징의 유효성 검증: 단순하고 도메인에 적합한 수정(특히 EEG를 위한 주파수 영역 특징 및 오디오/비디오를 위한 델타 계수)이 이 데이터셋에서 최선의 결과를 얻음을 입별합니다.
3. 방법론적 분석: 실패 모드를 분석하여, 사전 학습된 표현의 퇴화, 복잡한 귀납적 편향을 위한 불충분한 훈련 데이터, 그리고 구현상의 버그(예: 이중 소프트맥스)가 저데이터 환경에서 핵심적인 요소임을 식별했습니다.

강조된 실무적 교훈은 연구자들이 복잡한 어텐션 메커니즘을 도입하기 전에, 베이스라인 구현의 버그를 검증하고, 도메인 특화 특징 공학을 적용하며, 가용 데이터에 맞춰 모델 용량(capacity)을 맞추는 것을 우선시해야 한다는 것입니다. 저자들은 이러한 분해된 접근 방식이 안정적인 융합을 학습할 수 있는 충분한 감독(supervision)이 존재하는 더 큰 규모의 감정 데이터셋에서는 여전히 유익할 수 있다고 언급했습니다.