MVGT: A Multi-view Graph Transformer Based on Spatial Relations for EEG Emotion Recognition

이 논문은 EEG 신호의 시간적, 주파수적, 공간적 특성을 통합하여 정서 인식을 수행하는 새로운 다중 뷰 그래프 트랜스포머 (MVGT) 모델을 제안하고, 공개 데이터셋에서 기존 최첨단 방법보다 우수한 성능을 입증했습니다.

핵심

🧠 감정을 읽는 새로운 탐정: MVGT

1. 기존 방법의 문제점: "한쪽 눈으로만 보는 탐정"

기존의 뇌파 감정 분석 기술들은 마치 한쪽 눈만 뜨고 세상을 보는 탐정과 같았습니다.

• 시간 (Temporal): 뇌파가 시간에 따라 어떻게 변하는지 보지만, 너무 짧은 순간만 봐서 전체 흐름을 놓칩니다.
• 주파수 (Frequency): 뇌파의 진동수 (빠른 것, 느린 것) 를 분석하지만, 그 진동수들이 서로 어떻게 연결되는지 모릅니다.
• 공간 (Spatial): 뇌의 어느 부위가 활성화되었는지 보지만, 뇌의 왼쪽과 오른쪽, 앞과 뒤가 어떻게 서로 대화하는지 이해하지 못합니다.

이렇게 단편적인 정보만으로는 사람의 복잡한 감정 (기쁨, 슬픔, 공포 등) 을 정확히 파악하기 어렵습니다.

2. MVGT 의 등장: "360 도 전방위를 보는 슈퍼 탐정"

이 논문이 제안한 MVGT는 이 모든 정보를 한 번에 종합하는 슈퍼 탐정입니다. 이 탐정은 세 가지 특별한 안경을 끼고 있습니다.

① 시간 안경: "영화의 한 장면이 아닌, 전체 줄거리 읽기"

• 기존: 뇌파를 볼 때 '0.1 초'라는 짧은 순간만 캡처해서 분석했습니다. (사진 한 장만 보고 영화 줄거리를 추측하는 것과 같죠.)
• MVGT: 연속된 뇌파 신호를 **영화의 한 장면 (클립)**처럼 묶어서 봅니다. 이렇게 하면 뇌가 감정을 처리할 때 시간이 지남에 따라 어떻게 변하는지 **흐름 (동역학)**을 완벽하게 파악할 수 있습니다.

② 주파수 안경: "소리의 높낮이를 구분하는 귀"

• 뇌파는 다양한 진동수 (δ, θ, α, β, γ) 로 이루어져 있습니다. MVGT 는 이 중에서도 **'차분 엔트로피 (DE)'**라는 특별한 지표를 사용합니다.
• 이는 마치 음악에서 고음과 저음의 에너지를 정교하게 구분하는 것과 같습니다. 어떤 감정은 빠른 진동수 (고음) 와 관련 있고, 어떤 감정은 느린 진동수 (저음) 와 관련 있다는 것을 정확히 포착합니다.

③ 공간 안경: "뇌의 지도와 연결망을 보는 눈" (가장 중요한 부분)

• 뇌는 여러 부위가 따로 놀지 않고 서로 대화하며 감정을 만듭니다. MVGT 는 뇌를 단순한 점들이 아니라 하나의 거대한 도시로 봅니다.
• 뇌 영역 코딩: 뇌를 이마 (Frontal), 측두엽 (Temporal) 등 해부학적 구역으로 나누어, "이 감정은 이마 쪽에서 시작되었구나"라고 파악합니다.
• 중심성 코딩: 도시에서 중요한 교차로 (핵심 뇌 부위) 를 찾아냅니다.
• 기하학적 구조 코딩: 뇌의 3 차원 공간에서 두 부위 사이의 물리적 거리를 고려합니다. "가까운 두 뇌 부위는 서로 더 많이 대화할 것이다"라는 상식을 인공지능에게 가르친 것입니다.

이 세 가지 안경을 통해 MVGT 는 뇌의 시간적 흐름, 주파수 특징, 공간적 연결을 동시에 분석하여 감정을 읽어냅니다.

3. 어떻게 작동할까요? (비유: 레고 블록 조립)

1. 데이터 준비: 뇌파 신호를 잘게 썰어 '시간 조각 (토큰)'으로 만듭니다.
2. 정보 더하기: 각 조각에 뇌의 위치 정보 (어느 부위인지) 와 연결 정보 (누구와 대화하는지) 를 레고 블록처럼 붙입니다.
3. 상호작용 학습: 이 정보들을 바탕으로 뇌의 각 부위들이 서로 얼마나 중요한 관계를 맺고 있는지 계산합니다. (예: "이마 부위가 활성화되면 오른쪽 측두엽도 함께 반응하네?")
4. 반복 정제: 한 번에 끝내지 않고, 이 과정을 여러 번 반복하며 (Recycling) 감정을 더 정확하게 추려냅니다.

4. 결과는 어떨까요?

이 모델은 공개된 뇌파 데이터셋 (SEED, SEED-IV) 에서 실험을 했습니다.

• 결과: 기존에 가장 잘하던 방법들보다 정확도가 훨씬 높게 나왔습니다.
• 의미: 단순히 숫자만 높은 게 아니라, 뇌의 왼쪽과 오른쪽이 어떻게 협력하는지, 어떤 뇌 부위가 감정의 핵심인지를 실제로 찾아냈습니다. 예를 들어, 기쁨은 이마 쪽과 관련이 깊다는 기존 연구 결과와도 일치하는 패턴을 찾아냈습니다.

💡 요약

이 논문은 **"뇌파로 감정을 읽을 때, 시간, 소리 (주파수), 공간 (위치) 이 세 가지를 따로 보지 말고 하나로 통합해서 봐야 한다"**는 것을 증명했습니다.

마치 한쪽 눈만 뜨고 그림을 보는 대신, 3D 안경을 끼고 그림의 깊이, 색감, 움직임을 모두 동시에 감상하는 것처럼, MVGT 는 뇌의 복잡한 신호를 입체적으로 이해하여 더 정확한 감정 인식을 가능하게 합니다. 이는 향후 뇌파를 이용한 감정 인식 기기나 뇌 - 컴퓨터 인터페이스 (BCI) 기술 발전에 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

뇌전도 (EEG) 신호는 정서 인식 (Emotion Recognition) 분야에서 중요한 생체 신호이지만, 이를 효과적으로 활용하는 데에는 다음과 같은 주요 과제가 존재합니다.

• 다중 도메인 정보의 활용 부족: EEG 신호는 시간적 (Temporal), 주파수적 (Frequency), 공간적 (Spatial) 특성을 모두 포함하고 있습니다. 기존 연구들은 주로 단일 관점의 분석에 의존하거나, 특정 도메인 정보만을 제한적으로 사용하여 복잡한 상호작용을 포착하지 못했습니다.
• 기존 모델의 한계:
  • 시간 도메인: RNN 은 순차적 구조로 병렬화가 어렵고, CNN 은 수용 영역 (Receptive Field) 이 제한적입니다. 단일 시간점의 채널 간 관계를 다루는 어텐션 메커니즘은 뇌 조직의 이방성 전도 특성으로 인해 시간 불일치 (Time-unaligned) 이벤트로 인해 성능 저하가 발생할 수 있습니다.
  • 공간 도메인: 메시지 전달 기반의 그래프 신경망 (MPGNN) 은 채널 간 구조적 관계를 학습하지만, 과도한 평활화 (Over-smoothing) 및 과도한 압축 (Over-squashing) 문제로 인해 복잡한 표현 학습에 한계가 있습니다. 또한, EEG 의 기하학적 및 해부학적 구조 정보를 충분히 활용하지 못합니다.

2. 제안 방법론: MVGT (Multi-view Graph Transformer)

저자들은 시간, 주파수, 공간 도메인의 정보를 통합하여 EEG 신호의 미세한 특성을 포착하는 **공간 관계 기반의 다중 뷰 그래프 트랜스포머 (MVGT)**를 제안합니다.

2.1 핵심 구성 요소

1. 주파수 도메인 (Frequency Domain):

   • EEG 신호의 5 개 주파수 대역 ($\delta, \theta, \alpha, \beta, \gamma$) 에서 추출된 **미분 엔트로피 (Differential Entropy, DE)**를 특징 표현으로 사용합니다. DE 는 고주파 및 저주파 에너지 패턴을 구별하는 데 효과적임이 입증되었습니다.

2. 시간 도메인 (Temporal Domain) - "Inverted" 방식:

   • 기존 방식 (단일 시간점의 다중 채널을 토큰으로 처리) 과 달리, 연속된 시간 세그먼트 전체를 토큰으로 매핑합니다.
   • 슬라이딩 윈도우를 통해 연속된 시간 구간을 입력으로 받아, 피드포워드 신경망 (FFN) 을 통해 각 채널의 시간적 패턴을 독립적으로 추출합니다. 이는 수용 영역을 확장하고 시간적 동역학을 더 잘 포착하도록 합니다.

3. 공간 도메인 (Spatial Domain) - 다중 공간 인코딩:

   • 그래프 트랜스포머의 어텐션 메커니즘에 세 가지 공간 인코딩을 통합하여 채널 간 상관관계를 적응적으로 모델링합니다.
     • 뇌 영역 인코딩 (Brain Region Encoding, BRE): 신경과학 연구에 기반하여 뇌를 4 가지 방식 (LOBE, GENERAL, FRONTAL, HEMISPHERE) 으로 세분화하고, 각 전극에 학습 가능한 태그를 부여하여 임베딩합니다.
     • 중심도 인코딩 (Centrality Encoding, CE): 노드의 상대적 중요도를 반영합니다.
     • 기하학적 구조 인코딩 (Geometric Structure Encoding, GSE): 3D 공간상에서 채널 간의 유클리드 거리를 가우시안 기저 함수 (Gaussian Basis Functions) 를 사용하여 인코딩합니다. 이는 방향성 있는 공간 인코딩 행렬을 생성하여 $(i, j)$와 $(j, i)$ 간의 다른 상관관계를 학습할 수 있게 합니다.

2.2 모델 아키텍처

• 그래프 트랜스포머 (Graph Transformer): 오버-스무딩 문제를 완화하고 유연한 공간 지각을 제공합니다.
• 어텐션 메커니즘: GSE 를 소프트맥스 어텐션의 편향 (Bias) 항으로 통합하여, 채널 간 거리가 가까울수록 더 높은 주의를 기울이도록 유도합니다.
• 반복적 정제 (Iterative Refinement/Recycling): 모델의 출력을 다시 입력으로 피드백하여 (Recycling), 인코딩된 정보를 반복적으로 정제하고 정서 패턴을 더 정밀하게 학습합니다.
• Pre-LN 구조: 레이어 정규화 (LayerNorm) 를 어텐션과 FFN 전에 적용하여 안정적인 그라디언트 흐름을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 다중 도메인 통합: 시간, 주파수, 공간 정보를 단일 모델에 통합하여 EEG 신호의 복잡한 상호작용을 포착하는 새로운 아키텍처를 제안했습니다.
2. 혁신적인 시간 임베딩: 연속된 시간 세그먼트를 토큰으로 처리하는 'Inverted' 방식을 도입하여 시간적 수용 영역을 확장하고 시간 불일치 문제를 해결했습니다.
3. 정교한 공간 인코딩: 뇌의 해부학적 구조 (LOBE, HEMISPHERE 등) 와 기하학적 거리 정보를 그래프 트랜스포머의 어텐션 메커니즘에 통합하여, 기존 GNN 의 한계를 극복하고 방향성 있는 공간 관계를 학습했습니다.
4. 반복적 정제 전략: 모델의 표현력을 높이기 위해 출력을 재순환 (Recycling) 하는 방식을 적용했습니다.

4. 실험 결과 (Results)

• 데이터셋: 공개된 정서 인식 데이터셋인 SEED 및 SEED-IV를 사용하여 평가했습니다.
• 성능:
  • SEED 데이터셋: MVGT-F(FRONTAL scheme) 가 **96.55%**의 정확도를 기록하여 기존 최첨단 (SOTA) 모델 (EmoGT: 95.02%, MV-SSTMA: 95.32%) 을 능가했습니다.
  • SEED-IV 데이터셋: MVGT-G(GENERAL scheme) 가 **94.03%**의 정확도를 기록하여 기존 SOTA 모델 (MV-SSTMA: 92.82%) 보다 1.21% 높은 성능을 보였습니다.
• Ablation Study:
  • 시간 임베딩 방식 (Inverted) 변경만으로도 성능이 향상되었습니다.
  • 공간 인코딩 중 **GSE(기하학적 구조 인코딩)**가 가장 큰 성능 향상을 가져왔으며, BRE 와 CE 도 유의미한 기여를 했습니다.
  • 모든 구성 요소를 통합했을 때 최적의 성능을 달성했습니다.
• 시각화: 학습된 채널 간 관계를 시각화한 결과, 정서 처리에 전두엽, 측두엽, 두정엽 등 여러 뇌 영역의 분산된 상호작용이 관여함이 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 EEG 기반 정서 인식 분야에서 다중 뷰 (Multi-view) 접근법의 중요성을 입증했습니다. 특히, 시간적 연속성을 고려한 토큰화 전략과 뇌의 해부학적/기하학적 구조를 그래프 트랜스포머에 효과적으로 통합한 점은 향후 뇌-컴퓨터 인터페이스 (BCI) 및 affective computing 연구에 중요한 시사점을 제공합니다. 제안된 MVGT 모델은 단순한 분류 성능 향상을 넘어, 정서 상태가 뇌의 특정 영역이 아닌 분산된 신경 회로의 조화로운 상호작용에서 비롯됨을 데이터 기반으로 규명했다는 점에서 의의가 큽니다.