Graph Neural Networks in EEG-based Emotion Recognition: A Survey

본 논문은 뇌 영역 간 의존성이 감정과 밀접하게 연관되어 있다는 점에 착안하여, EEG 기반 감정 인식을 위한 그래프 신경망 (GNN) 연구들을 그래프 구성의 통일된 프레임워크 하에 3 단계로 체계적으로 분류·분석하고 향후 방향성을 제시하는 포괄적인 조사를 제공합니다.

핵심

🧠 1. 핵심 주제: 뇌파로 감정을 읽는 '감성 탐정'

우리의 뇌는 수많은 뉴런 (신경 세포) 으로 이루어진 거대한 도시입니다. 우리가 기쁠 때, 슬플 때, 화날 때, 이 도시의 각 구역 (뇌 영역) 들은 서로 다른 방식으로 소통합니다.

• 기존 방식: 단순히 "이 구역이 활성화되었으니 기쁜가?"라고 단편적으로 보는 것.
• 이 논문의 방식: 뇌의 각 구역들이 **서로 어떻게 연결되어 대화하는지 (관계)**를 파악해서 감정을 추론하는 것.

이때 등장하는 주인공이 **'그래프 신경망 (GNN)'**입니다. 이를 **'뇌 속의 관계 지도를 그리는 탐정'**이라고 생각하면 됩니다.

---

🗺️ 2. 이 논문이 제안한 '3 단계 탐정 가이드'

저자들은 기존에 흩어져 있던 다양한 연구 방법들을 하나의 통일된 틀 (프레임워크) 로 정리했습니다. 마치 집을 지을 때 기초 (노드) → 연결재 (엣지) → 구조 (그래프) 순서로 짓는 것처럼, GNN 을 만드는 과정도 3 단계로 나눴습니다.

1 단계: 노드 (Node) - "누구를 관찰할 것인가?"

뇌파 신호를 그래프의 '점 (노드)'으로 만들 때, 어떤 데이터를 점으로 삼을지 정하는 단계입니다.

• 단일 정보 (Univariate): 시간 흐름만 보거나, 주파수만 보거나, 원시 신호 그 자체를 점으로 씁니다. (예: "지금 이 뇌파의 강도만 봐.")
• 복합 정보 (Hybrid): 시간, 주파수, 신호의 특징을 모두 섞어서 더 풍부한 정보를 가진 점으로 만듭니다. (예: "시간 흐름과 주파수 특징을 모두 섞어서 이 뇌파의 성격을 파악.")

2 단계: 엣지 (Edge) - "누가 누구와 친구인가?"

뇌의 각 구역들 사이에 선 (엣지) 을 그어 연결하는 단계입니다. "이 두 뇌 영역이 서로 영향을 주고받는가?"를 결정합니다.

• 사전 지식 기반 (Model-independent): 의학적 지식을 미리 정해둡니다. (예: "물리적으로 가까운 뇌 영역은 친구일 거야", "뇌파의 패턴이 비슷하면 친구야")
• 학습 기반 (Model-dependent): 인공지능이 직접 학습하면서 "아, 이 두 뇌 영역은 감정을 느낄 때 자주 연결되네!"라고 스스로 찾아냅니다.

3 단계: 그래프 (Graph) - "어떤 구조로 집을 짓는가?"

이제 점과 선을 어떻게 배치할지 결정합니다.

• 멀티 그래프: 여러 개의 지도를 동시에 봅니다. (예: "수평적 연결, 수직적 연결, 시간적 연결을 모두 한눈에 보자")
• 계층적 그래프: 도시를 '동네' 단위로 묶고, 다시 '시' 단위로 묶는 식으로 위계를 둡니다. (예: "전두엽이라는 큰 구역 안에서 세부적인 대화를 먼저 보고, 그다음 다른 구역과 대화하는 순서")
• 시간 계열 그래프: 감정은 순간이 아니라 흐름입니다. 과거의 뇌파와 현재의 뇌파가 어떻게 이어지는지 시간의 흐름을 따라 그래프를 그립니다.
• 희소 그래프: 모든 뇌 영역이 다 연결된 게 아니라, 감정에 중요한 핵심 연결선만 남기고 나머지는 잘라냅니다. (소음 제거)

---

🔮 3. 앞으로의 과제: "더 똑똑한 탐정"을 위해

이 논문은 현재 기술의 한계와 앞으로 나아가야 할 방향도 제시했습니다.

1. 시간을 초월한 완전 연결 (Temporal fully-connected graph):

   • 현재: "어제 A 구역이 활성화되면 오늘 A 구역이 반응한다"는 식으로만 봅니다.
   • 미래: "어제 A 구역이 활성화되면, 오늘 B 구역이 반응한다"는 시간을 건너뛰는 연결까지 찾아내야 합니다. (뇌의 반응은 지연되어 다른 곳으로 퍼지기 때문입니다.)

2. 그래프 압축 (Graph condensation):

   • 현재: 뇌파 데이터가 너무 방대해서 불필요한 정보 (소음) 가 많습니다.
   • 미래: 감정에 중요한 핵심 정보만 남기고, 복잡한 그래프를 작고 깔끔한 요약본으로 줄이는 기술이 필요합니다. (효율성 극대화)

3. 이질적 그래프 (Heterogeneous graph):

   • 현재: 뇌파 (EEG) 만 봅니다.
   • 미래: 뇌파뿐만 아니라 심박수, 땀, 호흡 등 다른 신체 신호도 함께 그래프에 포함시켜야 합니다. 감정은 뇌만 하는 게 아니라 온몸이 반응하기 때문입니다.

4. 동적 그래프 (Dynamic graph):

   • 현재: 고정된 지도를 봅니다.
   • 미래: 감정은 순간순간 변합니다. 그래프의 연결선 자체가 시간에 따라 살아 움직이게 만들어야 더 정확한 감정을 읽을 수 있습니다.

---

💡 요약

이 논문은 **"감정을 읽는 인공지능을 만들 때, 뇌파 데이터를 어떻게 '관계의 지도'로 변환할지"**에 대한 가장 체계적인 가이드북입니다.

• 과거: 뇌파를 단순히 숫자 나열로 보았다.
• 현재: 뇌파를 '점과 선'으로 연결된 그래프로 보고, 인공지능이 그 관계를 학습한다.
• 미래: 시간의 흐름, 다른 신체 신호, 실시간 변화까지 모두 반영한 초정밀 뇌파 지도를 만들어 감정을 완벽하게 이해하는 것이 목표입니다.

이 연구는 뇌 - 컴퓨터 인터페이스 (BCI) 나 정신 질환 진단, 그리고 더 나아가 인간의 마음을 이해하는 기술의 발전에 큰 이정표가 될 것입니다.

기술 요약

논문 개요

이 논문은 뇌전도 (EEG) 신호를 활용한 감정 인식 분야에서 **그래프 신경망 (GNN, Graph Neural Networks)**의 적용 현황을 종합적으로 조사하고 체계화한 서베이 (Survey) 논문입니다. 뇌 영역 간의 의존성 (dependencies) 이 감정과 밀접하게 연관되어 있다는 점에 착안하여, 기존 시계열 분석 방법론과 구별되는 뇌 영역 의존성의 생리학적 기반을 반영한 GNN 구축을 위한 통합 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• 감정 인식의 중요성: 감정은 인간의 의사결정, 행동, 사회적 상호작용에 핵심적이며, 정신 질환 진단 및 뇌 - 컴퓨터 인터페이스 (BCI) 에 필수적입니다.
• EEG 의 우위성: 다른 생체 신호 (표정, 음성 등) 와 달리 EEG 는 뇌의 신경 활동과 전기적 신호 전달을 직접적이고 객관적으로 반영하여 진정한 감정을 파악하는 데 가장 유용한 데이터로 간주됩니다.
• 기존 방법의 한계:
  • 뇌 영역 간의 복잡한 상호작용과 의존성을 효과적으로 모델링하기 어렵습니다.
  • GNN 을 EEG 감정 인식에 적용하는 연구가 급증하고 있으나, 이를 위한 통합된 프레임워크나 체계적인 분류 체계가 부재했습니다.
  • 다른 시계열 작업과 달리, EEG 기반 감정 인식의 GNN 은 뇌의 생리학적 기반 (physiological bases) 을 고려해야 하므로 고유한 설계가 필요합니다.

2. 방법론 및 제안된 프레임워크 (Methodology)

저자들은 EEG 기반 감정 인식을 위한 GNN 구축을 **3 단계 (Stages)**로 나누는 통합 프레임워크를 제안했습니다. 이는 기존 방법들을 단순히 모델 구조로 분류하는 것이 아니라, 그래프 구성의 각 단계별 접근 방식을 분석합니다.

A. 노드 레벨 (Node-level Stage): 노드 특징 선택

뇌의 채널 (전극) 을 그래프의 노드로 정의할 때 사용하는 특징을 분류합니다.

• 단변량 노드 (Univariate node): 단일 특징 사용.
  • 시간 영역 (Temporal): 미분 엔트로피 (DE) 등 가장 흔하게 사용됨.
  • 주파수 영역 (Frequency): 전력 스펙트럼 밀도 (PSD) 등.
  • 원시 신호 (Raw signal): 직접적인 EEG 신호 사용 (정보 손실 최소화 but 차원 높음).
• 하이브리드 노드 (Hybrid node): 시간/주파수 특징을 결합하거나 다양한 특징을 집계 (Aggregation) 하여 사용. 다양한 의존성을 포착하지만 과적합 위험이 있음.

B. 엣지 레벨 (Edge-level Stage): 엣지 (연결성) 계산

뇌 영역 간의 연결 관계를 나타내는 엣지 행렬을 계산하는 방식 분류.

• 모델 독립적 엣지 (Model-independent edge): 모델 파라미터 학습 없이 사전 지식이나 신호 처리 기법으로 고정.
  • Prior: 생리학적 지식 (전극 간 물리적 거리, 10-20 시스템 등) 기반.
  • Distance: 유클리드 거리, 코사인 거리 등.
  • Similarity: 피어슨 상관관계, 위상 고정 값 (PLV) 등.
• 모델 의존적 엣지 (Model-dependent edge): 모델 파라미터를 통해 학습 가능한 엣지.
  • Parametric: 가중치 행렬 직접 학습.
  • Weighted/Bias: 노드 관계에 가중치나 편향을 추가.
  • Subspace: 노드를 부분 공간에 투영하여 유사성 계산 (어텐션 메커니즘 유사).

C. 그래프 레벨 (Graph-level Stage): 그래프 구조 설계

감정 EEG 의 의존성을 모델링하는 그래프 구조의 유형 분류.

• 멀티 그래프 (Multi-graph): 수평/수직, 시간/주파수, 지역/전역 등 다양한 의존성을 동시에 포착하기 위해 여러 그래프를 병렬로 구성.
• 계층적 그래프 (Hierarchical graph): 채널을 뇌 영역 그룹으로 묶어 지역적 (Intra-region) 및 영역 간 (Inter-region) 의존성을 계층적으로 모델링 (동적/사전 정의 계층).
• 시계열 그래프 (Time series graph): 시간 슬라이스 간 의존성을 모델링. 시간 슬라이스를 노드로 간주하거나 시간 인코더 (LSTM, Transformer) 를 결합.
• 희소 그래프 (Sparse graph): 감정과 직접 관련된 뇌 영역의 활동에 집중하여 불필요한 연결을 제거 (임계값 설정 또는 희소 가중치 추가).

3. 주요 기여 (Key Contributions)

1. 최초의 종합적 서베이: EEG 기반 감정 인식 분야의 GNN 에 대한 최초의 체계적인 리뷰를 제공했습니다.
2. 새로운 분류 체계 제안: 그래프 구성의 3 단계 (노드, 엣지, 그래프) 를 기반으로 한 통합 프레임워크를 제시하여, 연구자들이 특정 GNN 을 설계할 때 명확한 가이드라인을 얻을 수 있게 했습니다.
3. 생리학적 기반 강조: 일반적인 시계열 GNN 과 구별되는 뇌 영역 의존성의 생리학적 특성을 강조하며, 이를 반영한 설계 방향을 제시했습니다.
4. 미래 방향성 제시: 현재 연구의 한계를 극복할 수 있는 구체적인 미래 연구 과제를 제안했습니다.

4. 결과 및 분석 (Results & Analysis)

• 분류 결과: 기존 6 년 간의 연구 동향을 분석하여, 시간 영역 특징 (DE) 과 물리적 거리 기반의 엣지, 그리고 멀티/계층적 그래프 구조가 주류임을 확인했습니다.
• 성능 비교: 단일 특징 (Univariate) 보다는 하이브리드 특징이 더 포괄적인 정보를 제공하지만, 데이터 양이 부족할 경우 과적합 위험이 있음을 지적했습니다.
• 구조적 통찰: 단순한 완전 연결 그래프보다는 생리학적 타당성을 가진 희소 그래프나 계층적 구조가 감정 인식 성능 향상에 기여함을 보였습니다.

5. 의의 및 미래 방향 (Significance & Future Directions)

이 논문은 EEG 기반 감정 인식 분야에서 GNN 설계에 대한 표준적인 가이드를 제공하며, 다음과 같은 미래 연구 방향을 제시합니다.

• 시간적 완전 연결 그래프 (Temporal fully-connected graph): 현재는 동일 전극의 시간적 의존성만 고려되나, 서로 다른 전극 간의 시간적 지연 (비동기적 상호작용) 을 포함한 완전 연결 시간 그래프 구축이 필요함.
• 그래프 응축 (Graph condensation): 고해상도 EEG 데이터의 노이즈와 중복 정보를 줄이고, 감정과 관련된 핵심 뇌 영역 정보만 압축하여 학습 효율성을 높이는 기술.
• 이종 그래프 (Heterogeneous graph): 뇌 신호뿐만 아니라 심박수 등 다른 생체 신호를 통합하여 뇌 - 장기 간 상호작용을 포함한 더 포괄적인 감정 의존성 모델링.
• 동적 그래프 (Dynamic graph): 학습 과정에서 고정된 것이 아니라, 시간에 따라 구조 자체가 진화하는 그래프를 통해 뇌의 동적인 감정 변화를 정밀하게 추적.

결론

이 서베이는 뇌 - 컴퓨터 인터페이스 (BCI) 및 감정 인식 분야에서 GNN 의 역할을 정립하고, 뇌의 생리학적 특성을 반영한 차세대 GNN 모델 설계에 대한 명확한 로드맵을 제시한다는 점에서 학술적, 실용적 가치가 매우 높습니다.