기술 요약: RECTOR - 정서 및 인지 표상 학습을 위한 마스크된 영역-채널-시간 모델링 (Masked Region-Channel-Temporal Modeling)

1. 문제 정의

정서적 및 인지적 장애는 영역(region), 채널(channel), 시간(time) 전반에 걸쳐 분포된 시변적 뇌 네트워크 역학으로 나타납니다. 임상 진단을 위해 EEG 및 sEEG로부터 견고한 표현(representation)을 학습하려는 기존의 접근 방식들은 세 가지 주요 과제에 직면해 있습니다:

• 경직된 해부학적 사전 지식(Rigid Anatomical Priors): 기존 방법론(예: 그래프 신경망, 트랜스포머)은 지역적 상호작용을 모델링하기 위해 고정된 해부학적 정의(예: 표준 엽(lobe) 구조)에 의존하는 경우가 많습니다. 이는 인지 처리 과정 중에 진화하는 적응형 기능적 구조를 포착하는 데 실패하며, 이로 인해 결측 채널에 대한 견고성이 제한되고 크로스 몽타주(cross-montage) 일반화가 어려워집니다.
• 피상적 학습(Superficial Learning): 무작위 마스킹을 사용하는 표준 자기지도 학습(SSL)은 모델이 일반화 가능한 특징보다는 시공간적 지름길(shortcuts)을 학습하도록 유도하는 경향이 있습니다. 또한, 많은 방법론이 위상 구조(topological structure) 모델링을 간과하여, 신경생리학적 타당성이 부족한 표현을 생성합니다.
• 계산 및 구조적 비효율성(Computational and Structural Inefficiency): 전체 시공간 어텐션(Full spatio-temporal self-attention)은 고밀도 신경 데이터에 대해 계산 비용이 매우 높으며, 무의미한 관계를 증폭시킬 위험이 있습니다. 반대로, 공간과 시간을 분리하여 모델링하는 방식은 결합된 상호작용을 포착하지 못하며, 인구 수준의 공간 인코딩은 확립된 기능적 네트워크 구조를 무시합니다.

2. 방법론

저자들은 영역-채널-시간의 결합된 표현 학습을 통합하기 위해 설계된 엔드 투 엔드 자기지도 프레임워크인 RECTOR(Masked Region-Channel-Temporal Modeling)를 제안합니다.

2.1. 핵심 아키텍처: RECTOR-SA

프레임워크의 백본은 **적응형 기능적 분할(Adaptive Functional Partitioning, AFP)**에 의해 구동되는 계층적, 블록 희소(block-sparse) 셀프 어텐션 메커니즘인 RECTOR-SA입니다.

• 계층적 토큰화(Hierarchical Tokenization): 모델은 채널 토큰($X_C$)과 함께 영역 토큰($X_R$)을 도입함으로써 뇌의 계층 구조를 명시적으로 모델링합니다.
• 적응형 기능적 분할(AFP): 고정된 사전 지식과 달리, AFP는 초기 해부학적 사전 지식(예: 10-20 시스템 또는 전극 라벨링 알고리즘)으로부터 시작하여 훈련 과정 동안 태스크 특화적인 기능적 영역으로 진화하는 소프트 채널-영역 할당 행렬($\Pi_X$)을 학습합니다. 이는 이산적 위상을 위한 학습 가능한 할당 헤드인 Gumbel-Softmax를 통해 달성됩니다.
• 블록 희소 어텐션(Block-Sparse Attention): 모든 토큰에 대해 밀집된 어텐션을 수행하는 대신, RECTOR-SA는 어텐션을 세 가지 병렬적인 희소 메커니즘으로 분해합니다:
  1. 위상 어텐션(Topological Attention): 채널과 할당된 영역 간의 상호작용을 모델링합니다.
  2. 국소 기능 어텐션(Local Functional Attention): 할당된 영역 내에서 시간에 따른 미세한 상호작용을 포착합니다.
  3. 전역 기능 어텐션(Global Functional Attention): 영역 간의 고차원적 협응을 모델링합니다.
• Top-p 게이팅(Top-p Gating): 동적 게이팅 연산자는 약한 연결을 제거하여, 두드러진 위상적 상호작용에 집중하도록 하는 학습된 디노이저(denoiser) 역할을 합니다.

2.2. 학습 프레임워크: 마스크된 위상 및 표현 학습 (MTRL)

RECTOR은 단일 순방향 패스(forward pass) 내에서 세 가지 상호 보완적인 목적 함수를 최적화하는 통합된 SSL 패러다임을 채택합니다:

1. 마스크된 예측 모델링 (MPM): 모델은 입력 공간과 잠재 공간 모두에서 마스킹된 입력 신호와 표현을 재구성합니다. 이는 국소 신호 재구성과 표현 정렬을 결합하여 표현 붕괴(representational collapse)를 방지합니다.
2. 위상 구조 모델링 (TSM): 이 목적 함수는 학습된 영역-채널 할당을 명시적으로 규제합니다. 이는 모델이 잠재 공간에서 마스킹된 위상 할당을 예측하도록 강제하고, 이를 입력 공간의 할당과 정렬함으로써 학습된 위상이 데이터 구조에 충실하도록 보장합니다.
3. 교차 뷰 일관성 (CVC): **위상 인식 다중 뷰 마스킹(Topology-Aware Multi-View Masking)**을 사용하여, 모델은 서로 다른 위상 도메인(영역, 채널, 시간, 영역-시간, 채널-시간)으로부터 구별되는 다수의 타겟 뷰를 생성합니다. CVC는 이러한 다양한 뷰 사이의 불변성을 강제하여 견고한 의미론적 표현을 학습합니다.

전체 사전 훈련 목적 함수는 이러한 손실 함수들을 영역-채널 정규화 항(Region-Channel Regularization term)과 결합하여 영역 공통 정보와 채널 특화 정보를 분리합니다.

3. 주요 기여

1. 통합된 아키텍처: 고정된 해부학적 사전 지식을 넘어, AFP를 통해 정적인 정의를 적응형 기능 영역으로 진화시켜 영역 공통 역학과 채널 특화 역학을 효과적으로 분리하는 RECTOR-SA를 도입했습니다.
2. 전방위적 SSL 패러다임: 단순한 마스킹 모델이 흔히 학습하는 피상적인 지름길 문제를 해결하기 위해, 예측 모델링, 위상 구조 모델링, 교차 뷰 일관성을 공동 최적화하는 MTRL을 제안했습니다.
3. 효율성 및 견고성: RECTOR는 블록 희소 계산을 통해 최첨단 성능을 달성하며, 밀집 어텐션 모델에 비해 결측 채널에 대한 우수한 견고성과 크로스 몽타주 일반화 능력을 제공합니다.

4. 실험 결과

저자들은 다양한 벤치마크에서 RECTOR를 평가했습니다:

• EEG 감정 인식: SEED, SEED-IV, DEAP 데이터셋에서 RECTOR는 피험자 의존(SD) 및 피험자 독립(SI) 설정 모두에서 새로운 SOTA(State-of-the-art) 결과를 달성했으며, 주요 태스크 특화 모델(예: MMM, mdJPT) 및 파운데이션 모델(예: PopT, CBraMod)을 평균 3% 이상의 차이로 일관되게 앞질렀습니다.
• sEEG 과업 몰입도: MSIT 및 ECR 데이터셋에서 RECTOR는 과업 몰입도 분류에서 지도 학습 기반 베이스라인(Significant) 및 자기지도 학습 방법(Brant, Du-IN, BaRISTA)을 크게 상회했습니다.
• 견고성 및 일반화:
  • 결측 채널: RECTOR는 무작위 채널 드롭아웃(최대 50%) 상황에서도 탁월한 안정성을 보여주었으며, 베이스라인 모델들이 성능 저하를 보이는 구간에서도 성능을 유지했습니다.
  • 크로스 몽타주: 모델은 서로 다른 센서 레이아웃(예: DEAP에서 SEED로) 간에 표현을 전이할 때 최소한의 성능 저하를 보였으며, 이는 고정 위상 모델들이 큰 폭의 하락을 겪는 것과 대조적입니다.
  • 확장성: 성능이 더 많은 데이터와 모델 크기에 따라 일관되게 향상되어, 강력한 스케일링 특성을 입증했습니다.

5. 의의 및 주장

본 논문은 RECTOR가 다음과 같은 이유로 신경 표현 학습의 중요한 진보를 이루었다고 주장합니다:

• 격차 해소: 고정된 해부학적 제약에 의존하지 않고 영역, 채널, 시간 모델링을 성공적으로 통합함으로써, 뇌 네트워크 역학의 적응적 특성을 포착해 냈습니다.
• 임상적 잠재력: 이질적인 EEG/sEEG 데이터에 대한 대규모 사전 훈련의 기반을 제공하여, 데이터의 이질성 및 하드웨어 가변성(센서 오류/몽타주 차이)과 같은 임상 배치의 핵심 장벽을 해결합니다.
• 해석 가능성: 다층적 시각화를 통해 깊은 해석 가능성을 제공합니다. 저자들은 AFP가 해부학적 사전 지식을 넘어 안정적이고 공간적으로 일관된 정교화(채널의 약 36-51%를 재할당)를 학습하며, 이것이 알려진 신경생리학적 패턴(예: 감정 처리에 있어서의 전두엽 비대칭성)과 일치함을 입증했습니다.

저자들은 RECTOR가 단순히 성능을 높이는 도구가 아니라, 신경생리학적으로 타당한 표현을 학습함으로써 더 해석 가능하고 적응적이며 개인화된 신경 중재를 가능하게 하는 프레임워크라고 강조합니다.