What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

기술 요약: 뇌는 무엇을 보는가? 뇌-시각 정렬의 미스터리를 풀기 위한 다중 뷰 신경 표현(Multiview Neural Representations)

문제 정의
제로샷 시각 디코딩(Zero-shot visual decoding)은 특정 테스트 카테고리에 대한 사전 노출 없이 비침습적 신경 기록으로부터 시각적 의미론을 추론하는 것을 목표로 한다. 최근 대규모 데이터셋(예: THINGS-EEG)과 사전 학습된 시각-언어 모델(예: CLIP)의 발전으로 이 작업이 용이해졌으나, 여전히 상당한 과제가 남아 있다. EEG 신호는 본질적으로 노이즈가 많고, 비정상적(non-stationary)이며, 공간적으로 거칠다. 기존의 정렬 방법들은 종종 신경 반응의 이질적인 구조를 포착하지 못하는 "전체론적(holistic)" EEG 임베딩에 의존한다. 구체적으로, 이러한 접근 방식은 EEG 데이터에 내재된 보완적인 시간적 역동성, 스펙트럼 패턴, 그리고 공간적 의존성을 간과하는 경우가 많으며, 이는 특히 피험자 간(cross-subject) 및 세션 간(cross-session) 시나리오에서 시각적 의미론과 약하게 정렬되는 불안정한 표현으로 이어진다.

방법론
저자들은 사전 학습된 시각적 의미 공간과 EEG 신호를 정렬하는 견고한 EEG 인코더를 구축하기 위해 설계된 통합 다중 뷰 EEG 표현 학습 프레임워크를 제안한다. 이 방법은 비전 인코더를 수정하는 대신, 세 가지 상호 보완적인 뷰를 공동으로 모델링하여 더 강력하고 구조화된 EEG 인코더를 학습하는 데 집중한다:

1. 시간적 모델링 (입력 조건부 상태 공간 - Input-Conditioned State-Space): 장기적이고 입력 적응적인 시간적 의존성을 포착하기 위해, 프레임워크는 선택적 상태 공간 모델(Selective State-Space Model, S3M)을 채택한다. 이 모듈은 입력 의존적인 스텝 크기와 투영(projection)에 따라 시간에 따라 진화하는 잠재 상태를 유지한다. 출력은 국소적 시간 패턴을 포착하기 위해 1D 컨볼루션을 통해 더욱 정교해진다.
2. 스펙트럼 모델링 (적응형 학습 가능 웨이브릿 분해 - Adaptive Learnable Wavelet Decomposition, ALWD): 미리 정의된 주파수 대역을 넘어, 이 방법은 입력 신호에 따라 주파수 표현을 동적으로 선택하는 ALWD를 도입한다. 이는 학습 가능한 저역 통과 및 고역 통과 필터 뱅크를 활용하여, 샘플 특유의 가중치를 합성함으로써 EEG를 저주파(안정적인 진동)와 고주파(일시적인 활동) 성분으로 분해한다. 별도의 S3M이 이러한 성분들을 처리하며, 이후 교차 주파수 어텐션 메커니즘을 통해 스펙트럼 스케일 전반의 정보를 통합한다.
3. 공간적 모델링 (어텐션 변조 그래프 학습 - Attention-Modulated Graph Learning): 전극이 상호작용하는 뇌 영역을 포착한다는 점을 인식하여, 프레임워크는 그래프 컨볼루션 네트워크(GCN)를 사용하여 공간적 의존성을 모델링한다. 이는 학습 가능한 글로벌 구조와 입력 의존적 에지 어텐션을 결합한 동적 인접 행렬을 구축하여, 공유된 공간 구조와 샘플 특유의 기능적 상호작용을 모두 포착할 수 있게 한다.

정렬 및 학습
시간적, 스펙트럼적, 공간적 특징은 하나의 압축된 EEG 임베딩($z_{eeg}$)으로 융합되어, 고정된 CLIP-ViT-H-14 인코더에서 추출된 시각 임베딩($z_{img}$)과 정렬된다. 정렬은 다음을 통해 이루어진다:

• 대조 학습 (Contrastive Learning): 대칭적 대조 손실(symmetric contrastive loss)을 통해 쌍을 이룬 EEG-이미지 임베딩을 공유된 의미 공간에 정렬한다.
• EEG 특화 정규화 (EEG-Specific Regularization): EEG의 가변성을 해결하기 위해 저자들은 두 가지 정규화 항을 도입한다:
  • 반복 일관성 정규화 (Repetition Consistency Regularization, RCR): 동일한 자극에 대한 반복된 시행(trial) 간의 일관성을 강제한다.
  • 프로토타입 수준 대조 정규화 (Prototype-Level Contrastive Regularization, CPCA): 클래스 수준의 의미적 구조를 강화한다.

핵심 기여

• 통합 다중 뷰 프레임워크: 제로샷 EEG 시각 디코딩을 위해 장기적 시간 역동성, 적응형 스펙트럼 구조, 그리고 공간적 전극 상호작용을 공동으로 모델링하는 최초의 프레임워크이다.
• 보완적 인코더 설계: EEG 신호의 뚜렷한 특성을 명시적으로 분리하고 모델링하는 특정 모듈(S3M, ALWD, 어텐션 변조 GCN)을 도입하였다.
• 정규화 전략: 시행 수준의 일관성과 클래스 수준의 의미적 정렬을 포함하여 표현의 안정성을 개선하였다.
• 체계적인 세션 간 평가: 의미론적 디코딩 맥락에서 이전에 탐구되지 않았던 설정인, 서로 다른 기록 세션 간의 EEG-이미지 디코딩에 대한 첫 번째 체계적인 평가를 제시하였다.

실험 결과
본 방법은 세 가지 제로샷 설정 하에 THINGS-EEG 벤치마크(1,854개 객체 개념, 10명의 피험자)에서 평가되었다:

• 피험자 내 (Within-Subject): Top-1 정확도 54.8%, **Top-5 정확도 85.6%**를 달성하여, 가장 강력한 베이스라인인 UBP보다 각각 +3.9%, +5.9% 높은 성능을 보였다.
• 피험자 간 (Cross-Subject): Top-1 정확도 15.3%, **Top-5 정확도 45.4%**를 달성하였으며, UBP 대비 Top-1은 +2.9%, Top-5는 +12.0% 향상되어 피험자 간 일반화 능력을 입증하였다.
• 세션 간 (Cross-Session): Top-1 정확도 40.8%, **Top-5 정확도 78.0%**를 달성하였으며, 이는 기존 방법들이 보고된 베이스라인이 거의 없는 세션 의존적 가변성 상황에서도 안정성을 보여준다.

어블레이션 연구(Ablation studies)를 통해 세 가지 뷰(시간, 스펙트럼, 공간) 중 하나라도 제거하거나 정규화 항을 제거하면 성능이 크게 저하됨을 확인하였으며, 이를 통해 다중 뷰 접근 방식의 필요성을 검증하였다.

의의 및 주장
본 논문은 EEG 신호의 다중 뷰 구조를 명시적으로 모델링하는 것이 시각 디코딩 작업에서 의미론적 정렬과 일반화 성능을 모두 크게 향고시킨다고 주장한다. 홀리스틱(holistic) 임베딩에서 벗어나 뇌 활동의 시간적, 스펙트럼적, 공간적 특성을 존중하는 구조화된 표현으로 나아감으로써, 제안된 방법은 EEG-시각 정렬을 위한 더 신뢰할 수 있는 기반을 제공한다. 저자들은 이 접근 방식이 특히 세션 의존적 가변성과 피험자 간 일반화가 수반되는 실제적인 시나리오에서, 더 견고한 신경 디코딩을 향한 확장 가능한 경로를 제공한다고 제안한다. 이러한 결과는 노이즈가 많은 신경 기록과 고차원적인 시각 의미론 사이의 간극을 메우는 데 있어 구조화된 귀납적 편향(inductive bias)이 매우 중요하다는 점을 강조한다.