기술 요약: 딥 모델, 얕은 정렬 (Deep Models, Shallow Alignment)

문제 정의

신경 시각 디코딩(Neural visual decoding)은 비침습적 신경 신호(EEG/MEG)로부터 인간의 시각적 지각을 재구성하는 것을 목표로 하며, 이를 위해 신경 역동성과 시각적 표현 사이의 정렬 함수를 학습하는 것을 목적으로 한다. 최근의 대조 학습(contrastive) 방식들은 일반적으로 사전 학습된 비전 인코더의 **최종 임베딩(final embeddings)**과 신경 신호를 정렬한다. 그러나 본 논문은 이 두 양상(modality) 사이의 근본적인 입도 불일치(granularity mismatch) 문제를 식별하였다:

1. 시각적 표현(Visual Representations): 현대의 비전 모델은 고수준의 의미론적 불변성(high-level semantic invariance)을 최적화하도록 설계되었다. 이들의 최종 레이어는 범주 분리성을 극대화하기 위해 국소적 구조적 세부 사항(질감, 윤곽선 등)을 억제하는 공격적인 의미론적 압축(흔히 "신경 붕괴(Neural Collapse)"라고 묘사됨)을 거친다.
2. 신경 신호(Neural Signals): EEG/MEG 신호는 저수준 속성(공간 주파수, 색상)부터 고수준 의미론에 이르기까지 다양한 수준의 시각적 추상화 단계를 인코딩한다. 즉, 신경 신호는 단일한 추상화 수준에 국한되지 않는다.

이러한 불일치는 **깊이-용량 역설(Depth–Capacity Paradox)**이라 명명된 역설적인 현상을 초래한다: 비전 백본의 용량을 높이는 것(예: ResNet-50에서 대규모 Vision Transformer로 이동)이 최종 레이어 정렬을 사용할 때 디코딩 성능을 개선하기는커녕 오히려 저하시키는 경우가 발생한다. 더 큰 모델일수록 과도한 의미론적 추상화로 인해 신경 신호에 존재하는 미세한 구조적 정보를 더 많이 버리게 된다.

방법론: 얕은 정렬 (Shallow Alignment)

저자들은 최종 출력이 아닌 **중간 단계의 시각적 표현(intermediate visual representations)**을 정렬 대상으로 탐색하는 체계적인 프레임워크인 **얕은 정렬(Shallow Alignment)**을 제안한다. 핵심 가설은 중간 레이어가 의미론적 변별력을 유지하면서도 충분한 구조적 충실도를 보유하는 "입도 교정된(granularity-calibrated)" 균형을 제공한다는 것이다.

이 방법론은 세 가지 핵심 요소로 구성된다:

1. 중간 표현 선택 (Intermediate Representation Selection): 최종 임베딩($z_{last}$) 대신, 비전 인코더 $E_\phi$의 중간 레이어 $l^*$로부터 시각적 타겟($z_I$)을 도출한다.
   $$z_I = \text{Pool}(h^{(l^*)}(x_I))$$
   저자들은 다양한 백본(ResNet, ViT, DINOv2, InternViT 등)에 대해 레이어별 전수 조사를 수행하여 최적의 깊이를 식별한다.

2. 공간 풀링 전략 (Spatial Pooling Strategies): 패치 수준의 특징을 고정된 차원의 벡터로 집계하기 위해 다양한 풀링 메커니즘을 평가한다. 전략에는 다음이 포함된다:

   • 전역 평균 풀링 (Global Average Pooling, 균등 방식).
   • 중심 제한 풀링 (Center-restricted pooling, 중심와 영역에 집중).
   • 적응형 가중치 부여 (Adaptive weighting): 입력 이미지에 따라 패치에 동적으로 가중치를 부여하는 학습된 어텐션 메커니즘(예: selfmlp)을 사용하며, 이는 글로벌 컨텍스트가 아직 완전히 통합되지 않은 얕은 레이어에서 우수한 성능을 보인다.

3. 다층 캐스케이드 퓨전 (Multi-Layer Cascade Fusion): 서로 다른 중간 레이어들이 상보적인 구조 및 의미 정보를 인코딩한다는 점을 인식하여, 여러 인접한 최적 레이어(예: $L_{24}, L_{28}, L_{32}$)의 유사도 행렬을 융합하여 입도를 집계한다.

4. 정렬 프로토콜 (Alignment Protocol): 신경 인코더(경량 MLP, EEGProject 사용)와 선택된 시각적 특징을 선형 매핑을 통해 공유 잠재 공간으로 투영하고, 대칭적 대조 목적 함수(InfoNCE loss)를 사용하여 학습한다.

주요 결과

THINGS-EEG 및 THINGS-MEG 데이터셋에 대한 광범-한 실험은 얕은 정렬의 효능을 입증한다:

• 성능 향상: 얕은 정렬은 표준 최종 레이어 정렬 및 기존의 최첨단 베이스라인(예: NICE, NeuroBridge, UBP)보다 유의미하게 우수한 성능을 보인다.
  • THINGS-EEG (피험자 내, Intra-subject)에서 이 방법은 82.6%의 Top-1 정확도를 달 기록하였으며, 이는 NeuroBridge(63.2%)와 UBP(50.9%)를 크게 상회한다.
  • 다양한 비전 백본에 걸쳐 **22%에서 58%**에 이르는 성능 향상을 보였다. 예를 들어, DINOv2는 최종 레이어 사용 시 17.5%에서 중간 레이어 사용 시 75.9%로 개선되었다.
• 깊이-용량 역설 해결: 최적의 중간 깊이에서 정렬함으로써, 본 논문은 양(+)의 스케일링 추세를 회복한다. 디코딩 성능은 사전 학습된 비전 백본의 용량이 증가함에 따라 일관되게 향상된다. 이는 최종 레이어 정렬에서 더 큰 모델이 과도한 압축으로 인해 더 작은 모델보다 성능이 떨어지는 현상과 대조적이다.
• 입도 분석 (Granularity Analysis):
  • 개념 정확도(Concept Accuracy) vs. 검색 정확도(Retrieval Accuracy): 개념 정확도(의미론적 범주 매칭)는 깊이에 따라 단조 증가하는 반면, 검색 정확도는 중간 레이어에서 정점을 찍고 최종 레이어에서 하락한다. 이는 최종 레이어가 특정 인스턴스를 구별하는 데 필요한 구조적 세부 사항을 상실함을 나타낸다.
  • 매니폴드 정렬 (Manifold Alignment): UMAP 시각화 결과 "U자형" 모달리티 간극이 드러났다. 초기 및 최종 레이어에서는 EEG와 이미지 특징의 클러스터가 분리되어 나타나지만, 중간 레이어에서는 최대 혼합 및 근접성을 보이며, 이는 최적의 정렬 깊이를 기하학적으로 확인시켜 준다.
• 강건성 (Robustness): 최적의 레이어 깊이는 주어진 모델 아키텍처에 대해 피험자 간에 대체로 일관되게 나타나며, 이는 정렬 대상이 개별적인 신경 변동성이 아닌 비전 인코더의 계층 구조에 의해 결정됨을 시사한다.

의의 및 주장

본 논문은 신경 시각 디코딩의 주요 병목 현상이 대규모 모델의 특징 품질 부족이 아니라, 잘못된 정렬 대상의 선택에 있다고 주장한다.

• 입도 교정 (Granularity Calibration): 저자들은 얕은 정렬을 완전 자동화된 추정기가 아닌, 하나의 입도 교정 프로토콜로 정의한다. 이는 비전 모델의 표현 입도를 신경 신호의 다중 스케일 특성에 맞추는 것이 매우 중요하다는 것을 보여준다.
• 스케일링 법칙 (Scaling Laws): 본 연구는 정렬 전략이 계층적 시각 처리 과정을 고려한다면, 신경 디코딩 또한 파운데이션 모델의 스케일링 법칙으로부터 혜택을 받을 수 있음을 확립한다.
• 메커니즘: 성능 향상은 대규모 모델의 최종 레이어에서 폐기되지만 노이즈가 많은 신경 데이터로부터 특정 시각 자극을 재구성하는 데 필수적인 미세한 구조적 세부 사항(질감, 형태)을 보존하는 데 기인한다.

결론적으로, 본 논문은 중간 표현이 그림적 구조(pictorial structure)와 의미론적 추상화 사이의 더 적절한 균형을 제공함으로써, 심층 인공 시각과 인간의 시각적 지각 사이의 간극을 효과적으로 메운다고 밝히고 있다.