기술 요약: 마스크드 오토인코더(Masked Autoencoders)를 통한 휴지기 신경 데이터에서의 지각 관련 표현 학습

문제 정의

임상용 신경 보철 기술은 주관적 지각을 신경 활동으로부터 해독하는 과정에서 심각한 데이터 병목 현상에 직면해 있다. 효과적인 디코딩 모델을 훈련시키려면 신경 기록과 지각 보고를 쌍으로 연결하는 레이블링된 데이터가 필요하지만, 참가자 가용성, 짧은 실험 세션, 주관적 상태 측정의 어려움 등으로 인해 이러한 데이터는 매우 희귀하다. 반대로, 휴식기 및 실험 블록 사이의 자발적 신경 활동은 수 시간 동안 축적되지만 대부분 활용되지 않은 채 남아 있다. 이러한 불균형은 특히 지각 임계치(perceptual thresholds)에서 두드러지는데, 동일한 미세 자극이라도 피질 상태의 변동으로 인해 서로 다른 결과(지각함 vs 지각하지 못함)를 낼 수 있기 때문이다. 레이블링된 사례가 제한된 지도 학습 기반 디코더는 이러한 임계치 수준의 결과를 결정짓는 미묘한 신경 상태를 구별하는 데 종종 실패한다.

방법론

데이터 획득 및 전처리

본 연구는 선천적 시각 장애가 있는 참가자의 일차 시각 피질(V1)에 삽입된 96채널 유타 어레이(Utah array)로부터 얻은 데이터를 사용하였다. 세 가지 상호 보완적인 데이터셋이 활용되었다:

1. 휴지기(Resting State): 자극이 없는 상태의 자발적 활동을 담은 총 14.6시간의 252개 세션으로, 오직 사전 학습(pretraining) 용도로만 사용되었다.
2. 사이코메트릭(Psychometric): 강도와 지각 간의 관계를 매핑하기 위해 12개 전극에서 6단계 전류 레벨(1–81 µA)로 자극을 가했다.
3. 임계치(Threshold): 4개 전극에서 지각 임계치(탐지율 50%) 자극을 가하였으며, 여기서 동일한 자극이 가변적인 지각 결과를 생성하였다.

신경 데이터는 다중 단위 활동(MUA)으로 처리되었다. 주요 전처리 차별점은 다음과 같다: 휴지기 데이터는 연속적인 z-score 정규화를 거친 반면, 자극 데이터는 자극 아티팩트의 영향을 완화하기 위해 로버스트 z-score 정규화(중앙값 및 중앙값 절대 편차 사용)를 적용하였다. 신경 활동은 자극 시작 후 170ms 시점에서 128ms 윈도우를 사용하여 추출되었으며, 이는 아티팩트를 피하면서 인구 집단 반응을 포착하기 위함이다.

모델 아키텍처: 마스크드 오토인코더 (MAE)

저자들은 마스크드 오토인코더를 사용하는 자기 지도 학습 프레임워크를 채택하였다. 아키텍처에는 pre-layer RMSNorm, SwiGLU, QKNorm을 포함한 표준 수정 사항이 포함되었다.

• 입력: 96개 전극 × 128ms의 신호 윈도우를 패치화하였다 (시간적 패치 크기 = 16, 공간적 패치 크기 = 1).
• 마스킹: 훈련 중 75%의 패치가 무작위로 마스킹되었다.
• 인코더(Encoder): 가시적인 패치만을 처리하여 잠재 표현(latent representations)을 생성한다.
• 디코더(Decoder): (1) 가시적 패치로부터의 인코더 출력, (2) 학습된 마스크 토큰, (3) 학습된 세션 임베딩 토큰의 세 가지 입력을 사용하여 마스킹된 패치를 재구성한다.
• 위치 인코딩(Positional Encoding): 시간적 및 공간적 위치를 위한 별도의 학습 가능한 임베딩이 각 신호 임베딩에 합산되었다.

훈련 목표

모델은 배치 크기 32, AdamW 옵티마이저를 사용하여 100만 스텝 동안 훈련되었다. 손실 함수는 모델이 세션 간에 일반화되면서도 신경 역학을 보존하는 표현을 학습하도록 세 가지 항을 결합하였다:

1. 재구성 손실(Reconstruction Loss): 마스킹된 패치에 대해서만 계산된 평균 제곱 오차(MSE).
2. 상관 손실(Correlation Loss): 예측된 신호와 실제 신호 사이의 상관관계 측정.
3. 교차 세션 손실(Cross-Session Loss): 서로 다른 세션의 샘플은 끌어당기고 동일한 세션의 샘플은 밀어내는 역(inverted) SigLip 공식을 사용하여, 모델이 세션 특정 특징이 아닌 근본적인 신경 역학을 학습하도록 강제한다.

최종 잠재 표현은 모든 인코더 출력을 평균하여 얻었으며, 결과적으로 768차원의 벡터가 된다.

평가 전략

학습된 표현의 유용성을 평가하기 위해 사전 훈련된 인코더를 고정(frozen)하였다. 추출된 특징은 L2 정규화된 로지스틱 회귀 분류기에 입력되어 사이코메트릭 및 임계치 수준 데이터셋의 지각 결과를 예측하는 데 사용되었다. 성능은 다음 두 가지 베이스라인과 비교되었다:

1. 원시 MUA 데이터 (12,288차원으로 펼쳐진 형태).
2. PCA로 축소된 MUA 신호 (768차원).

주요 결과

해석 가능한 구조의 출현

사전 훈련 과정에서 자극이나 지각 레이블에 대한 감독(supervision)을 전혀 받지 않았음에도 불구하고, MAE는 복잡한 뇌 조직을 포착하는 표현을 학습하였다:

• 공간적 조직: t-SNE 투영에서 인접한 전극의 트라이얼들이 함께 클러스터링되었는데, 이는 V1의 망상 체계(retinotopic organization)를 반영한다. 자극 진폭은 이러한 클러스터 내에서 위치를 체계적으로 이동시켰다.
• 지각 상태 분리: 지각("True")과 놓친 트라이얼("False")은 잠재 공간에서 부분적으로 구별되는 영역을 점유하였다. 상당한 중첩이 존재했으나(이는 임계치 근처의 확률적 본성과 일치함), 이 분리는 자발적 역학이 지각 상태와 관련된 구조를 포함하고 있음을 나타냈다.

디코딩 성능

사전 훈련된 특징은 베이스라인에 비해 지각 디코딩 정확도를 유의미하게 향면시켰다:

• 일반 사이코메트릭 과업: MAE 방식은 **84.1%**의 균형 정확도를 달성하여, 원시 MUA(80.2%)와 PCA(82.4%)를 능가하였다. PCA 대비 이러한 개선은 모델이 선형 압축으로는 놓칠 수 있는 관련 비선형 구조를 포착했음을 시사한다.
• 임계치 수준 과업: 동일한 자극에 대해 지각이 확률적으로 변하는 더 어려운 과업에서, MAE는 **64.0%**의 정확도를 달성하여 원시 MUA(60.0%)와 PCA(61.3%)를 앞질렀다.

임계치 수준의 잠재 공간 분석 결과, 일부 전극은 지각됨과 놓침 사이의 명확한 분리를 보여준 반면, 다른 전극들은 심한 혼합을 보였다. 저자들은 이 64.0%의 정확도 한계를 임계치 근처의 지각이 갖는 본질적인 확률적 특성, 즉 거의 동일한 신경 상태가 서로 다른 결과를 초래할 수 있다는 점 때문이라고 설명하였다.

의의 및 주장

본 논문은 자발적인 피질 활동이 단순한 노이즈가 아니라 풍부하고 과업 관련성이 있는 구조를 포함하고 있다고 주장한다. 14.6시간의 레이블 없는 휴지기 데이터로 마스크드 오토인코더를 사전 훈련함으로써, 저자들은 자기 지도 학습이 임상 신경 보철 분야의 데이터 병목 현상을 효과적으로 극복할 수 있음을 입증하였다.

핵적인 발견은 자발적 활동에 대한 비지도 사전 훈련이 뇌의 공간적 배치나 지각 상태 분리와 같은 근본적인 특성을 학습하게 하여, 이것이 레이블된 과업의 디코딩 성능 향상으로 직접 연결된다는 것이다. 이 접근법은 풍부한 레이블 없는 신경 데이터셋을 활용하여 신경 디코딩을 강화하려는 시나리오, 특히 지각 임계치가 중요한 상황에서 유망한 전략을 제공한다.

한계점

저자들은 이러한 결과가 단일 피험자로부터 도출되었으므로, 일반화 가능성을 판단하기 위해 추가적인 재현 연구가 필요하다고 언급하였다. 또한, 자발적 활동이 지각 구조를 인코딩하는 구체적인 메커니즘(예: 동일한 변동적 뇌 상태를 탐색하거나 시각 경험을 재생하는 것 등)은 아직 추측 단계에 머물러 있다. 현재의 128ms 분석 윈도우는 피질 상태의 느린 변화를 포착하기에는 너무 짧을 수 있으며, 이는 향후 연구를 위한 영역으로 남겨두었다.