🧬 biology

Seeing Like a Brain: Predicting Subject-Specific EEG Responses to Natural Visual Stimuli

이 논문은 자연스러운 이미지에 대한 피험자 특이적인 전뇌(whole-head) EEG 반응을 밀리초 단위의 추론으로 정확하게 예측하며, 강력한 제로샷 일반화 성능을 입증하고 핵심적인 시공간적 및 스펙트럼 신경 역학을 보존하는 오픈 소스 다목적 딥러닝 프레임워크를 소개한다.

원저자: Hanchuan Peng, Jiaqi Yang, Baodan Bai

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanchuan Peng, Jiaqi Yang, Baodan Bai

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

인간의 뇌는 외부 세계가 끊임없이 전기 신호로 번역되는 거대하고 정적인 극장과 같다. 당신이 어떤 장면을 볼 때 빛은 눈에 부딪히지만, 진짜 작업은 두개골 내부에서 일어난다. 그곳에서는 수십억 개의 뉴런이 복잡하고 빠른 패턴으로 발화하며 당신이 보고 있는 것을 이해하기 위해 분투한다. 수십 년 동안 과학자들은 뇌파(EEG)를 사용하여 이 전기적 대화를 들으려 노력해 왔다. 뇌파는 두피에 센서를 배치하여 미세한 전압 변화를 기록하는 방식이다. 뇌파는 밀리초 단위의 뇌 활동 속도를 포착하는 데 탁월하지만, 전통적으로 이는 일방통행이었다. 즉, 연구자들이 이미지에 대한 뇌의 반응을 기록한 뒤, 그 사람이 무엇을 보고 있었을지 추측하는 방식이었다. 이는 마치 관객의 사후 반응만을 보고 영화를 이해하려고 노력하는 것과 같다. 더 강력하지만 훨씬 어려운 목표는 이 과정을 역전시키는 것이다. 즉, 사람이 이미지를 보기도 전에 특정 뇌가 사진에 어떻게 반응할지를 정확히 예측하는 것이다. 이를 위해서는 단순히 이미지를 이해하는 것을 넘어, 개인의 고유한 신경 연결망을 이해하는 모델이 필요하다.

새로운 연구에서 연구진은 정확히 이 작업을 수행하는, 즉 기계가 인간의 뇌처럼 "볼 수 있도록" 가르치는 컴퓨터 시스템을 구축했다. 푸단 대학교와 상하이 의과대학 과학자들이 이끄는 연구팀은 자연스러운 사진을 입력값으로 받아 사람의 머리 전체에 걸쳐 발생할 전기적 활동에 대한 상세한 예측을 생성하는 프레임워크를 개발했다. 그들은 단순히 일반적인 패턴을 추측한 것이 아니라, 10명의 서로 다른 개인 각각에 대해 구체적인 63채널 전기 지도를 생성하도록 시스템을 훈련시켰다. 이 시스템은 먼저 이미지의 시각적 세부 사항을 분석한 다음, 정교한 신경망을 사용하여 해당 시각 정보가 뇌의 전기 회로를 통해 어떻게 파동처럼 퍼져나갈지를 시뮬레이션함으로써 작동한다. 그 결과물인 예측된 뇌 신호는 놀라운 정확도로 실제 신호와 일치하며, 뇌의 반응이 가진 타이밍, 리듬, 그리고 의미를 포착해 낸다.

연구진은 방대한 양의 자연 이미지와 10명의 자원봉사자로부터 얻은 뇌 기록을 사용하여 시스템을 테스트했다. 컴퓨터는 자원봉사자들이 훈련 단계에서 본 적 없는 동물, 차량, 도구의 이미지를 보여주었다. 그런 다음 컴퓨터는 각 개인의 뇌파가 어떤 모습일지를 예측했다. 이 예측치를 실제 뇌 기록과 비교했을 때, 가장 높은 일치도를 보인 곳은 뇌의 주요 시각 중심부인 후두엽(occipital lobe) 부근이었다. 이 영역에서 예측된 전기 파동은 실제 파동을 매우 밀접하게 따랐으며, 이미지에 대한 뇌의 초기 반응의 정밀한 타이밍까지 보존했다. 시스템은 이러한 예측을 10밀리초 미만 안에 수행할 수 있을 만큼 빨랐는데, 이는 향가 실시간 응용 분야에 사용될 수 있음을 시사한다.

이 성과가 특히 중요한 이유는 컴퓨터가 단순히 흐릿한 평균적 뇌 활동을 만들어낸 것이 아니라, 각 개인의 고유하고 독특한 신호를 포착했기 때문이다. 예측된 신호는 뇌의 각 부분에서 지배적인 특정 주파수를 포함하여 뇌파의 올바른 리듬을 유지했다. 또한, 뇌가 서로 다른 유형의 물체에 어떻게 반응하는지에 대한 미묘한 차이도 보존했다. 예를 들어, 시스템은 자동차 사진에 대한 뇌의 반응과 개 사진에 대한 뇌의 반응을 구분할 수 있었으며, 각 물체에 대한 정보의 고유한 "형태"를 온전히 유지했다. 이는 모델이 단순히 특정 사례를 암기한 것이 아니라, 시각 정보가 신경 활동으로 변환되는 깊은 구조적 규칙을 학습했음을 의미한다.

또한 이 연구는 사진에 대한 뇌의 반응이 단일하고 균일한 사건이 아니라, 시간과 공간에 따라 펼쳐지는 복잡한 연쇄 작로임을 밝혔다. 컴퓨터는 뇌가 형상을 처음 인지할 때 발생하는 초 단위의 초기 전기적 섬광뿐만 아니라, 본 것의 의미를 처리하면서 뒤따르는 더 느리고 복잡한 파동까지 성공적으로 재현했다. 다양한 뇌 영역에 걸쳐 데이터를 분석한 결과, 연구진은 머리 뒷부분과 느린 리듬의 뇌파에서 예측이 가장 정확하며, 머리 앞부분과 매우 빠른 고주파 신호는 예측하기 더 어렵다는 것을 발견했다. 이러한 정확도의 구배(gradient)는 뇌의 뒷부분이 시각 입력을 가장 먼저 받는 인간 시각 체계의 자연스러운 조직 구조를 반영한다.

모델이 일반적인 패턴에 기반해 추측하는 것이 아니라 이미지와 뇌 활동 사이의 연결 고리를 진정으로 학습했는지 확인하기 위해, 연구진은 엄격한 검증을 수행했다. 그들은 올바른 이미지에 대해 예측된 뇌파를 무작위로 섞인 잘못된 이미지에 대해 예측된 뇌파와 비교했다. 시스템은 일관되게 올바른 이미지에 대해 훨씬 더 나은 일치도를 보였으며, 이는 특정 시각적 세부 사항을 특정 신경 반응에 연결하는 법을 학습했음을 증명한다. 더욱이, 연구진이 다른 집단의 뇌 기록을 사용하여 시스템을 테스트했을 때도 동일한 패턴이 유지되었으며, 이는 컴퓨터가 학습한 규칙이 특정 데이터셋에 국한되지 않고 견고하다는 것을 시사한다.

이 연구는 물리적 세계와 우리의 내부 경험 사이의 가교를 이해하는 데 있어 중요한 진전을 의미한다. 이미지를 통해 개인의 뇌 반응을 성공적으로 예측함으로써, 연구진은 매번 모든 사람으로부터 직접 기록을 채집하지 않고도 뇌가 시각을 어떻게 처리하는지 연구할 수 있는 도구를 만들었다. 또한 이는 인공지능을 테스트하는 새로운 방법을 열어주어, 연구자들이 컴퓨터 시각 모델이 인간의 뇌처럼 작동하는지 확인할 수 있게 한다. 현재의 시스템은 머리 뒷부분에서 가장 잘 작동하며 각 개인별 훈련이 필요하지만, 이는 인간의 마음이 세상에 반응하는 방식을 높은 정밀도로 시뮬레이션할 수 있는 미래를 향한 명확한 경로를 제시한다. 이 연구는 우리가 보는 것에 대한 뇌의 전기적 반응이 무작위적인 노이즈가 아니라, 기계에 의해 해독되고 재현될 수 있는 매우 구조적이고 예측 가능하며 개별화된 신호임을 확인시켜 준다.

기술 요약: 뇌처럼 보기 (Seeing Like a Brain)

문제 정의
본 논문은 자연스러운 시각 자극이 어떻게 개별화되고 역동적인 신경 반응을 유발하는지 예측하는 인지 신경과학의 근본적인 과제를 다룹니다. 기존 연구는 주로 시각적 콘텐츠를 뇌 활동으로부터 추론하는 역방향(inverse) 신경 디코딩에 집중해 왔으나, 시각 입력으로부터 피험자 특이적인 뇌파(EEG) 반응을 직접 예측하는 순방향(forward) 모델링에는 중요한 공백이 존재합니다. 현재의 순방향 모델링 접근 방식은 제한된 EEG 채널에 집중하거나, 전체 머리의 공간적 구조 및 다중 스케일 시간 역동성을 포착하지 못하며, 단일 지표 평가에 의존하고 오픈 소스 구현이 부족하다는 한계가 있습니다. 또한, 대규모의 고품질 EEG 데이터셋을 확보하는 데는 많은 자원이 소모되므로, 신경 데이터 자원을 증강하고 인공 시각 표현의 생물학적 타당성을 평가할 수 있는 계산 모델이 필요합니다.

방법론
저자들은 자연 이미지를 63채널의 시간 해상도를 가진 EEG 반응으로 매핑하는 오픈 소스 기반의 피험자 특이적 프레임워크를 제안합니다. 이 아키텍처와 학습 전략은 복잡한 시공간 및 스펙트럼 역동성을 포착하도록 설계되었습니다:

데이터 및 전처리: 모델은 자연 이미지를 급속 연속 시각 제시(RSVP) 패러다임을 통해 관찰하는 10명의 피험자로 구성된 THINGS-EEG 데이터셋을 사용하여 학습 및 평가됩니다. 전처리는 에포크 추출(−200 ms ~ 1,000 ms), 기선 보정(baseline correction), 250 Hz로의 리샘플링, 그리고 공간적 백색화를 위한 다변량 노이즈 정규화(MVNN)를 포함합니다.
시각 인코딩: 입력 이미지는 인간의 중심와 시각(foveated vision, 편심도에 따라 해상도가 감소함)을 모사하기 위해 FoveaBlur 과정을 거칩니다. 이렇게 흐려진 이미지는 고정된 CLIP RN50 인코더에 의해 처리되어 시각적 의미 표현을 추출합니다.
네트워크 아키텍처:
- 조건 인코더 (Condition Encoder): MLP가 CLIP 특징을 256차원의 조건부 임베딩으로 매핑합니다.
- AdaLN 트랜스포머 디코더 (AdaLN Transformer Decoder): 이 모듈은 학습 가능한 시간적 쿼리로부터 시간 해상도를 가진 EEG 잠재 표현을 생성하며, 적응형 레이어 정규화(AdaLN)를 통해 시각적 조건에 의해 조절됩니다.
- 다중 스케일 확장 딜레이 시간 정밀화 (Multi-scale Dilated Temporal Refinement): 5개의 계층적 확장 잔차 블록(dilation rates 1, 2, 4, 8, 16)이 시계열 특징을 정밀하게 다듬어 단기 변동과 장기 의존성을 모두 포착합니다.
- 채널별 헤드 (Channel-wise Heads): 선형 헤드가 정밀화된 시간 특징을 최종 63채널 EEG 출력으로 매핑합니다.
학습 전략: 모델은 **다중 목적 손실 함수(multi-objective loss function)**와 2단계 학습 전략을 사용합니다:
- 손실 구성 요소: 총 손실은 시간적(MSE + 피어슨 상관계수), 스펙트럼(전체 스펙트럼 및 대역별 전력 스펙트럼 밀도), 그리고 의미적(UBP-Brain 인코더 정렬 및 InfoNCE) 목적 함수를 결합합니다.
- 단계: 1단계는 시간적 및 의미적 일관성을 최적화합니다. 2단계는 주파수 영역의 정렬을 정밀하게 하기 위해 스펙트럼 제약을 도입합니다.
평의: 본 프레임워크는 보지 못한 개념에 대한 제로샷(zero-shot) 테스트를 통해 시간 역동성, 스펙트럼 특성, 공간적 위상, 그리고 의미적 표현을 기준으로 평가됩니다.

주요 결과

시공간 일관성: 모델은 견고한 제로샷 예측을 달성하여, 시각 유발 반응의 진화하는 시공간 구조를 재현합니다. 모델은 밀리초 단위의 정밀도로 초기 시각 ERP 성분(C1, P1, N1)을 보존합니다. 예측 정확도는 전방에서 후방으로 향하는 명확한 구배를 보이며, 후두부 영역(평균 상관계수 $r=0.749$ )에서 전두부 영역( $r=0.164$ )보다 높은 충실도를 나타냅니다.
스펙트럼 일관성: 예측된 EEG는 약 9.77 Hz에서의 특징적인 알파 피크를 포함하여 전체적인 스펙트럼 엔벨로프와 세타, 알파, 베타 대역에서의 후방 우세 현상을 보존합니다. "True vs. Shuffle" 분석은 모델이 델타, 알파, 베타 대역에서 이미지와 일치하는 정보를 무작위 쌍 결합 베이스라인보다 높게 보존함을 확인시켜 줍니다.
의미적 일관성: 예측된 EEG는 실제 데이터와 유사한 고차원 표현 기하학을 유지합니다. 공유된 EEG-CLIP 공간 내에서, 모델은 특정 이미지와 그 신경 반응 사이의 대응 관계뿐만 아니라 서로 다른 시각적 개념 간의 상대적 거리(집단 수준에서 표현 유사도 분석 상관계수 $\rho=0.691$ )를 보존합니다.
교차 데이터셋 검증: Alljoined-1.6M 데이터셋(32채널 소비자용 EEG)에 적용했을 때, 모델은 자극 변별력이 높은 피험자들을 대상으로 주요 시공간 및 스펙트럼 경향, 특히 후방 우세 현상을 재현합니다.
효율성: 모델은 계산 효율이 뛰어나 단일 GPU에서 이미지를 약 8.4 ms(중앙값 7.5 ms) 내에 처리하여 밀리초 단위의 추론이 가능합니다.

의의 및 주장
본 논문은 자연 이미지를 개별화된 EEG 반응으로 연결하는 효율적인 순방향 모델을 구축하여, 시각적 신경 역동성을 연구하기 위한 확장 가능한 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

직접적 순방향 모델링: 역방향 디코딩을 넘어 시각 자극으로부터 신경 활동으로 이어지는 생성 과정을 직접 모델링합니다.
포괄적 충실도: 모델이 단순한 평균치를 넘어 미세한 시간적 성분, 스펙트럼 특성, 그리고 의미적 표현 기하학을 포착함을 입증합니다.
오픈 소스 프레임워크: 분야의 재현성과 공정한 비교를 촉진하기 위해 오픈 소스 구현을 제공합니다.
생물학적 타당성: 인공 시각 표현을 실제 인간 데이터와 비교함으로써 그 생물학적 타당성을 평가할 수 있는 도구를 제공합니다.

저자들은 현재의 예측이 단일 시행(single-trial)의 변동성이 아닌 안정적인 시행 평균(trial-averaged) 자극 고정 활동을 반영한다는 점을 인정하며 한계를 겸허히 밝힙니다. 또한 전방 영역 및 고주파수에서의 예측 충실도가 낮다는 점과, 현재의 피험자 특이적 학습이 피험자 간 일반화에 제한이 있다는 점을 강조합니다. 향론으로는 단일 시행 예측, 피험자 간 일반화, 그리고 이질적인 기록 시스템 문제를 해결하는 것을 제안합니다.

유사한 논문