Neural network-based encoding in free-viewing fMRI with gaze-aware models

이 논문은 자연스러운 시선 이동을 고려하여 CNN 특징 맵에서 고정된 영역만 샘플링하는 '시선 인지 인코딩 모델'을 제안함으로써, 고정된 시선 조건 하의 기존 모델과 유사한 성능을 유지하면서도 모델 파라미터를 112 배 줄이고 더 생태학적으로 타당한 fMRI 분석을 가능하게 함을 보여줍니다.

핵심

1. 기존 방식: "수박 가게의 모든 수박을 다 살필 필요는 없다" (기존 연구의 문제점)

기존의 뇌 연구들은 참가자들에게 **"눈을 한곳에 딱 고정하고 (Fixation) movies 를 봐라"**라고 지시했습니다. 마치 수박 가게 주인이 손님이 수박을 고르는 동안, 가게에 있는 **모든 수박 (화면의 모든 픽셀)**을 동시에 분석해야 한다고 생각한 것과 같습니다.

• 문제점:
  1. 비현실적: 우리는 영화를 볼 때 눈을 움직이며 중요한 장면을 봅니다. 눈을 고정시키는 것은 자연스러운 행동이 아닙니다.
  2. 비효율적: 뇌가 실제로 보는 것은 화면의 아주 작은 부분뿐인데, 컴퓨터는 화면 전체의 데이터를 다 처리해야 하므로 데이터 양이 너무 많고 (파라미터가 112 배 더 많음), 계산하는 데 엄청난 전산 자원이 필요합니다.

2. 새로운 방식: "눈이 가는 곳만 집중해서 보는 '시선 인식' 모델"

이 연구팀은 **"사람이 눈을 어디에 두었는지 (Eye-tracking)"**를 데이터에 포함시켰습니다.

• 비유: 이제 수박 가게 주인은 **"손님이 눈을 어디에 두었는지"**만 추적합니다. 손님이 수박 A 를 보고 있다면, 수박 B 나 C 는 아예 무시하고 수박 A 만 자세히 분석합니다.
• 핵심 기술:
  • CNN (합성곱 신경망): 컴퓨터가 이미지를 이해하는 방식입니다. 기존에는 화면 전체를 다 분석했지만, 이 연구는 **"눈이 머무른 곳의 이미지 특징"**만 뽑아냅니다.
  • 결과: 필요한 데이터 양이 112 배나 줄어든데도, 뇌가 어떻게 반응하는지 예측하는 정확도는 기존 방식과 똑같았습니다.

3. 왜 이 방식이 더 좋은가요? (세 가지 장점)

① 훨씬 가벼운 컴퓨터 (효율성)

기존 방식은 거대한 슈퍼컴퓨터가 필요했지만, 이 새로운 방식은 일반 노트북으로도 충분히 분석할 수 있을 정도로 가볍습니다. (메모리 사용량이 37 배 줄어듦)

② 더 자연스러운 뇌 이해 (생태학적 타당성)

우리는 게임을 하거나 가상 현실 (VR) 을 할 때 눈을 자유롭게 움직입니다. 눈을 고정시키는 실험은 이런 자연스러운 상황을 왜곡합니다. 이 연구는 **"눈을 자유롭게 움직이는 자연스러운 상태"**에서도 뇌를 정확히 읽을 수 있음을 증명했습니다.

③ 활발하게 움직이는 사람을 더 잘 이해 (동적 행동)

가장 흥미로운 점은, 눈을 많이 움직이고 활발하게 영화를 보는 사람일수록 이 새로운 모델의 성능이 더 좋아진다는 것입니다.

• 비유: 비행기 조종사가 시야를 빠르게 움직이며 상황을 파악할 때, 고정된 시선으로만 보는 조종사보다 훨씬 더 많은 정보를 얻습니다. 이 모델은 그런 **'활발한 시선'**을 가진 사람의 뇌 활동을 더 잘 읽어냅니다.

4. 결론: 뇌 연구의 새로운 지평

이 연구는 **"뇌를 연구할 때 참가자를 가두지 말고, 자연스러운 행동을 허용하자"**는 메시지를 줍니다.

• 과거: "눈을 고정하고 앉아 있어라." (인위적이고 비효율적)
• 미래: "눈을 자유롭게 움직이며 게임을 하거나 영화를 봐라." (자연스럽고 효율적)

이처럼 **시선 (Gaze)**을 모델에 포함시킴으로써, 우리는 더 적은 데이터와 계산 능력으로도 인간의 뇌가 세상을 어떻게 보는지 더 정확하게, 그리고 더 자연스럽게 이해할 수 있게 되었습니다. 이는 향후 가상현실 (VR) 치료, 뇌 - 컴퓨터 인터페이스, 개인 맞춤형 뇌 분석 등에 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 연구의 한계: 최근 뇌-인코딩 모델 (Brain-encoding models) 연구는 합성곱 신경망 (CNN) 의 표현력을 활용하여 원숭이 및 인간의 시각 시스템 정보 처리 패턴을 모사하는 데 성공했습니다. 그러나 대부분의 실험은 참가자가 화면 중앙을 **고정 (Fixation)**하도록 지시하는 조건에서 수행되었습니다.
• 생태학적 타당성 (Ecological Validity) 부족: 자연스러운 시각 행동은 환경의 중요한 특징을 탐색하기 위해 빈번한 안구 운동을 수반합니다. 고정 조건은 자연스러운 시각 행동을 왜곡하며, 시각적으로 활발한 뇌 영역의 활동을 억제하고, 참가자에게 불필요한 인지 부하를 가중시킵니다.
• 모델 복잡도 및 데이터 비효율성: 기존 CNN 기반 인코딩 모델은 CNN 계층의 전체 공간적 특징을 하나의 특징 벡터로 병합 (Pooling) 하여 사용합니다. 이는 모델의 파라미터 공간을 과도하게 확장시켜 대규모 데이터셋을 필요로 하며, 특징 선택의 모호성을 초래합니다.
• 연구 목표: 안구 추적 (Eye-tracking) 데이터를 활용하여 CNN 기반 인코딩 모델을 수정함으로써, 고정 없이 수행된 자연스러운 시청 (Free-viewing) 환경에서도 높은 예측 성능을 내면서도 모델 파라미터를 획기적으로 줄이는 '시선 인지형 (Gaze-aware)' 인코딩 모델을 제안하는 것입니다.

2. 방법론 (Methodology)

• 데이터셋: 'StudyForrest' 데이터셋을 사용했습니다. 이는 독일어 더빙 영화 '포레스트 검프'를 8 회 (약 15 분씩) 시청하는 동안 수집된 약 2 시간 분량의 fMRI 데이터와 안구 추적 데이터를 포함하며, 참가자 13 명 (고정 조건 없음) 에 대한 자료입니다.
• CNN 특징 추출:
  • 사전 학습된 VGG-19 모델을 사용하여 영화 프레임의 특징을 추출했습니다.
  • 완전 연결 층 (Fully connected layers) 을 제거하고, 5 개의 최대 풀링 (Max-pooling) 층에서 특징 맵 (Feature maps) 을 추출했습니다.
  • 계산 효율성을 위해 모든 층의 특징 맵을 공간적으로 리스케일링하여 하나의 '하이퍼레이어 (Hyperlayer)' 특징 맵으로 통합했습니다.
• 시선 인지형 특징 생성 (Gaze-Aware Feature Construction):
  • 참가자별 안구 추적 데이터 (Remodnav 알고리즘을 통한 고정점 식별) 를 활용했습니다.
  • 각 프레임에서 참가자가 실제로 주시한 (Fixation) 위치의 좌표를 사용하여, CNN 특징 맵에서 해당 위치의 특징만 샘플링했습니다.
  • 이를 통해 전체 공간 특징 중 참가자가 실제로 본 부분만 선택된 시계열 특징 벡터를 생성했습니다.
• 모델 학습:
  • 생성된 시선 기반 특징 시계열을 사용하여 **선형 인코딩 모델 (Linear Encoding Model)**을 학습시켰습니다.
  • 리지 회귀 (Ridge Regression) 를 사용하여 뇌의 각 보셀 (Voxel) 활동과 특징 간의 매핑을 학습했습니다.
  • 혈역학적 반응 함수 (HRF) 를 고려하여 4.5 초의 시간 지연을 적용했습니다.
• 비교 모델 (Baselines):
  1. 기저선 모델 (Baseline): 고정점 정보를 무시하고 모든 공간 특징을 사용한 모델 (가장 큰 파라미터 수).
  2. 중앙 고정 모델 (Center Fixation): 실제 시선이 아닌 프레임 중앙의 특징만 추출한 모델 (시선 인지형과 파라미터 수는 동일).
  3. PCA 모델: 전체 특징 공간의 주성분 분석 (PCA) 을 통해 차원을 축소한 모델.

3. 주요 기여 및 혁신 (Key Contributions)

1. 파라미터 효율성 극대화: 제안한 시선 인지형 모델은 기존 전체 특징을 사용하는 모델 대비 112 배 적은 파라미터로 동등한 성능을 달성했습니다. 이는 모델의 메모리 요구량을 37 배 줄여 일반 노트북에서도 학습이 가능하게 만들었습니다.
2. 자연스러운 실험 설계 지원: 고정 조건 없이 수행된 자연스러운 시청 데이터에서도 CNN 기반 인코딩이 유효함을 입증했습니다. 이는 게임, 가상 현실 등 상호작용이 필요한 자연주의적 실험 환경에 모델을 적용할 수 있는 길을 열었습니다.
3. 동적 안구 운동의 이점 규명: 안구 운동이 활발한 참가자일수록 시선 인지형 모델의 성능이 더 크게 향상됨을 발견했습니다. 이는 동적인 시각 행동이 뇌 인코딩에 중요한 정보를 제공함을 시사합니다.

4. 실험 결과 (Results)

• 성능 비교:
  • 시선 인지형 모델은 기저선 모델 (전체 특징 사용) 과 통계적으로 유의미한 차이가 없는 예측 성능을 보였습니다 (모든 보셀 중 약 53% 예측 성공).
  • 반면, 중앙 고정 모델은 32%, PCA 모델은 3% 만 유의미하게 예측하여, 실제 시선 위치의 중요성을 입증했습니다.
  • V1, V2, V3, LO, FG 등 시각 하행 경로 (Ventral visual stream) 전반에 걸쳐 두 모델 모두 유의미한 인코딩 능력을 보였습니다.
• 공간적 가중치 분석:
  • 기저선 모델은 학습된 공간 가중치가 실제 시선 분포보다 더 넓게 퍼져 있는 경향이 있었습니다. 이는 시선 밖의 주변 정보도 뇌 활동에 기여하거나, 모델이 특징 간의 자연스러운 상관관계를 학습했음을 시사합니다.
  • 흥미롭게도, 시선 분포와 모델 가중치의 유사도가 높은 참가자일수록 기저선 모델의 성능은 오히려 낮아지는 역설적인 결과가 관찰되었습니다. 이는 시선 인지형 모델이 복잡한 안구 운동을 가진 데이터에서 더 강력하게 작동함을 의미합니다.
• 안구 운동 빈도와의 상관관계:
  • 시선 인지형 모델의 성능은 참가자가 movie 동안 수행한 고정점 (Fixation) 수와 강한 양의 상관관계 (r=0.81) 를 보였습니다. 즉, 안구 운동이 활발할수록 시선 기반 특징 선택이 더 효과적입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 생태학적 타당성 확보: 이 연구는 뇌 인코딩 모델이 실험적 통제 (고정) 를 포기하고 자연스러운 행동 (안구 운동) 을 모델 입력으로 통합할 수 있음을 보여주었습니다. 이는 실제 세계의 시각 처리를 더 정확하게 이해하는 데 필수적입니다.
• 계산 효율성: 112 배의 파라미터 감소는 데이터 수집 비용과 계산 자원을 절감하여, 더 많은 연구실에서도 고도화된 뇌 인코딩 모델을 구축할 수 있게 합니다.
• 미래 방향:
  • 고정점뿐만 아니라 안구 운동 (Saccades) 과 매끄러운 추종 (Smooth pursuit) 도 모델에 포함할 필요성이 제기되었습니다.
  • CNN 특징의 공간적 해상도를 유지하면서 주변부 (Peripheral) 정보도 샘플링하는 방법 (예: 가우시안 커널 샘플링) 이 향후 연구 과제로 제시되었습니다.
  • 개인별 차이를 고려한 맞춤형 인코딩 모델 개발 및 fMRI 기반 안구 추적 등 새로운 기술과의 결합이 기대됩니다.

요약하자면, 이 논문은 안구 추적 데이터를 CNN 특징 추출 과정에 통합함으로써, 자연스러운 시청 환경에서도 높은 예측 정확도를 유지하면서 모델의 복잡성을 획기적으로 줄인 새로운 뇌 인코딩 프레임워크를 제시했습니다.