A hierarchy of spatial predictions across human visual cortex during natural vision

이 연구는 자연 시각 환경에서 인간 시각 피질이 예측 오류에 반응하는 방식이 시야의 중심부와 주변부에 따라 달라지며, 이는 저수준에서 고수준에 이르는 예측 계층 구조가 시야 위치에 따라 다르게 작동함을 보여줍니다.

핵심

이 논문은 우리의 뇌가 세상을 볼 때 어떻게 **'예측'**을 하는지에 대한 놀라운 발견을 담고 있습니다. 복잡한 과학 용어 대신, 일상적인 비유를 통해 쉽게 설명해 드리겠습니다.

🧠 핵심 아이디어: 뇌는 항상 "내일도 오늘과 같을 거야"라고 생각한다

우리의 뇌는 단순히 눈으로 들어온 이미지를 수동적으로 받아들이는 카메라가 아닙니다. 대신, 뇌는 끊임없이 "지금 내가 볼 게 뭐지?"라고 미리 추측을 합니다.

예를 들어, 반쯤 가려진 컵을 볼 때 뇌는 "아, 저건 컵이겠지"라고 미리 상상합니다. 만약 예상과 다르게 컵이 아니라 의자라면, 뇌는 "어? 예상과 다르네!"라고 놀라면서 더 집중하게 됩니다. 이를 **'예측 오류 (Prediction Error)'**라고 하는데, 이 논문은 자연스러운 상황 (자연 풍경 사진) 에서 뇌가 어떻게 이 예측을 하는지 7 테슬라 (매우 강력한) MRI 로 관찰했습니다.

---

🔍 주요 발견 1: "예상한 대로면 조용히, 예상과 다르면 소란스럽게"

연구진은 73,000 장의 자연 사진을 보여주고 뇌의 반응을 측정했습니다. 결과는 매우 명확했습니다.

• 예상 가능한 것 (Predictable): 주변 환경과 잘 어울리는 이미지 (예: 숲속의 나뭇잎) 를 볼 때, 뇌는 **"아, 이거 예상했어"**라고 생각하며 반응이 약해집니다. (에너지 절약)
• 예상치 못한 것 (Unpredictable): 주변과 안 어울리는 이상한 것 (예: 숲속의 자동차) 이 나타나면, 뇌는 **"뭐야? 이건 예상과 달라!"**라고 놀라며 반응이 강해집니다.

즉, 뇌는 예측이 잘 맞을 때는 조용히 쉬고, 틀릴 때만 크게 소란을 피운다는 것입니다.

---

🗺️ 주요 발견 2: 시야의 위치에 따라 뇌의 '예측 전략'이 다르다

이 연구의 가장 흥미로운 점은 **우리가 보는 곳 (중앙 vs 주변)**에 따라 뇌의 예측 방식이 완전히 달라진다는 것입니다.

1. 중앙 시야 (눈으로 딱 보는 곳) = "세부 사항까지 꼼꼼하게 예측하는 고수"

우리가 집중해서 보는 중앙 부분에서는 뇌가 계단식 (위계적) 으로 예측합니다.

• 비유: 마치 정교한 건축가가 건물을 설계할 때, 먼저 기둥 (저수준 특징) 을 확인하고, 그다음 벽돌 (중간 수준), 마지막으로 전체적인 디자인 (고수준 특징) 을 확인하는 것과 같습니다.
• 뇌의 반응:
  • 뇌의 초기 영역 (V1) 은 작은 점이나 선 같은 세부적인 예측에 민감합니다.
  • 뇌의 후기 영역 (V4 등) 은 물체의 형태나 의미 같은 거창한 예측에 민감합니다.
• 의미: 우리가 집중해서 볼 때는 뇌가 "이건 나무 줄기야, 그 위에 잎이 있겠지"라고 단계별로 아주 정교하게 예측합니다.

2. 주변 시야 (눈의 가장자리) = "큰 그림만 빠르게 파악하는 요령파"

우리가 눈으로 딱 보지 않고 **눈의 가장자리 (주변)**로 보는 곳에서는 상황이 달라집니다.

• 비유: 마치 비행기 조종사가 창밖을 볼 때, 땅의 작은 돌멩이 (세부 사항) 는 안 보더라도 "저기 숲이 있구나"라는 큰 그림만 빠르게 파악하는 것과 같습니다.
• 뇌의 반응:
  • 흥미롭게도, 뇌의 초기 영역 (V1) 에서조차 작은 점이나 선보다는 물체의 종류나 큰 형태 같은 '고수준 예측'에 반응했습니다.
  • 즉, 주변 시야에서는 뇌가 세부 사항을 무시하고 가장 중요한 '큰 그림'만 빠르게 예측합니다.

---

💡 왜 이런 차이가 생길까요?

이 연구는 뇌가 상황에 따라 두 가지 다른 '모드'를 쓴다고 설명합니다.

1. 중앙 시야 (정밀 모드): 우리가 무언가를 자세히 보고 구분해야 할 때 (예: 친구의 얼굴을 구별하거나 책을 읽을 때), 뇌는 모든 세부 사항까지 예측하며 정밀하게 작동합니다.
2. 주변 시야 (효율 모드): 우리가 주변을 빠르게 훑어보며 방향을 잡을 때 (예: 길을 걸을 때 넘어지지 않게 하기 위해), 뇌는 에너지 절약을 위해 세부 사항은 무시하고 큰 맥락 (고수준 예측) 만 빠르게 파악합니다.

🌟 결론: 뇌는 상황에 맞춰 변신하는 마법사

이 논문은 **"뇌가 예측한다"**는 사실은 맞지만, **"어디서 무엇을 예측하느냐"**는 우리가 보는 위치에 따라 다르다는 것을 증명했습니다.

• 중앙에서는 세부적인 예측을 통해 정교한 인식을 합니다.
• 주변에서는 큰 그림 예측을 통해 빠르고 효율적인 생존을 돕습니다.

이는 인공지능 (AI) 과 뇌과학 연구에 큰 시사점을 줍니다. 즉, 뇌는 하나의 고정된 방식이 아니라, 시야의 위치와 신뢰도에 따라 예측 전략을 유연하게 바꾸는 놀라운 적응 능력을 가지고 있다는 것입니다.

한 줄 요약:

"우리의 뇌는 중앙을 볼 때는 정교한 건축가처럼 세부 사항까지 예측하고, 주변을 볼 때는 요령 있는 조종사처럼 큰 그림만 빠르게 예측하여 세상을 효율적으로 이해합니다."

기술 요약

이 논문은 자연 시야 (natural vision) 환경에서 인간 시각 피질이 공간적 예측 (spatial prediction) 을 어떻게 수행하는지, 그리고 이러한 예측이 시각장 (visual field) 의 어디 (중앙 시야 vs. 주변 시야) 에 위치하느냐에 따라 어떻게 다른지 규명하기 위해 수행된 연구입니다. 7T 고해상도 fMRI 데이터와 생성형 AI 모델을 결합하여 예측 처리 (predictive processing) 이론과 자기지도학습 (self-supervised learning) 모델 간의 논쟁을 해결하고자 했습니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 배경 및 문제 제기

• 예측 처리의 중요성: 신경과학과 인공지능 (AI) 에서 예측은 지각 처리와 학습의 핵심 메커니즘으로 간주됩니다. 그러나 자연스러운 시야 환경에서 예측이 자동으로 발생하는지, 그리고 뇌가 어떤 수준의 추상성 (low-level features vs. high-level abstraction) 에서 예측을 수행하는지는 여전히 불분명했습니다.
• 대립되는 가설:
  1. 전통적 예측 코딩 (Predictive Coding): 초기 시각 영역 (V1 등) 은 저수준 특징 (모서리, 질감 등) 의 예측 오차에 민감하고, 후기 영역은 고수준 특징 (객체, 의미 등) 의 예측 오차에 민감한 위계적 구조를 가짐.
  2. 역위계 이론 (Reverse Hierarchy) 및 최근 AI/신경과학 연구: 초기 시각 영역조차도 고수준의 추상적 특징을 예측하며, 예측은 주로 고수준에서 이루어짐.
• 연구 목적: 자연 이미지 73,000 장을 활용한 대규모 fMRI 데이터를 통해, 시각 피질의 예측 민감도가 시각장의 위치 (중앙/주변) 에 따라 어떻게 달라지는지 규명하고, 위 두 가설을 통합하는 모델을 제시하는 것.

2. 방법론 (Methodology)

• 데이터셋: 자연 장면 데이터셋 (Natural Scenes Dataset, NSD) 사용. 8 명의 참가자가 73,000 개의 자연 이미지를 보며 촬영된 7T 고해상도 fMRI 데이터와 인구 수용장 (pRF) 매핑 데이터를 활용.
• 공간적 예측성 측정 (Generative AI):
  • Inpainting 모델: Partial Convolution U-Net (PConvUNet) 을 사용하여 이미지 패치 (중앙 1°) 를 주변 맥락으로부터 복원 (inpainting) 함.
  • 예측성 (Predictability) 산출: 실제 이미지 패치와 모델이 복원한 패치를 비교하여 '공간적 예측 불가능성 (Spatial Unpredictability)'을 정량화.
  • 추상성 수준: VGG-16 신경망의 여러 층 (Convolutional 및 Dense layers) 에서 추출한 특징 벡터 간의 유클리드 거리를 계산하여, 저수준 (early layers) 에서 고수준 (late layers) 까지의 다양한 추상성 수준에서 예측 불가능성을 측정.
• 신경 데이터 분석:
  • ROI 정의: pRF 매핑을 기반으로 V1-V4 영역 중 이미지 중앙 패치 (1°) 에 해당하는 수용장 (Receptive Field) 을 가진 볼륨 (voxel) 만 선별.
  • 회귀 분석 (Regression):
    • Baseline 모델: Gabor 필터 피라미드를 사용하여 저수준 국소 대비 (local contrast) 특징을 모델링.
    • 예측 모델: Baseline 모델에 공간적 예측 불가능성 점수를 추가.
    • 결과: 예측 불가능성 점수가 신경 반응 (BOLD signal) 을 얼마나 추가적으로 설명하는지 ($\Delta r$) 와 예측 오차의 방향 (예상 억제 효과) 을 분석.
  • 위계적 민감도 분석: 각 볼륨이 어떤 추상성 수준 (VGG-16 층) 의 예측 불가능성에 가장 민감하게 반응하는지 매핑하여 위계적 구조를 확인.
  • 이심률 (Eccentricity) 분석: 중앙 시야 (Fovea, 0°) 와 주변 시야 (Parafovea, 2°) 에서의 예측 패턴을 비교.

3. 주요 결과 (Key Results)

• 공간적 예측성의 보편적 영향:
  • 자연 장면 시청 중 시각 피질 전체 (V1-V4) 에서 공간적 예측 불가능성이 신경 반응을 조절함.
  • 예상 억제 (Expectation Suppression): 예측 가능한 입력은 약한 반응을, 예측 불가능한 입력은 강한 반응을 유발함 (긍정적인 회귀 계수 $\beta$). 이는 기존 예측 코딩 이론과 일치.
• 중앙 시야 (Fovea) 의 위계적 예측:
  • 중앙 시야에서는 전통적 예측 코딩 모델이 지지됨.
  • V1: 저수준 특징의 예측 불가능성에 가장 민감.
  • V2-V4: 시각 피질을 따라 진행할수록 고수준 특징의 예측 불가능성에 대한 민감도가 점진적으로 증가.
  • 이는 하향식 특징 인코딩 위계 (bottom-up feature encoding gradient) 와 평행한 구조를 보임.
• 주변 시야 (Parafovea) 의 고수준 예측:
  • 이심률이 증가할수록 (주변 시야), 예측 효과의 크기는 더욱 증폭됨.
  • 중요한 발견: 주변 시야에서는 V1조차도 고수준 예측 불가능성에 가장 민감하게 반응함.
  • 이는 최근의 AI 및 동물 연구 결과 (초기 영역도 고수준 예측을 함) 와 일치하며, 중앙 시야의 결과와 대조적임.
  • 특징 인코딩 (bottom-up features) 은 이심률에 따라 변하지 않았으나, 예측 민감도 (predictability tuning) 만이 이심률에 따라 고수준으로 전환됨.

4. 주요 기여 및 의의 (Contributions & Significance)

• 이론적 통합: 중앙 시야와 주변 시야에서 서로 다른 예측 전략이 작동함을 발견하여, 기존에 상충되던 예측 코딩 이론 (위계적) 과 고수준 예측 우위 이론 (단일 고수준) 을 통합했습니다.
  • 중앙 시야: 고해상도 정보 처리를 위해 다층적 추론이 필요하므로, 위계적 예측이 이루어짐.
  • 주변 시야: 해상도가 낮고 불확실성이 높으므로, 효율성을 위해 고수준의 추상적 예측에 의존함.
• 자연 시야에서의 예측 자동성: 실험적으로 예측을 강요하지 않은 자연스러운 이미지 시청 환경에서도 예측 처리가 자동적으로 발생함을 입증.
• AI 및 신경과학에 대한 시사점:
  • 자기지도학습 (Self-supervised Learning): 고수준 특징 예측이 학습에 효과적이라는 AI 모델의 관점은 주변 시야 처리와 유사함을 시사.
  • 예측 처리 모델: 뇌는 시각장의 위치에 따라 다른 예측 체제 (regime) 를 동원한다는 점을 고려해야 함.

5. 결론

이 연구는 인간 시각 시스템이 단일한 예측 메커니즘을 사용하는 것이 아니라, 시각장의 위치에 따라 상이한 예측 전략을 채택함을 보여줍니다. 중앙 시야에서는 전통적인 위계적 예측 코딩이, 주변 시야에서는 고수준 예측이 우세하게 작동합니다. 이는 뇌가 불확실성과 정보 처리 요구사항에 따라 유연하게 예측 메커니즘을 조절함을 의미하며, 예측 처리 이론과 생성형 AI 모델의 발전에 중요한 제약을 제공합니다.