The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates

이 논문은 원숭이 하측 측두엽 (IT) 피질이 과거 시각 경험에 기반한 지각적 좌표계로 물체 위치를 인코딩하는 반면, 현재 인공지능 비전 네트워크는 동일한 적응 현상을 보이지 않아 생물학적 및 인공 시각 시스템 간의 공간 코딩 메커니즘에 차이가 있음을 규명했습니다.

핵심

1. 연구의 배경: 뇌는 '무엇'과 '어디'를 따로 처리할까?

과거 과학자들은 우리 뇌의 시각 처리를 두 가지 길로 나눴습니다.

• 아래쪽 길 (ventral stream): "이게 뭐야?" (사물의 정체성, 예: 사과 vs 배)
• 위쪽 길 (dorsal stream): "어디에 있어?" (사물의 위치, 예: 책상 위 vs 바닥)

하지만 최근 연구들은 뇌의 '아래쪽 길 (IT 피질)'에서도 사물의 위치 정보가 나온다는 것을 발견했습니다. 문제는, 그 위치 정보가 진짜 우리가 보는 '지각적인 위치'를 반영하는지, 아니면 그냥 카메라 렌즈 (망막) 에 찍힌 '픽셀 위치'를 그대로 가져온 것뿐인지를 알 수 없었다는 점입니다.

비유: 만약 카메라가 물체의 위치를 찍을 때, 렌즈가 약간 휘어지면 화면 속 물체도 휘어 보일 것입니다. 뇌가 그 '휘어진 화면'을 그대로 보고 있는 건지, 아니면 뇌가 "아, 렌즈가 휘었구나" 하고 고쳐서 진짜 위치를 파악하는 건지 확인해야 했습니다.

2. 실험 도구: '운동 후유증' (Motion Aftereffect)

연구진은 이 의문을 해결하기 위해 마술 같은 심리 현상인 **'운동 후유증'**을 사용했습니다.

• 실험 방법: 참가자들에게 오른쪽으로 빠르게 흐르는 물결 (그라팅) 을 30 초 동안 계속 보게 한 뒤, 정지해 있는 물체 (예: 곰 인형) 를 보여줍니다.
• 현상: 사람들은 정지해 있는 곰 인형이 왼쪽으로 움직이는 것처럼 느끼거나, 실제 위치보다 왼쪽으로 치우쳐 있는 것처럼 느낍니다. (오른쪽을 보다가 멈추면, 정지한 물체가 왼쪽으로 움직이는 것처럼 보이는 현상)
• 중요한 점: 화면에 찍힌 물체의 픽셀 위치는 변하지 않았습니다. 오직 사람의 '느낌 (지각)'만 바뀐 것입니다.

3. 주요 발견 1: 원숭이의 뇌 (IT 피질) 는 '느낌'을 따라다닌다

연구진은 원숭이의 뇌 (IT 피질) 에 전극을 꽂고 위 실험을 반복했습니다.

• 결과: 원숭이 뇌의 뉴런들이 보내는 신호를 분석해 보니, 픽셀 위치는 그대로였는데도, 뇌의 신호가 '왼쪽으로 치우친' 것으로 변해 있었습니다.
• 의미: 즉, 뇌의 IT 피질은 단순히 카메라 (눈) 가 찍은 위치를 그대로 전달하는 게 아니라, 사람이 실제로 '느끼는' 위치를 반영해서 재구성하고 있었습니다.
• 비유: 뇌는 "오른쪽을 계속 봤으니, 이제 정지한 물체는 왼쪽으로 치우쳐 보일 거야"라고 미리 계산해서 신호를 보낸 것입니다. 이는 뇌가 시각 정보를 단순히 기록하는 게 아니라, 의미 있게 해석하고 있다는 강력한 증거입니다.

4. 주요 발견 2: 인공지능 (AI) 은 아직 이 '마법'을 못 한다

그렇다면 최신 AI(딥러닝) 는 어떨까요? 연구진은 다양한 AI 모델 (VGG, ResNet, 비디오 인식 AI 등) 에 같은 실험을 적용해 보았습니다.

• 결과: AI 는 픽셀 위치가 변하지 않았으니, 위치도 변하지 않는다고 판단했습니다. 뇌처럼 "운동 후유증" 때문에 위치가 움직인다고 느끼지 못했습니다.
• 시뮬레이션: 연구진은 AI 에 뇌의 작동 원리 (적응 과정) 를 인위적으로 적용해 보았습니다. 그랬더니 AI 도 뇌처럼 위치를 잘못 판단하게 되었습니다.
• 의미: 현재의 AI 는 '이미지 인식'은 잘하지만, '과거의 경험 (적응)'이 현재의 인식에 어떻게 영향을 미치는지'를 스스로 학습하지 못합니다. AI 는 매번 새로운 사진을 처음 보는 것처럼 처리하지만, 우리 뇌는 과거의 경험을 바탕으로 현재를 재해석합니다.

5. 결론: 왜 이 연구가 중요한가요?

1. 뇌의 놀라운 능력: 우리 뇌의 '물체 인식' 영역 (IT 피질) 은 단순히 물체를 구별하는 곳뿐만 아니라, 우리가 세상을 어떻게 '느끼는지'에 따라 위치 정보까지 유연하게 바꾸는 곳임을 발견했습니다.
2. AI 의 한계: 현재의 AI 는 인간의 시각 지각을 완벽하게 모방하지 못합니다. 특히 시간의 흐름에 따라 뇌가 정보를 재구성하는 능력이 부족합니다.
3. 미래의 방향: 더 똑똑한 AI 를 만들려면, 단순히 정적인 이미지를 인식하는 것을 넘어, 과거의 경험 (적응) 이 현재의 지각에 영향을 미치는 방식을 모델에 포함시켜야 합니다.

한 줄 요약:

"우리의 뇌는 눈으로 본 그대로를 보는 게 아니라, 과거의 경험을 바탕으로 세상을 '재해석'하여 위치를 바꿉니다. 하지만 현재의 AI 는 아직 이 '재해석'의 마법을 배우지 못했습니다."

이 연구는 인간이 세상을 보는 방식의 복잡함을 보여주면서, 더 인간다운 AI 를 만들기 위해 우리가 어떤 길을 가야 하는지 중요한 지도를 제시합니다.

기술 요약

1. 연구 문제 (Problem)

• 배경: 시각 정보 처리의 고전적인 '이중 경로 가설 (Two-stream hypothesis)'에 따르면, ventral stream(하향 경로) 은 물체의 정체성 ('무엇') 을 처리하고, dorsal stream(상향 경로) 은 공간 위치 ('어디') 를 처리한다고 여겨졌습니다. 그러나 최근 연구들은 ventral stream 의 IT 피질에서도 물체 위치 정보가 명확하게 인코딩된다는 것을 보여주었습니다.
• 핵심 의문: IT 피질에서 추출된 위치 신호가 실제로 지각적으로 의미 있는 (perceptually meaningful) 것인지, 아니면 단순히 초기 시각 피질의 망상적 (retinotopic) 입력을 수동적으로 계승한 결과에 불과한지 불분명했습니다.
• 제약 조건: 기존 연구들은 물체의 픽셀 위치와 지각 위치가 일치하는 정적 이미지를 사용했기 때문에, 두 가설을 구별하기 어려웠습니다.
• 목표: 지각적 위치와 픽셀 위치가 분리되는 조건을 만들어 IT 피질의 위치 코드가 지각적 현실과 정렬되어 있는지, 그리고 현재의 인공 신경망이 이러한 역동적인 처리를 모사할 수 있는지 검증하는 것.

2. 방법론 (Methodology)

연구는 세 가지 주요 축 (생체 신경 기록, 인간 심리 물리 실험, 인공 신경망 시뮬레이션) 을 결합하여 진행되었습니다.

A. 실험 패러다임: 운동 후유증 (Motion Aftereffect, MAE)

• 원리: 특정 방향 (예: 오른쪽) 으로 움직이는 자극에 장시간 노출되면, 그 후 정지한 물체가 반대 방향 (왼쪽) 으로 움직이는 것처럼 지각되는 현상입니다.
• 핵심: 이 패러다임은 시각 입력 (픽셀 위치) 은 동일하게 유지되지만, 지각된 위치는 편향되게 만듭니다. 따라서 시스템이 픽셀 입력에만 의존한다면 위치 변화가 없어야 하고, 지각적 코드를 가진다면 편향이 발생해야 합니다.

B. 데이터 수집 및 분석

1. 영장류 (Macaque) 신경 기록:
   • 마카크 원숭이의 IT 피질에 Utah 어레이를 이식하여 대규모 신경 군집 활동을 기록했습니다.
   • 적응 (adaptation) 전후로 정지한 물체 이미지를 제시하고, 70~170ms 시간 창에서의 스파이크 수를 분석했습니다.
   • 선형 디코더 (Linear Decoder): 적응 전 데이터로 훈련된 디코더를 사용하여 적응 후 신경 반응에서 물체 위치를 예측했습니다.
2. 인간 심리 물리 실험:
   • 35 명 (위치 추정) 및 22 명 (적응 조건) 의 인간 참가자를 대상으로 동일한 MAE 패러다임을 적용했습니다.
   • 마우스 클릭을 통해 물체의 지각된 중심 위치를 보고하게 하여 인간 지각의 기준치 (Ground Truth) 를 확보했습니다.
3. 인공 신경망 (ANN) 모델링:
   • 모델 선정: VGG-16, ResNet, ViT 등 정적 이미지 인식 모델과 SlowFast, ConvRNN 등 시계열/동적 처리가 가능한 비디오 인식 모델을 사용했습니다.
   • 시뮬레이션:
     • Neuralization: IT 피질에서 관찰된 적응 효과 (선형 변환) 를 ANN 특징 공간에 인위적으로 적용하여 "신경화"된 특징을 생성했습니다.
     • 내재적 역동성 테스트: ANN 단위 활성화에 지수 감쇠 함수 (exponential decay) 를 도입하거나, 시계열 합성곱/순환 구조를 가진 모델에 MAE 자극을 입력하여 내재적으로 편향이 발생하는지 확인했습니다.

3. 주요 결과 (Key Results)

A. IT 피질의 지각적 위치 코딩

• 편향의 일치: 인간 참가자들은 적응 방향과 반대 방향으로 물체 위치를 지각했습니다. 놀랍게도, IT 피질의 신경 군집 반응에서도 동일한 방향의 편향이 관찰되었습니다.
• 지각적 정렬: 적응 전 훈련된 디코더가 적응 후 IT 반응을 분석했을 때, 픽셀 위치는 변하지 않았음에도 불구하고 예측된 위치가 인간 지각 편향과 정렬되었습니다. 이는 IT 피질이 단순한 망상적 입력의 계승이 아니라, 지각적으로 정렬된 공간 좌표계를 사용함을 의미합니다.
• 기하학적 변화: 적응은 IT 피질의 신경 표현 기하학 (Representational Geometry) 을 재구성했습니다. CKA(Centered Kernel Alignment) 분석 결과, 적응 전후의 신경 반응 공간 유사성이 감소하여 적응이 단순한 반응 강도 조절이 아닌 구조적 변화를 일으킴을 보였습니다.

B. 인공 신경망 (ANN) 의 한계

• 정적 모델의 실패: 표준적인 피드포워드 ANN 은 동일한 픽셀 입력에 대해 적응 전후로 동일한 위치를 예측했습니다. 이는 ANN 이 지각적 편향을 생성하는 내재적 역동성을 결여하고 있음을 보여줍니다.
• 내재적 역동성 모델의 실패:
  • 감쇠 시뮬레이션: IT 데이터에서 유래한 지수 감쇠 함수를 ANN에 적용하여 반응 억제를 모사했으나, 이는 위치 편향을 생성하지 못했습니다.
  • 시계열/순환 모델: SlowFast 및 ConvRNN 과 같은 동적 모델은 시간적 맥락을 처리하지만, MAE 와 같은 지각적 편향을 생성하지는 못했습니다.
• Neuralization 의 성공: 하지만, **IT 피질에서 유도된 선형 변환을 ANN 특징에 인위적으로 적용 (Neuralization)**하면, ANN 이 인간과 원숭이와 유사한 위치 편향을 생성할 수 있었습니다. 이는 ANN 의 특징 공간 자체가 이러한 변화를 표현할 잠재력은 있지만, 이를 생성하는 변환 메커니즘 (역동성) 이 부재함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. IT 피질의 역할 재정의: IT 피질이 단순한 물체 인식 ('What') 을 넘어, 지각적으로 정렬된 공간 위치 ('Where') 정보를 인코딩하는 핵심 부위임을 입증했습니다. 이는 이중 경로 가설의 엄격한 분리를 수정하는 증거입니다.
2. 생물학적 vs 인공적 시각의 격차 규명: 현재 가장 최첨단인 인공 시각 모델조차도, 동일한 시각 입력에서 지각적 편향을 생성하는 적응 기반의 표현 재구성 (adaptation-driven representational restructuring) 메커니즘을 결여하고 있음을 밝혔습니다.
3. 새로운 벤치마크 제시: 정적 객체 인식 성능뿐만 아니라, 동적 환경에서의 지각적 일관성 (perceptual alignment) 을 평가하는 새로운 기준을 제시했습니다.

5. 의의 및 결론 (Significance)

• 신경과학적 의의: 시각 시스템이 동적인 환경에서 안정된 지각을 유지하기 위해 적응 (adaptation) 을 통해 신경 표현을 어떻게 재구성하는지에 대한 메커니즘을 규명했습니다. 특히, IT 피질이 운동 정보 (MT 영역 등) 와 형태 정보를 통합하여 지각적 위치를 계산하는 허브 역할을 함을 시사합니다.
• 인공지능 (AI) 의 의의: 현재의 딥러닝 모델이 인간과 유사한 지각적 유연성을 갖추기 위해서는 단순한 피드포워드 구조나 감쇠 메커니즘을 넘어, 운동 채널과 형태 채널의 상호작용, 맥락 의존적 이득 제어 (history-dependent gain control), 그리고 지각적 일관성을 목표로 한 학습 목표가 필요함을 강조합니다.
• 종합: 이 연구는 생물학적 시각 시스템이 어떻게 '무엇'과 '어디'를 통합하여 지각적 현실을 구성하는지 보여주며, 이를 모사하는 차세대 인공 시각 시스템 개발을 위한 중요한 통찰을 제공합니다.