For MSTd, Autoencoding is all you need

이 연구는 MSTd 의 신경적 특성을 설명하는 데에는 자기운동 추정의 정확도 최적화보다 입력 신호의 재구성을 목표로 하는 비지도 학습 (오토인코딩) 이 더 효과적임을 보여주며, 이는 배측 및 복측 신경 경로의 계산 원리가 근본적으로 다를 수 있음을 시사합니다.

핵심

🍳 핵심 비유: "요리사 (뇌) 와 레시피 (학습 목표)"

우리의 뇌는 마치 훌륭한 요리사처럼, 눈으로 들어온 시각 정보 (재료) 를 처리해서 세상을 이해합니다. 이 연구는 "어떤 레시피(학습 목표) 를 따르면 요리사가 가장 자연스러운 요리를 할 수 있을까?"를 실험했습니다.

1. 두 가지 요리 방식 (학습 목표)

연구진은 두 가지 다른 레시피를 가진 AI 요리사들을 훈련시켰습니다.

• **방식 A: "정답 맞추기" **(감시형)
  • 상황: 요리사에게 "이 재료를 보고 내가 어디로 가고 있는지 정확히 말해!"라고 시키고 정답을 맞춥니다.
  • 결과: AI 는 정답을 맞추는 데는 아주 능숙해졌지만, 뇌의 실제 신경 세포 (MSTd) 가 가진 특징을 흉내 내지는 못했습니다. 마치 시험 점수는 잘 받지만, 실제 요리 실력은 엉망인 요리사 같죠.
• **방식 B: "복원하기" **(자동 인코더)
  • 상황: 요리사에게 "눈에 들어온 움직임을 기억했다가, 다시 똑같이 그려내라"라고 시켰습니다. 정답을 맞출 필요 없이, 입력된 정보를 잘 재구성하는 데 집중하게 한 거죠.
  • 결과: 놀랍게도 이 방식이 뇌의 실제 신경 세포와 가장 비슷하게 작동했습니다. 정답을 맞추는 것보다, 정보를 잘 '복원'하는 과정이 뇌의 원리를 더 잘 설명해 줍니다.

2. 재료의 중요성: "생선 vs. 다진 생선"

요리사에게 주는 재료의 상태도 중요했습니다.

• **생선 **(원시 데이터) 눈으로 본 그대로의 복잡한 움직임을 줬을 때, AI 는 혼란스러워했습니다.
• **다진 생선 **(MT 영역 신호) 뇌의 한 단계 앞선 부분 (MT 영역) 이 이미 가공해서 정리해 준 정보를 줬을 때, AI 요리사는 훨씬 더 훌륭하게 뇌와 비슷한 반응을 보였습니다.
  • 비유: 마치 생선 통째로 주는 것보다, 손질해서 뼈를 발라낸 생선살을 주면 요리사가 더 맛있게 요리할 수 있는 것과 같습니다.

3. 깨진 오해들: "단백질 부족이 답이 아니다?"

과거에는 뇌가 정보를 효율적으로 처리하기 위해 **불필요한 정보를 버리는 것 **(희소성, Sparsity)이 중요하다고 생각했습니다. 마치 다이어트 하듯 정보를 줄여야 한다고요.

• 실험 결과: AI 에게 일부러 정보를 적게 쓰게 하거나 (희소성 강제), 양이 양수만 쓰게 하는 등의 규칙을 추가해 보았지만, 오히려 뇌와 더 멀어졌습니다.
• 결론: 뇌는 정보를 '버리는' 것보다, 정보를 어떻게 '재구성'하느냐가 더 중요했습니다.

---

🌟 이 연구가 우리에게 주는 메시지

1. 뇌는 '정답 맞추기'보다 '재구성'을 좋아한다:
   우리가 세상을 이해하는 뇌의 dorsal stream(등쪽 경로, 움직임과 공간 인식 담당) 은, "무엇이 어디에 있는가?"를 정확히 맞추는 것 (ventral stream, 배쪽 경로) 보다, 시각 정보를 다시 만들어내는 과정을 통해 학습하는 것 같습니다.

2. 깊은 신경망이 항상 좋은 건 아니다:
   최근 AI 는 층을 깊게 쌓을수록 똑똑해지지만, 뇌의 MSTd 영역을 모방할 때는 얇고 간단한 구조가 오히려 더 자연스러웠습니다. 뇌는 복잡한 계산을 위해 깊게 쌓기보다, 효율적인 재구성을 위해 얕게 연결된 것일 수 있습니다.

3. 진정한 지능은 '목표'에서 온다:
   단순히 정답을 맞추는 것 (지도 학습) 이 아니라, 스스로 정보를 이해하고 복원하려는 노력 (비지도 학습) 이 뇌의 복잡한 움직임을 이해하는 핵심 열쇠일 수 있습니다.

📝 한 줄 요약

"뇌가 움직임을 이해하는 비결은 '정답을 맞추는 것'이 아니라, '눈에 보이는 움직임을 다시 그려내는 것'에 있다. 그리고 그 과정은 이미 정리된 정보를 바탕으로 얇은 층에서 이루어질 때 가장 자연스럽다."

이 연구는 우리가 만든 인공지능이 단순히 정답을 맞추는 것을 넘어, 인간과 같은 방식으로 세상을 '이해'하려면 어떤 목표를 가져야 하는지 중요한 방향을 제시해 줍니다.

기술 요약

이 논문은 시각 피질의 등쪽 경로 (dorsal stream) 중 MSTd 영역의 신경 특성을 모델링하기 위해, 목표 지향적 인공 신경망 (ANN) 과 비지도 학습 (오토인코딩) 중 어떤 접근 방식이 더 효과적인지를 체계적으로 조사한 연구입니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기

• 배경: 목표 지향적 (supervised) 인공 신경망은 물체 인식 (ventral stream, '무엇' 경로) 을 모델링하는 데 혁신적인 성과를 거두었습니다. 그러나 운동 처리 및 자기 운동 지각 (self-motion perception) 을 담당하는 등쪽 경로 (dorsal stream, '어디' 경로) 에서는 그 유효성이 명확하지 않습니다.
• 문제: 이전 연구에서 자기 운동 추정 (self-motion estimation) 과 같은 정확도 최적화 (accuracy-optimized) 작업을 수행하도록 훈련된 ANN 은 MSTd 뉴런의 복잡한 광유동 (optic flow) 튜닝 특성을 잘 재현하지 못했습니다. 반면, 비지도 학습 기반인 비음수 행렬 분해 (NNMF) 는 MSTd 특성과 높은 일치도를 보였습니다.
• 연구 질문: NNMF 의 계산적 원리 (비지도 재구성, MT 유사 입력 등) 를 ANN 에 적용하면 MSTd 를 더 잘 모델링할 수 있을까? 그리고 정확도 최적화보다 재구성 (reconstruction) 기반의 목표가 dorsal stream 의 핵심 원리인가?

2. 방법론 (Methodology)

저자들은 54 개의 다양한 ANN 아키텍처와 NNMF 모델을 훈련하고 MSTd 신경 생리학적 데이터와 비교했습니다.

• 데이터셋: 3D 자기 운동 (병진 및 회전) 으로 생성된 광유동 필드 (TR360 데이터셋) 를 사용했습니다.
• 입력 신호:
  • Raw Flow: 원시 광유동 벡터.
  • MT-encoded: 시피질 MT 영역의 뉴런 반응을 모사한 신호 (속도와 방향에 대한 튜닝을 포함).
• 학습 목표 (Objective):
  • 정확도 최적화 (Accuracy-optimized): 자기 운동 방향 (병진 및 회전) 을 예측하도록 훈련 (Supervised).
  • 오토인코딩 (Autoencoding): 입력 신호를 잠재 공간 (latent space) 을 통해 재구성하도록 훈련 (Unsupervised).
• 아키텍처 및 제약 조건:
  • 연결성: 밀집 연결 (Dense/MLP) vs 합성곱 연결 (CNN).
  • 활성화 함수: 선형 (Linear) vs ReLU (비선형).
  • 제약: 비음수 가중치 (Non-negative weights), 희소성 (Sparsity, L1/KL penalty) 등.
• 평가 지표: MSTd 뉴런의 광유동 튜닝 특성 (선호 방향, Heading Tuning Index, 회전/병진 선호도 차이 등) 과 모델의 분포를 비교하기 위해 Earth Mover's Distance (EMD) 를 사용하여 신경 정렬 (Neural Alignment) 을 정량화했습니다.

3. 주요 결과 (Key Results)

• 정확도 vs 신경 정렬의 불일치: 자기 운동 추정 작업의 정확도가 높다고 해서 MSTd 와의 신경 정렬이 좋은 것은 아닙니다. 오히려 정확도가 높은 모델들이 생리학적 데이터와 일치하지 않는 경우가 많았습니다.
• 오토인코딩과 MT 입력의 시너지:
  • 가장 중요한 발견: MT 유사 입력 신호를 사용하여 입력을 재구성하는 오토인코딩 (Autoencoder) 모델이 MSTd 특성과 가장 높은 일치도를 보였습니다.
  • 이는 NNMF 모델과 유사한 성능을 냈으며, 정확도 최적화 모델이나 원시 광유동을 입력으로 받은 모델보다 훨씬 우수했습니다.
• 제약 조건의 비효율성:
  • 비음수 (Non-negativity) 제약: NNMF 의 핵심 특징인 비음수 가중치나 활성화를 명시적으로 강제하는 것은 오히려 정렬을 저하시켰습니다.
  • 희소성 (Sparsity): 명시적인 희소성 제약 (L1 또는 KL penalty) 이 MSTd 특성을 개선하지는 않았습니다.
  • 차원 축소: 차원 축소 (dimensionality reduction) 가 MSTd 튜닝의 주된 동인이 아니라는 것을 시사했습니다. 차원을 줄여도 정렬도가 크게 변하지 않았습니다.
• 깊이 (Depth) 의 영향: Ventral stream 모델링에서는 깊은 네트워크가 유리하지만, MSTd 모델링에서는 얕은 (shallow) 아키텍처가 더 좋은 정렬을 보였습니다.

4. 핵심 기여 (Key Contributions)

1. Dorsal Stream 의 계산 원리 규명: Ventral stream 이 '정확도 최적화 (Supervised)'에 기반한다면, Dorsal stream (MSTd) 은 **'비지도 재구성 (Unsupervised Reconstruction)'**을 주요 계산 목표로 가질 가능성이 높음을 제시했습니다.
2. 입력 표현의 중요성 강조: MSTd 모델링의 성공은 학습 목표뿐만 아니라 **MT 영역과 유사한 운동 표현 (MT-encoded input)**을 입력으로 받는지에 크게 의존함을 증명했습니다.
3. 기존 가설의 반박: NNMF 가 성공적인 이유는 비음수 제약이나 희소성 같은 특정 제약 때문이 아니라, 비지도 재구성 목표와 생물학적 입력 표현의 결합 때문임을 보여주었습니다.

5. 의의 (Significance)

• 이론적 의의: 시각 시스템의 두 경로 (Ventral vs Dorsal) 가 근본적으로 다른 계산 목표를 가질 수 있음을 시사합니다. Ventral 은 객체 인식 (정답이 있는 분류) 에 최적화되는 반면, Dorsal 은 입력 신호의 효율적인 재구성을 통한 내부 표현 형성에 최적화될 수 있습니다.
• 모델링의 방향성: dorsal stream 을 모델링할 때, 거대한 레이블이 달린 데이터셋으로 정확도를 높이는 것보다, **생물학적 입력 (MT) 을 기반으로 한 비지도 학습 (Autoencoding)**이 더 생물학적으로 타당한 모델을 생성할 수 있음을 보여줍니다.
• 실용적 함의: 자기 운동 지각을 위한 AI 시스템 설계 시, 단순한 목표 추정보다는 입력 신호의 구조적 재구성을 통한 특징 학습이 더 중요할 수 있음을 시사합니다.

결론적으로, 이 논문은 "MSTd 를 모델링하는 데는 오토인코딩 (Autoencoding) 만으로 충분하다 (For MSTd, Autoencoding is all you need)"는 제목처럼, 복잡한 제약 조건이나 정확도 최적화 없이도, MT 유사 입력을 기반으로 한 비지도 재구성 목표가 MSTd 의 신경 특성을 가장 잘 설명한다는 것을 입증했습니다.