뇌의 비밀 GPS: 움직임이 어떻게 우리의 시각을 돕는가

단 하나의 정지된 사진만을 뚫어지게 쳐다보며 "개"가 어떻게 생겼는지 배우려고 노력하는 모습을 상상해 보세요. 당신은 색깔과 털의 질감은 외울 수 있겠지만, 개가 달릴 때 귀가 어떻게 펄럭이는지, 혹은 고개를 돌릴 때 그 형태가 어떻게 변하는지는 놓치게 될 것입니다. 이제 개 주변을 실제로 걸어 다니며, 모든 각도에서 관찰하고, 그 대상을 시야에 유지하기 위해 자신의 몸이 어떻게 움직이는지를 느끼며 배우는 모습을 상상해 보세요. 이것이 바로 정적인 컴퓨터 프로그램과 인간 아기의 차이입니다. 수십 년 동안 과학자들은 커다란 의문에 빠져 있었습니다. '가르침을 주는 스승도, 교과서도 거의 없는 상태에서 인간의 뇌는 어떻게 그토록 빠르게 세상을 이해하는 법을 배우는가?' 우리는 아기가 가만히 앉아만 있지 않는다는 것을 알고 있습니다. 아기들은 기어가고, 손을 뻗고, 구르며, 끊임없이 눈과 몸을 움직입니다. 이 논문은 이러한 움직임이 단순히 살아있다는 부수적인 효과가 아니라, 우리가 사물을 보고 이해하는 능력을 깨우는 실제 열쇠라는 아이디어를 탐구합니다.

연구진은 한동안 과학계에서 떠돌던 두 가지 주요 아이디어를 테스트하고 있습니다. 첫 번째는 **시간적 일관성(Temporal Consistency)**으로, 이는 "시간적으로 가까이 일어나는 일들은 서로 연관되어 있을 가능성이 높다"는 멋진 표현입니다. 만약 당신이 빨간 공을 본 다음, 1초 뒤에 약간 다른 위치에서 빨간 공을 본다면, 당신의 뇌는 그것이 같은 공이라고 가정합니다. 두 번째 아이디어는 **감각운동 수반성(Sensorimotor Contingencies)**으로, 이는 "나의 행동이 내가 보는 것을 변화시킨다"는 규칙입니다. 내가 고개를 왼쪽으로 돌리면 세상은 오른쪽으로 이동합니다. 내가 컵을 집어 들면 손잡이가 나타납니다. 논문은 질문합니다. 만약 컴퓨터에게 사람들이 움직이고 둘러보는 영상만을 보고 학습하도록 가르친다면, 즉 이 두 가지 단순한 규칙만을 사용한다면, 컴퓨터가 인간처럼 보는 법을 배울 수 있을까요? 그리고 더 중요한 것은, 아직 말을 배우지도 못한 아기처럼 보는 법을 배울 수 있을까요?

"걷기"를 통해 배우는 로봇

E-SSL(Embodied Self-Supervised Learning, 체화된 자기지도 학습)을 만나보세요. 이것을 교사도, 교과서도, 심지어 언어도 없는 디지털 로봇 뇌라고 생각하십시오. 수백만 개의 라벨링 된 사진(예: "이것은 고양이이다" 또는 "이것은 자동차이다")을 제공받는 대신, 이 로봇은 실제 인간이 착용한 안경을 통해 기록된 300시간의 가공되지 않은 1인칭 영상 데이터를 받습니다. 이 영상들은 인간이 무엇을 보았는지, 눈이 어디를 향하고 있었는지, 그리고 머리와 몸이 어떻게 움직였는지를 정확하게 보여줍니다.

로봇의 임무는 스스로 세상의 규칙을 찾아내는 것입니다. 로봇은 두 가지 기술을 사용합니다. 첫째, 아주 짧은 간격으로 찍힌 두 장의 사진을 봅니다. 만약 이미지가 크게 변하지 않았다면, 로봇은 그것이 동일한 물체라고 가정합니다(시간적 일관성). 둘째, 두 사진 사이에서 인간의 머리나 눈이 어떻게 움직였는지 살펴봅니다. 로봇은 "내가 머리를 이렇게 움직이면, 세상은 저렇게 변한다"는 것을 배우려고 노력합니다(감각운동 수반성). 이것은 마치 아이가 제자리에서 뱅글 돌면 방 전체가 함께 도는 것을 배우지만, 단순히 눈을 깜빡이면 방은 그대로 있다는 것을 배우는 것과 같습니다.

무엇을 발견했는가?

결과는 놀라울 정도로 강력했습니다. 로봇은 단 한 마디의 언어도 듣지 못했고, 어떤 물체가 무엇인지 알려주는 라벨도 보지 못했지만, 인간과 매우 유사한 세상의 정신적 지도를 구축하기 시작했습니다.

1. 물체를 인식하는 법을 배웠다 (성인과 거의 비슷한 수준)
연구진이 표준적인 그림 퀴즈(ImageNet-1k 데이터셋 활용)로 로봇을 테스트했을 때, 로봇은 약 71%의 정답률을 보였습니다. 이는 뇌를 모방하려 하지만 움직임을 사용하지 않는 다른 "생물학적 영감을 받은" 컴퓨터 모델들과 비교했을 때 엄청난 도약입니다. 비록 언어와 경험이 축적된 완전히 성장한 성인 인간보다는 약 20% 뒤처져 있지만, 다른 컴퓨터 모델들의 무리보다는 훨씬 앞서 있습니다. 이는 "머그컵"이나 "개"가 무엇인지 배우기 위해 반드시 교사가 필요한 것이 아니라, 그저 돌아다니며 사물이 어떻게 변하는지를 관찰하기만 하면 된다는 것을 증명했습니다.

2. 아기처럼 생각한다
이 부분이 정말 흥미로운 지점입니다. 연구진은 로봇의 "뇌"를 실제 아기들의 뇌와 비교했습니다. 그들은 로봇의 시각 방식이 성인의 뇌보다 9개월 된 영아의 뇌 활동과 훨씬 더 잘 일치한다는 것을 발견했습니다.

• "형태 vs 질감" 테스트: 아기들은 색상이나 질감보다는 형태를 통해 물체를 인식하는 것으로 유명합니다. 빨간 공과 파란 공은 아기에게 모두 "공"입니다. 움직임을 통해 학습한 로봇 역시 이와 똑같이 행동하기 시작했습니다. 로봇은 색상이나 질감이 아닌 물체의 형태에 집중하는 법을 배웠으며, 이는 유아기 아이들이 보이는 모습과 같습니다.
• "손잡이"의 발견: 로봇은 만약 손잡이를 본다면, 비록 전체 모습이 보이지 않더라도 그것이 아마도 머그컵일 것이라고 학습했습니다. 이는 인간 어린이에게 약 18개월 정도에 나타나는 기술인데, 로봇은 사람들이 움직이는 것을 관찰함으로써 이 기술을 발달시켰습니다.

3. 움직임은 비밀 소스다
논문은 왜 움직임이 중요한지를 알아보기 위해 흥미로운 실험을 진행했습니다. 연구진은 로봇의 "꼭두각시" 버전을 시뮬레이션했습니다. 이 버전의 로봇은 동일한 영상을 보았지만, 머리의 움직임이 뒤섞이거나 가짜로 설정되었습니다. 결과적으로 이 로봇은 제대로 학습하지 못했습니다.

• "늦깎이 보행자" 효과: 또한, 이미 한참 동안 훈련을 진행한 후에야 머리를 움직이기 시작하는 로봇을 시뮬레이션했습니다. 결과는 어떠했을까요? 이 로봇의 시각 능력은 즉시 움직이기 시작한 로봇보다 떨어졌습니다. 이는 인간 아기가 기거나 걷기 시작하는 시점(이동성)이 시각 발달에 있어 결정적인 "아하!(aha!)" 순간임을 시사합니다. 단순히 더 많은 것을 보는 것이 아니라, 자신의 근육 명령과 보이는 것을 연결함으로써 학습을 폭발적으로 촉진하는 단계인 것입니다.

4. 뇌의 두 갈래 고속도로
마지막으로, 논문은 로봇의 "뇌"가 어떻게 스스로를 조직하는지에 대해 발견했습니다. 인간의 뇌에는 두 가지 주요 시각 고속도로가 있습니다.

• 복측 경로(Ventral Stream, "무엇" 경로): 물체가 무엇인지 인식하는 데 도움을 줍니다 (예: "저것은 고양이다").
• 배측 경로(Dorsal Stream, "어디/어떻게" 경로): 물체가 어디에 있는지, 그리고 어떻게 상호작용해야 하는지 이해하는 데 도움을 줍니다 (예: "저 컵을 잡아야겠다").

연구진은 로봇이 자연스럽게 이 두 가지 유형의 경로로 학습을 분리한다는 것을 발견했습니다. "시간"(Temporal Consistency)을 학습한 부분은 물체를 인식하는 데 매우 능숙해졌습니다(복측). 반면 "움동"(Sensorimotor Contingencies)을 학습한 부분은 공간적 변화와 행동을 이해하는 데 매우 능숙해졌습니다(배측). 이는 우리 뇌의 이 두 가지 뚜렷한 경로가 태어날 때부터 정해진 것이 아니라, 움직이고 세상이 변하는 것을 관찰하는 단순한 행위로부터 자연스럽게 출현할 수 있음을 시사합니다.

결론

이 논문은 인간의 시각에 대한 비밀이 단순히 고품질의 카메라(눈)나 슈퍼컴퓨터(뇌)를 갖추는 것에 있는 것이 아니라고 제안합니다. 핵심은 우리가 **체화되었다(embodied)**는 사실입니다. 우리는 움직이고, 만지고, 관점을 바꿉니다. 세상을 돌아다니며 나의 행동이 내가 보는 것을 어떻게 변화시키는지 관찰함으로써, 우리 뇌는 자연스럽게 형태를 인식하고, 사물을 이해하며, 시각을 "무엇"과 "어디"로 나누는 법을 배웁니다.

비록 이 로봇이 (형태를 훨씬 더 잘 일반화하는) 3세 아이만큼 똑똑하지는 않지만, 세상을 보기 위해 언어나 방대한 데이터셋이 반드시 필요한 것은 아니라는 점을 입증했습니다. 그저 움직이기만 하면 됩니다. 이는 아기가 기기 시작하는 순간, 뇌가 거대한 업그레이드를 받아 흐릿한 색의 덩어리를 인식 가능하고 움켜쥘 수 있는 물체의 세계로 바꾸어 놓는다는 것을 시사합니다.