Parallel processing of orthogonal manifolds enables zero-shot composition in recurrent networks

당신의 뇌를 거대하고 북적이는 오케스트라라고 상상해 보세요. 보통 음악가들이 새로운 곡을 배울 때는 처음부터 끝까지 연습합니다. 하지만 동물(그리고 인간)은 초능력을 가지고 있습니다. 몇 가지 분리된 "리프(riff)"나 동작을 배운 뒤, 이를 즉각적으로 결합하여 한 번도 연습해 본 적 없는 완전히 새롭고 복잡한 공연을 만들어낼 수 있는 능력입니다. 이것을 **제로샷 구성(zero-shot composition)**이라고 부릅니다.

이 논문이 해결하는 커다란 미스터리는 이것입니다: 뇌는 어떻게 각각의 리프를 동시에 연주하면서도 그것들이 엉망진창인 소음으로 변하지 않도록 관리하는가?

연구진이 발견한 내용을 일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

1. 문제점: 학습의 "교통 체증"

당신의 뇌의 학습 과정을 도로 네트워크라고 생각해 보세요.

• 기존 방식 (역전파, Backpropagation): 식료품점에 가기 위한 경로를 완벽하게 익힌 배달 기사를 상상해 보세요. 그들은 그 길을 너무 잘 알아서 경로를 벗어날 수 없습니다. 만약 당신이 그에게 식료와 헬스장에 동시에 가야 한다고 요청한다면, 그는 혼란에 빠질 것입니다. 그는 한 가지 일을 완벽하게 할 수는 있지만, 두 가지 일을 동시에 수행할 수는 없습니다. 왜냐하면 그의 "정신적 지도"가 너무 경직되어 있기 때문입니다.
• 새로운 방식 (국소 예측 가소성, Local Predictive Plasticity): 연구진은 네트워크를 가르치는 다른 방법을 찾아냈습니다. 단순히 하나의 경로를 암기하는 대신, 네트워크는 다음에 올 것을 "예측"하고 즉각적인 피드백을 바탕으로 내부 연결을 조정하는 법을 배웁니다.

2. 핵심 비결: "피드백 기하학(Feedback Geometry)"

논문은 비밀이 단지 무엇을 배우느냐가 아니라, 학습 중에 피드백(교정 신호)이 어떻게 형성되느냐에 있다고 주장합니다.

• 도서관의 비유:
  도서관을 정리한다고 상상해 보세요.
  • 정렬된 피드백 (나쁜 방식): 만약 당신이 모든 책을 하나의 거대한 덩어리로 뒤섞어 쌓아 놓는다면, 아주 열심히 뒤져서 특정 책 하나를 찾아낼 수는 있을 것입니다. 하지만 두 권의 서로 다른 책을 동시에 꺼내려 하면 서로 엉켜버릴 것입니다. 이는 피드백 신호들이 "정렬"되어 있거나 같은 방향을 향하고 있을 때 발생하는 현상입니다. 네트워크는 과업을 학습하지만, 그것들이 서로 엉키게 됩니다.
  • 직교 매니폴드 (좋은 방식): 이제 모든 종류의 책이 서로 완벽한 90도 각도로 교차하는 별도의 통로를 갖도록 도서관을 정리한다고 상상해 보세요. 한 통로는 "요리", 다른 통로는 "역사", 또 다른 통로는 "과학"을 위한 것입니다. 이 통로들이 완벽하게 분리(직교)되어 있기 때문에, 당신은 "요리" 통로와 "역사" 통로를 동시에 지나가면서도 서로 부딪히지 않을 수 있습니다.

논문은 이 별개의 통로들을 **직교 매니폴드(orthogonal manifolds)**라고 부릅니다. 피드백 벡터(네트워크에 어떻게 학습할지 알려주는 신호)가 이러한 별개의 "통로"를 만들도록 형성되면, 네트워크는 과업 A와 과업 B를 독립적으로 학습할 수 있습니다.

3. 마법 같은 기술: 제로샷 구성

이러한 별개의 "통로"가 구축되면, 마법 같은 일이 일어납니다.

• 만약 네트워크에 과업 A와 과업 B를 결합한 새로운 지시를 내리면, 네트워크는 이 새로운 조합을 위해 따로 연습할 필요가 없습니다.
• 대신, 네트워크는 "요리" 통로와 "역사" 통로를 동시에 활성화하기만 하면 됩니다.
• 그 결과는 매끄럽게 결합된 출력물입니다. 이는 마치 DJ가 별도로 녹음된 두 노래를 믹싱하는 것과 같습니다. 두 노래가 서로 다른 트랙에 있기 때문에, 전체를 다시 녹음할 필요 없이 완벽하게 조화롭게 섞일 수 있습니다.

4. 현실 세계의 증거: 팔과 자세

연구진은 단순히 컴퓨터 시뮬레이션에 그치지 않고, 이것이 실제 생물학과 일치함을 보여주었습니다.

• 당신의 팔을 생각해 보세요. 당신은 컵을 잡기 위해 손을 움직이는 동시에(과업 A), 몸을 앞으로 숙이기 위해 자세를 조절할 수 있습니다(과업 B).
• 과학자들은 운동 피질(움직임을 제어하는 뇌의 부분)에서 이러한 현상을 관찰해 왔습니다. 뇌는 도달(reach)과 자세(posture)를 위한 이러한 별도의 "하위 공간" 또는 "통로"를 가지고 있는 것처럼 보입니다.
• 논문은 이 특정 "별개 통로" 학습 규칙을 사용하는 모델이 이 정확한 행동을 자연스럽게 재현한다는 것을 보여줍니다. 이 모델은 뇌가 어떻게 두 움직임을 함께 수행할 수 있을 만큼 충분히 분리하면서도, 하나의 매끄러운 동작으로 결합하는지를 설명해 줍니다.

요점

이 논문은 학습과 재사용성은 서로 다른 것이라고 주장합니다.

• 당신은 어떤 과업을 완벽하게 배울 수 있지만(로봇이 경로를 암기하는 것처럼), 그것을 다른 것과 결합하는 데는 실패할 수 있습니다.
• 하지만, 서로 간섭하지 않는 별개의 정신적 공간에 서로 다른 과업을 유지하도록 하는 특정 유형의 "피드백 기하학"을 사용하여 학습한다면, 당신은 유연한 동물처럼 즉각적으로 과업들을 섞고 조합할 수 있는 초능력을 얻게 됩니다.

요컨대, 나중에 기술들을 섞고 조합할 수 있으려면, 그들의 "정신적 궤도"를 완벽하게 평행하고 분리된 상태로 유지하며 학습해야 합니다.