Thalamocortical credit routing from the basal ganglia and cerebellum: anatomical constraints and circuit principles

동물이 보상을 얻기 위해 올바른 행동을 선택하는 법을 어떻게 배우는지 이해하기 위해, 과학자들은 오랫동안 두 가지 심부 뇌 구조인 기저핵과 소뇌에 주목해 왔습니다. 이 영역들은 학습 엔진 역할을 합니다. 기저핵은 과거의 보상을 바탕으로 어떤 행동을 추구할 가치가 있는지 결정하는 데 도움을 주며, 소뇌는 움직임의 타이밍과 정밀도를 미세하게 조정합니다. 두 구조 모두 뇌의 외층이자 복잡한 사고와 계획을 담당하는 대뇌 피질로부터 명령을 받습니다. 이 정보를 처리한 후, 이들은 미래의 행동을 업데이트하기 위해 다시 피질로 신호를 보냅니다. 이는 뇌가 자신의 수행 능력을 끊임없이 점검하는 연속적인 루프를 생성합니다. 그러나 이 퍼즐의 결정적인 조각 하나가 여전히 불분명한 상태로 남아 있었습니다. 바로 이러한 학습 신호가 실제로 행동을 생성한 피질의 특정 뉴런 그룹으로 어떻게 전달되는가 하는 점입니다. 정밀한 전달 시스템이 없다면, 뇌는 어떤 뉴런을 강화하거나 약화시켜야 할지 알 수 없게 되어 학습이 비효ق적 혹은 불가능해질 것입니다.

일본의 한 연구팀은 이제 쥐를 통해 이 전달 경로를 지도화하여, 학습 신호가 정확히 올바른 목적지에 도달하도록 보장하는 정교한 시스템을 밝혀냈습니다. 그들은 기저핵과 소로가 뇌의 중앙 중계소인 시상 내에서 대체로 분리된 채널을 통해 메시지를 보내지만, 이 채널들이 피질에 도달할 때 다시 합쳐진다는 사실을 발견했습니다. 구체적으로, 연구진은 두 시스템의 신호가 새로운 기술을 계획하고 배우는 데 중요한 영역인 이차 운동 피질의 바로 윗부분 층으로 수렴한다는 것을 발견했습니다. 이러한 수렴은 뇌가 서로 다른 유형의 학습 정보를 결합하고, 이를 행동을 담당하는 특정 뉴런으로 직접 전달할 수 있게 해줍니다. 상세한 뇌 영상 기술과 컴퓨터 시뮬레이션을 결합하여, 연구팀은 이러한 해부학적 배치가 뇌가 '공로(credit)'를 올바르게 할당하는 데 필수적이며, 이를 통해 성공적인 행동에 기여한 뉴로들이 강화되도록 보장한다는 것을 보여주었습니다.

연구진은 먼저 쥐의 뇌에서 물리적 경로를 추적하여 이 학습 신호들이 어디로 가는지 확인했습니다. 그들은 기저핵과 소뇌에 미량의 형광 추적자를 주입하고 신호가 시상을 통해 피질로 어떻게 이동하는지 관찰했습니다. 그들은 기저핵으로부터 입력을 받는 시상의 뉴런들은 대부분 한 영역에 위치하는 반면, 소뇌로부터 입력을 받는 뉴런들은 다른 영역에 위치한다는 것을 발견했습니다. 이는 두 시스템이 시상을 통과하는 동안에는 대체로 분리된 상태를 유지한다는 것을 확인시켜 주었습니다. 그러나 연구진이 시상에서 피질로 신호를 전달하는 긴 섬유인 축삭(axons)이 어디에서 끝나는지를 살펴보았을 때, 그림은 바뀌었습니다. 시상 내의 서로 다른 지점에서 시작했음에도 불구하고, 두 시스템의 축삭은 놀라운 공통 목적지를 공유했습니다. 바로 이차 운동 피로의 최상층부였습니다. 이 층은 움직임을 제어하는 신경 세포들의 멀리 뻗어 있는 끝부분들을 포함하고 있습니다. 연구진은 또한 두 시스템의 신호가 섞이는 시상의 작은 영역을 발견했지만, 가장 중요한 발견은 피질에서의 이 공유된 도착 지점이었습니다.

이 공유된 목적지가 왜 중요한지 이해하기 위해, 팀은 피질, 시상, 기저핵, 소뇌를 포함한 전체 뇌 회로의 상세한 컴퓨터 모델을 구축했습니다. 시뮬레이션에서 그들은 학습 신호가 올바르게 경로를 잡았을 때와 뒤섞였을 때 뇌가 어떻게 학습하는지를 테스트했습니다. 그들은 기저핵과 소로로부터의 피드백이 행동을 생성하는 데 도움을 준 특정 뉴런 그룹으로 다시 보내질 때 학습이 가장 잘 이루어진다는 것을 발견했습니다. 만약 신호가 잘못된 뉴런으로 보내진다면 학습은 실패했습니다. 또한 모델은 뇌가 이러한 신호를 되돌려 보내는 두 가지 서로 다른 방식을 사용한다는 것을 드러냈습니다. 한 유형의 신호는 볼륨 조절기처럼 작동하여 뉴런의 기존 활동을 더 강하게 만들거나 약하게 만듭니다. 다른 유형은 직접적인 밀기처럼 작동하여 뉴런에 새로운 활동을 더합니다. 연구진은 뇌가 효율적으로 학습하기 위해 이 두 메커니즘이 함께 작동해야 한다는 것을 발견했습니다. 피질의 이 상층부에서 일어나는 '볼륨 조절기' 효과는 뇌가 올바른 신호를 증폭하는 데 도움을 주는 반면, '직접적인 밀기'는 행동을 앞으로 나아가게 하는 데 도움을 줍니다.

연구진은 또한 뇌가 애초에 어떤 뉴런들이 이러한 학습 신호를 받아야 하는지 어떻게 파악하는지를 탐구했습니다. 컴퓨터 모델에서 연구진은 뇌가 휴지기 동안 자신의 활동을 관찰함으로써 피드백을 정렬하는 법을 배울 수 있음을 보여주었습니다. 뉴런이 얼마나 활발했는지와 그 뉴런이 행동을 유발할 가능성이 얼마나 높은지를 비교함으로써, 뇌는 연결을 조정하여 학습 신호가 올바른 곳으로 전달되도록 할 수 있습니다. 연구진이 '국소 보정(local calibration)'이라고 부른 이 과정은 초기 연결이 완벽하게 설정되지 않았더라도 모델이 학습 능력을 회복할 수 있게 해주었습니다. 나아가 연구진은 이 시스템이 여러 뉴런을 동시에 훈련해야 하는 복잡한 과업, 예를 들어 사람이 생각만으로 컴퓨터 커서를 제어하는 뇌-컴퓨터 인터페이스 실험과 같은 과업을 처리할 수 있는지 테스트했습니다. 그들은 뇌가 네트워크 전체에 단일한 전역적 보상 신호를 보낼 때, 만약 목표물들이 서로 반대 방향으로 움직여야 한다면 여러 목표를 동시에 훈련하는 데 어려움을 겪는다는 것을 발견했습니다. 그러나 피드백이 별도의 병렬 채널을 통해 경로를 지정될 때, 뇌는 여러 뉴로를 동시에 성공적으로 훈련할 수 있었습니다. 이는 뇌가 복잡한 다중 부분 과업을 학습할 수 있는 능력이, 간섭 없이 특정 뉴런 그룹에 공로를 전달할 수 있는 이러한 별개의 병렬 경로를 갖는 것에 달려 있음을 시사합니다.

이러한 발견은 뇌가 학습하는 방식에 대한 새로운 관점을 제공합니다. 연구진은 기저핵과 소로를 단순히 출력을 합치는 독립적인 시스템으로 보는 대신, 학습 신호를 전달하기 위해 공유된 고속도로를 사용하는 협력적인 팀으로 작동한다고 제안합니다. 운동 피질의 상층부로 수렴하는 이 고속도로는 뇌가 서로 다른 유형의 정보를 통합하고 이를 필요한 곳에 정밀하게 전달할 수 있게 합니다. 이 연구는 이러한 연결들의 물리적 배치가 단순히 수동적인 배선도가 아니라 학습 과정 자체의 능동적인 구성 요소라는 점을 시사합니다. 학습 신호가 행동을 담당하는 특정 뉴런에 도달하도록 보장함으로써, 뇌는 행동을 효율적으로 개선하고 새로운 도전에 적응할 수 있습니다. 이 연구는 뇌가 '공로 할당(credit assignment)' 문제를 어떻게 해결하는지에 대한 구체적인 해부학적 및 계산적 틀을 제공하며, 이는 동물뿐만 아니라 인공지능 시스템의 발전에도 적용되는 근본적인 학습 과제입니다. 쥐에 대한 직접적인 관찰과 엄격한 컴퓨터 시뮬레이션을 통해 도출된 연구진의 결과는, 층판 수렴(laminar convergence)과 모듈형 피드백이 뇌가 복잡한 행동을 학습할 수 있게 하는 데 얼마나 중요한지를 강조합니다.