Evolutionary rise of a synaptic mechanism for creating and diversifying key reinforcement signals

뇌의 학습 루프: 간단한 입문서

여러분의 뇌가 레벨을 깨는 법을 배우려고 노력하는 아주 똑똑한 비디오 게임 콘솔이라고 상상해 보세요. 더 잘하기 위해서, 뇌는 자신이 실수를 했는지 혹은 잘했는지를 알아야 합니다. 신경과학의 세계에서 이 "오류 신호"를 **강화 신호(reinforcement signal)**라고 부릅니다. 이것은 뇌가 "이봐, 이건 효과가 없었어, 다른 걸 시도해 봐!" 또는 "좋았어! 다시 해!"라고 말하는 방식입니다.

오랫동안 과학자들은 이러한 신호가 단순하다고 생각했습니다. 뉴런이 "가!"라고 외치거나(흥분), 조용히 머물러서 "멈춰!"라고 말하거나(억제) 둘 중 하나라는 것이죠. 하지만 자연은 규칙을 깨는 것을 좋아합니다. **외측 종판(lateral habenula, 줄여서 LHb)**이라 불리는 뇌의 아주 작고 깊은 부위에서는 상황이 기묘하게 돌아갑니다. 이 작은 영역은 뇌의 보상 체계를 조절하는 교통 경찰 역할을 합니다. 이곳은 뇌의 다른 부분으로부터 메시지를 받아, 우리를 기분 좋게 만들고 학습을 동기 부여하는 화학 물질인 도파민의 방출을 촉진할지 혹은 억제할지를 결정합니다.

큰 미스터리는 이것이었습니다. 이 교통 경찰는 어떻게 이토록 빠르고 정확하게 정보를 처리하는가? 구체적으로, 과학자들은 LHb로 들어오는 일부 입력들이 두 가지 서로 다른 화학 물질인 글루타메이트( "가" 신호)와 GABA( "멈춰" 신호)를 동시에 방출한다는 사실을 발견했습니다. 이것은 모순처럼 보였습니다. 어떻게 뉴런에게 동시에 "가라"와 "멈추라"고 명령할 수 있을까요? 그리고 왜 뇌는 이렇게 혼란스러운 시스템을 진화시켰을까요? 이 논문은 이 "이중 스파이" 신호가 실제로 학습을 위한 영리한 속임수인지, 그리고 동물이 물고기에서 원숭이로 진화하면서 이 시스템이 얼마나 더 복잡해졌는지를 파헤칩니다.

---

뇌의 "미분" 기술: 신호의 혼합이 어떻게 더 똑똑한 학습을 만드는가

연구진은 다음과 같은 간단한 질문을 던졌습니다. 뇌세포가 "가" 신호와 "멈춰" 신호를 정확히 동시에 받는다면 어떤 일이 벌어질까? 이를 알아내기 위해 그들은 컴퓨터로 가상의 뇌세포를 구축했습니다—이것은 생물물리학적으로 현실적인 시뮬레이션입니다. 마치 비행기 대신 뉴런을 테스트하는 비행 시뮬레이터와 같습니다. 그들은 실제 뇌의 대화를 모방하여 가상의 뉴런에 무작위적인 활동 폭발을 주입했고, 입력값이 글루타메이트와 GABA를 함께 방출할 때 뉴런이 어떻게 반응하는지 관찰했습니다.

여기서 그들이 발견한 마법이 있습니다. 이 두 화학 물질의 혼합은 수학적 **미분(derivative)**처럼 작동합니다. 수학 수업에서 미분은 단순히 현재 값이 얼마인지가 아니라, 무언가가 얼마나 변하고 있는지를 알려줍니다. 자동차를 운전할 때, 속도계는 여러분의 속도(값)를 알려주지만, 미분은 여러분이 속도를 높이고 있는지 아니면 브레이크를 밟고 있는지(변화량)를 알려줍니다.

시뮬레이션 결과, 입력 활동이 갑자기 치솟을 때(마치 갑작스러운 "위험!" 신호처럼), GABA 부분이 글루타메이트보다 약간 더 늦게 작동했습니다. 이 미세한 지연 덕분에 뉴런은 빠른 활동의 폭발을 일으킨 후, "위험" 신호가 여전히 존재함에도 불구하고 즉시 다시 안정되었습니다. 반대로, 입력이 갑자기 멈추면 뉴런은 반대 방향으로 빠른 "충격"을 주었습니다. 결과는 어떠했을까요? 뉴런은 신호의 수준을 보고하는 것을 멈추고 신호의 변화를 보고하기 시작했습니다. 이것은 바로 강화 학습 알고리즘이 보상이 예상보다 나았는지 혹은 나빴는지를 판단하기 위해 사용하는 "시간차(Temporal Difference, TD)" 수학과 정확히 일치합니다. 이는 마치 뇌에 기존 패턴을 반복하는 대신, '놀라움'으로부터 학습할 수 있게 돕는 내장된 "변화 감지기"가 있는 것과 같습니다.

하지만 여기서 핵심은, 모든 뉴런이 같지는 않다는 점입니다. 실제 뇌에서 서로 다른 뉴런은 "가"와 "멈춰" 화학 물질의 비율이 다릅니다. 어떤 뉴런은 GABA가 조금 있고, 어떤 뉴런은 아주 많습니다. 이는 뇌가 단 한 종류의 "변화 감지기"만 가진 것이 아니라, 전체적인 다양한 도구 상자를 가지고 있음을 의미합니다. 어떤 뉴런은 미세한 변화에 민감하고, 다른 뉴산은 큰 변화에만 반응합니다. 이러한 다양성 덕분에 뇌는 위험한 도박과 안전한 베팅을 저울질하는 것과 같은 복잡하고 고차원적인 결정을 내릴 수 있습니다.

이 기술은 진화했을까? 물고기에서 원숭이까지

연구팀은 다음을 궁금해했습니다. 이 기묘한 이중 신호가 단순히 생쥐의 특이한 현상인지, 아니면 동물이 진화하면서 더 발전한 기능인지 말입니다. 이를 확인하기 위해 그들은 제브라피쉬, 생쥐, 쥐, 원숭이의 뇌를 조사하는 교차 종 탐사(cross-species treasure hunt)를 수행했습니다.

그들은 고도의 머신러닝 분류기를 사용했습니다—기본적으로 미세한 뇌 조직 이미지를 식별하도록 훈련된 매우 똑똑한 컴퓨터 프로그램입니다. 이 프로그램은 글루타메이트와 GABA를 나타내는 두 가지 색상으로 빛나는 아주 작은 점들(시냅스 말단)을 찾아내도록 학습되었습니다. 만약 한 점이 두 가지 색상을 모두 가지고 있다면, 그것은 "공동 방출(co-releasing)" 말단이었습니다.

결과는 진화의 과정을 명확히 보여주었습니다:

• 제브라피쉬: 물고기의 뇌에서는 이러한 이중 색상 점들이 거의 존재하지 않았습니다. 제브라피쉬의 종판은 주로 단일 신호 말단을 사용했습니다.
• 생쥐: 생쥐에서는 이 이중 색상 점들이 나타났지만, 주로 특정 영역에 밀집되어 있었습니다.
• 쥐: 쥐는 이러한 혼합 말단이 더 많았으며, 비율의 다양성 또한 생쥐보다 높았습니다.
• 원숭이: 원숭이는 가장 많았습니다. 혼합 말단의 수가 더 많을 뿐만 아니라, 쥐나 생쥐에는 발달하지 않은, "진화적으로 더 새로운" 뇌 부위까지 넓게 퍼져 있었습니다.

데이터는 우리가 진화의 사다리를 올라갈수록 이러한 혼합 말단이 대폭 증가했음을 보여주었습니다. 원숭이의 경우, 두 화학 물질을 모두 방출하는 말단의 비율이 쥐나 생쥐보다 유의미하게 높았습니다. 머신러닝은 이것이 우연이 아님을 확인해주었습니다. 컴퓨터는 기존의 계수 방식보다 훨씬 적은 실수를 하며 매우 정확하게 판별해냈습니다.

이것이 "똑똑한" 행동에 의미하는 바

그렇다면 이 모든 것이 우리에게 무엇을 의미할까요? 이 논문은 이러한 혼합 신호의 진화적 폭발이 유연하고 고차원적인 의사결정의 비결일 수 있다고 제안합니다.

시뮬레이션에서 빠른 "가" 신호와 느린 "멈춰" 신호의 혼합은 비대칭적 반응을 만들어냈습니다. 뉴런은 활동의 급격한 증가(나쁜 소식)와 급격한 감소(좋은 소식)에 대해 서로 다르게 반응했습니다. 이러한 비대칭성은 학습에 있어 매우 중요합니다. 이는 보상이 항상 보장되지 않고 위험이 항상 존재하는 복잡한 현실을 뇌가 다룰 수 있게 해줍니다.

저자들은 포유류가 물고기에서 원숭이로 진화하면서 단순히 뇌가 커진 것이 아니라, 학습하는 방식이 더 똑똑해졌다고 제안합니다. 이러한 이중 신호 말단의 사용을 확장함으로써, 뇌는 더 다양한 "오류 신호"를 생성할 수 있게 되었습니다. 이러한 다양성은 도파민 시스템(뇌의 보상 센터)이 단순히 0%나 100%가 아니라, 슬롯머신이 10%의 확률로 당첨된다는 것과 같은 복잡한 확률 분포를 학습할 수 있게 합니다.

이 논문이 인간의 지능에 대한 미스터리를 풀었다고 주장하는 것은 아니지만, "변화"를 감지하기 위해 "가"와 "멈춰" 신호를 섞는 이 특정한 시냅스 메커니즘이 핵심적인 진화적 업그레이드였음을 강력하게 시사합니다. 이것은 세상을 단순히 반응하는 단순한 뇌를, 예측하고 계산하며 예기치 못한 상황에 적응하는 정교한 뇌로 바꾸어 놓았습니다. 다음에 여러분이 어려운 선택을 하거나 새로운 기술을 배울 때, 여러분은 아마도 두 가지 언어를 동시에 말하는 법을 배운 여러분 뇌 속의 작고 오래된 회로에게 감사하게 될지도 모릅니다.