Cortico-subcortical multi-head self-attention as a substrate for cognitive performance

당신의 뇌를 실리콘 칩 대신 말랑말랑한 살아있는 조직으로 구동되는 궁극의 슈퍼컴퓨터라고 상상해 보십시오. 오랫동안 과학자들은 이 생물학적 기계가 어떻게 '생각'이라는 기술을 부리는지, 즉 우리가 어떻게 언어를 이해하고, 문제를 해결하며, 무언가를 기억하는지를 밝혀내기 위해 노력해 왔습니다. 한쪽에는 우리의 고차원적인 사고를 담당하는 뇌의 주름진 바깥층인 신피질이 있습니다. 다른 한쪽에는 뇌의 내부 배선이자 교통 통제관 역할을 하는 시상과 기저핵 같은 깊고 오래된 구조물들이 있습니다. 최근에는 '트랜스포머(transformers)'라고 불리는 새로운 종류의 인공지능이 대화를 나누고, 이야기를 쓰고, 언어를 번역하는 능력으로 유명해졌습니다. 이 AI 시스템들은 문장의 나머지 부분은 무시하면서 가장 중요한 부분에 집중할 수 있게 해주는 '어텐션(attention, 주의 집중)'이라는 영리한 기술을 사용하여 작동합니다. 현재 과학계의 큰 질문은 이것입니다: 우리의 실제 생물학적 뇌도 이와 유사한 '어텐션' 기술을 사용하여 동일한 일들을 수행하고 있는가? 만약 우리가 이 생물학적 설계도를 찾아낼 수 있다면, 우리와 같은 포유류가 어떻게 그토록 똑똑해질 수 있었는지 이해하는 데 도움이 될 것입니다.

이 논문은 그 답이 강력한 "아마도 그렇다"라고 제안하며, 뇌의 피질과 시상이 협력하여 자연적인 버전의 AI 어텐션 네트워크를 구축한다는 구체적인 생물학적 설계도를 제시합니다. 저자들은 뇌가 단순히 정보를 수동적으로 받아들이는 것이 아니라, 뇌의 서로 다른 부분들이 고성적 검색 엔진처럼 작동하는 복잡하고 다층적인 시스템을 실행한다고 제唆합니다. 이 모델에서 신피질(사고 층)과 시상(중앙 중계 스테이션)은 함께 협력하여 저자들이 "피질-피질하 다중 헤드 셀프 어텐션(cortico-subcortical multi-head self-attention)"이라고 부르는 것을 만들어냅니다.

연구에 따르면 이 마법이 일어나는 방식은 다음과 같습니다. 뇌의 피질이 '마이크로 칼럼(micro-columns)'이라고 불리는 아주 작은 동네들로 나뉘어 있다고 상상해 보십시오. 이 이론에서 특정 유형의 뇌세포인 '레이어 2/3 피라미드 세포'는 거대한 포스트잇 라이브러리 역할을 합니다. 이 세포들은 "재귀적 키-값 메모리(recurrent key-value memory)"를 보유하는데, 이는 단지 나중에 찾아볼 수 있도록 정보를 저장한다는 것을 멋지게 표현한 것입니다. 그다음, 또 다른 유형의 세포인 '레이어 5 피라미드 세포'는 탐정 역할을 합니다. 새로운 정보("쿼리(query)")가 도착하면, 이 탐정들은 현재 작업과 관련이 있는 "키(keys)"와 "값(values)"을 찾기 위해 라이브러리를 샅샅이 뒤집니다.

논문은 시상이 이 검색을 가능하게 만드는 결정적인 배달 서비스라고 제안합니다. 시상은 검색을 실행하는 데 필요한 "키", "값", 그리고 "쿼리" 역할을 하는 신호들을 보냅니다. 이 신호들은 시상의 핵심부(core)와 피질을 연결하는 경로와, 시상의 매트릭스(matrix)와 피질을 연결하는 경로를 통해 이동합니다. 저자들은 피질의 특정 영역이 어텐션 네트워크의 하나의 "헤드(head)"처럼 기능하며, 이 영역들을 모두 합치면 전체 피질이 시를 쓰거나 코드를 짤 수 있는 AI 모델처럼 "다중 헤드 셀프 어텐션 네트워크"가 된다고 제안합니다.

하지만 뇌는 읽기만 하는 것이 아니라 학습도 합니다. 논문은 이 동일한 작은 회로가 뇌가 언제 틀렸는지를 파악하도록 돕는다고 제안합니다. 뇌는 "나는 네가 X라고 말할 줄 알았는데, Y라고 말했어!"라고 말하는 방식인 "감각 예측 오류(sensory prediction errors)"를 계산합니다. 이 오류 신호는 뇌가 실수를 통해 배우는 생물학적 버전인 "경사 기반 시냅스 가소성(gradient-based synaptic plasticity)"을 통해 연결을 업데이트하는 데 도움을 줍니다. 나아가, 시스템에는 기저핵에 "문지기(gatekeeper)"가 있습니다. 이 문지기는 "보상 예측 오류(reward-prediction error, 어떤 것이 좋거나 나쁜지를 알려주는 신호)"를 사용하여 피질의 출력을 세상 밖으로 내보낼지, 아니 아니면 해마(뇌의 장기 기억 하드 드라이브)로부터 기억을 재활성화할지를 결정합니다.

저자들은 이 회로의 컴퓨터 시뮬레이션을 훈련시키고 이를 실제 인간의 데이터와 비교함으로써 이 아이디어를 테스트했습니다. 그들은 시뮬레이션된 네트워크가 언어를 처리할 때, 그 활동 패턴이 언어 지각 중인 인간의 뇌 내부에서 채집된 실제 기록과 놀라울 정도로 잘 일치한다는 것을 발견했습니다. 이 논문이 이것이 모든 세부 사항에서 뇌가 작동하는 정확한 방식이라고 입증했다고 주장하는 것은 아니지만, 이 특정한 세포와 연결의 배치가 포유류가 가진 놀라운 인지 능력의 물리적 토대가 될 수 있음을 강력하게 시사합니다. 이는 우리 뇌의 젖은 상태의 복잡한 생물학적 구조와 현대 AI의 매끄럽고 강력한 논리 사이의 점들을 연결하는 설득력 있는 지도입니다.