A Mechanistic Theory Unifying Value and Schema in the Prefrontal Cortex
이 논문은 가치가 구조화된 작업 기억 표현을 게이팅하여 유연하고 일반화 가능한 의사결정을 가능하게 하는 제어 신호로 작용하는 전전두엽 피질의 통합적 기계론적 모델을 제안하며, 이는 추가적인 시냅스 가소성을 요구하지 않고도 이러한 행동을 재현하는 메타 학습된 순환 신경망에 의해 검증된 이론이다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
동물은 적응의 명수입니다. 다람쥐는 새로운 견과류를 발견할 때마다 그것을 깨는 법을 새로 배울 필요가 없으며, 인간은 경로가 바뀌었다고 해서 운전하는 법을 다시 배울 필요가 없습니다. 낯선 상황에서 현명한 선택을 하는 이 능력은 전전두엽 피질(prefrontal cortex)이라 불리는 뇌의 특정 부위에 의존합니다. 과학자들은 오랫동안 이 영역이 두 가지 핵심적인 역할을 한다는 것을 알고 있었습니다. 바로 선택이 얼마나 좋을지(가치)를 계산하는 것과, 상황의 숨겨진 규칙이나 구조(예를 들어, 빨간불에 좌회전하는 것이 거리와 상관없이 항상 틀린 행동임을 아는 것)를 이해하는 것입니다. 수십 년 동안 이 두 기능은 별개의 퍼즐로 연구되어 왔습니다. 한 계열의 연구는 뇌가 보상으로부터 어떻게 학습하는지를 살펴보았고, 다른 계열은 뇌가 세상의 정신적 지도를 어떻게 구축하는지를 살펴보았습니다. 큰 의문은 뇌가 이 두 가지 도구를 사용하여 어떻게 실제로 순간적인 결정을 내리는가 하는 점이었습니다.
런던 대학교(UCL)와 옥스퍼드 대학교의 연구팀은 이에 대한 새로운 답을 제시했습니다. 그들은 뇌가 단순히 가능한 모든 행동에 대해 점수를 계산한 다음 가장 높은 것을 고르는 것이 아니라고 제안합니다. 대신, 그들은 뇌가 아마도 가치가 선택지를 재배열하는 제어 신호 역할을 하는 순위 목록처럼 옵션들을 조직한다고 발견했습니다. 이를 테스트하기 위해 연구진은 신경망의 컴퓨터 모델을 구축하고 다양한 의사결정 게임을 해결하도록 훈련시켰습니다. 이 모델들은 규칙을 프로그래밍받지 않았으며, 동물처럼 게임의 구조 자체를 스스로 학습해야 했습니다. 결과는 가장 성공적인 모델들이 특정한 내부 메커니즘을 발달시켰음을 보여주었습니다. 즉, 그들은 사용 가능한 행동들을 별도의 정신적 '슬롯(slots)'에 저장하고, 각 행동이 얼마나 좋은지에 따라 그 슬롯들을 끊임없이 재정렬했습니다.
연구진은 성공적인 모델들에서 뇌가 모든 행동을 영구적인 점수가 붙은 고정된 항목으로 취급하지 않는다는 것을 발견했습니다. 대신, 행동 자체가 유동적인 역동적인 시스템을 만들어냅니다. 내용물을 서로 바꿀 수 있는 서랍 세트를 상상해 보십시오. 모델은 가장 좋은 옵션을 맨 위 서랍에, 두 번째로 좋은 것을 중간에, 가장 나쁜 것을 맨 아래에 두도록 학습했습니다. 결정적으로, 모델 내의 '가치' 신호는 단순히 숫자로 머물러 있는 것이 아니라 스위치 역할을 했습니다. 모델이 자신의 최선책이 더 이상 최고가 아니라는 피드백을 받으면, 가치 신호가 작동하여 기존의 최선책을 아래로 내리고 새로운 최선책을 위로 끌어올리는 교체를 일으켰습니다. 이를 통해 모델은 규칙을 처음부터 다시 배울 필요 없이 새로운 상황에 즉각적으로 적응할 수 있었습니다. 만약 게임의 규칙이 바뀐다면, 모델은 이전에 배웠던 동일한 논리를 사용하여 기존의 옵션 목록을 단순히 재배열하기만 하면 되었습니다.
이 발견은 신경과학계의 오래된 관점에 도전합니다. 전통적으로 과학자들은 뇌가 특정 행동과 그 보상 사이의 연결을 강화함으로써 학습한다고 믿었습니다. 마치 강아지가 특정 묘기를 부리면 간식을 받는다는 것을 배우는 것과 같습니다. 이 오래된 관점에서는 강아지가 "앉아"를 배웠다면 그 연결이 단단히 고정된 것이었습니다. 새로운 모델은 이와는 다른 것을 시사합니다. 연구진은 모델들이 특정 행동에 가치를 부여하는 법을 배우는 것이 아니라, 가치를 '순위'에 연결하는 법을 배웠다는 것을 발견했습니다. 이 관점에서 뇌는 실제 옵션이 무엇인지와 상관없이 "최선의 옵션"과 "두 번째로 좋은 옵션"이라는 개념을 인식하는 법을 배웁니다. 이는 동물이 어떻게 그렇게 빠르게 학습을 일반화할 수 있는지를 설명해 줍니다. 만약 원숭이가 특정 과일이 한 맥락에서 최고의 선택임을 배웠다면, 새로운 맥락에서 완전히 다른 종류의 과일들을 접하더라도 동일한 내부 규칙에 따라 새로운 옵션들의 순위를 매김으로써 즉시 그 논리를 적용할 수 있습니다.
이 메커니즘이 단순한 컴퓨터 코드의 특이점이 아니라 실제임을 증명하기 위해, 연구진은 모델을 대상으로 일련의 "수술" 실험을 수행했습니다. 그들은 네트워크의 숨겨진 층에 접근하여 정신적 슬롯에 저장된 정보를 수동으로 변경했습니다. 그들이 맨 위 슬롯의 내용물과 맨 아래 슬롯의 내용물을 서로 바꿨을 때, 모델의 행동은 예측한 대로 변했습니다. 모델은 이전에 그곳에 있던 행동을 무시하고, 맨 위로 옮겨진 행동을 즉시 선택하기 시작했습니다. 이는 모델이 단순히 점수를 계산하고 승자를 뽑는 것이 아니라, 가치 신호에 따라 행동 명령을 물리적으로 이동시키고 있었음을 확인시켜 주었습니다. 또한 연구진은 규칙이 예측 가능한 패턴으로 변하거나, 한 선택의 가치가 다른 선택의 가치를 알려주는 게임과 같은 더 복జ한 과제에서도 모델을 테스트했습니다. 모든 경우에서, 이 순위 기반의 셔플링 시스템을 사용하는 모델들이 문제를 효율적으로 해결하고 새로운 변형에 적응할 수 있었습니다.
이 연구는 또한 이것이 실제 동물의 뇌와 어떻게 비교되는지도 살펴보았습니다. 연구진은 자신들의 모델이 정보를 조직하는 방식이 원숭이의 전전두엽 피질에서 기록된 뉴런의 발화 패턴과 일치한다는 점에 주목했습니다. 실제 뇌에서 과학자들은 실제 옵션이 무엇인지와 관계없이 특정 "최선"의 옵션에 반응하는 뉴런, "두 번째로 좋은" 옵션에 반응하는 뉴륜, 그리고 "가장 나쁜" 옵션에 반응하는 뉴런들을 관찰해 왔습니다. 이러한 생물학적 증거는 뇌가 순위 시스템을 사용한다는 아이디어를 뒷받침합니다. 연구진은 또한 이 시스템이 '무엇(행동)'과 '얼마나 좋은가(가치)'를 분리하기 때문에 매우 효율적이라고 지적했습니다. 이러한 분리는 뇌가 완전히 새로운 문제 세트에 대해 동일한 학습 규칙을 재사용할 수 있게 하며, 이는 변화하는 세상에서 생존하는 데 필수적인 능력입니다.
가치와 구조의 개념을 통합함으로써, 이 연구는 뇌가 어떻게 유연성을 달성하는지에 대한 더 명확한 그림을 제공합니다. 이는 전전두엽 피질이 보상을 합산하는 계산기라기보다는, 정보의 흐름을 끊임없이 재조직하는 교통 관제사에 가깝다는 것을 시사합니다. 선택의 가치는 단순히 읽어야 할 숫자가 아닙니다. 그것은 뇌의 내부 작업 공간을 재배열하는 명령입니다. 이 메커니즘을 통해 동물은 모든 가능성을 일일이 시도할 필요 없이, 단 한 번의 피드백만으로도 최선의 행동 경로를 추론할 수 있는 빠른 추론이 가능해집니다. 연구진의 시뮬레이션은 이것이 단순한 이론적 가능성이 아니라, 시스템이 유연하도록 훈련될 때 자연스럽게 나타나는 강력한 해결책임을 보여줍니다. 비록 이 연구가 컴퓨터 모델을 사용하여 수행되었지만, 기존의 생물학적 데이터와의 일치는 이 순위 기반의 셔플링 메커니즘이 인간의 뇌가 일상의 복잡하고 변화무쌍한 문제들을 해결하는 방식일 가능성이 높음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.