🧬 biology

Cortex and subcortex play distinct roles over learning when cortical memory is limited

이 논문은 피질 기억이 제한될 때, 피질은 환경의 일반적인 구조를 포착하고 하부 피질 회로는 보상 기반 학습에 특화되는 기능적 해리로부터 최적의 학습이 출현한다는 이론적 프레임워크를 제안하며, 이는 실험 데이터를 통해 검증 가능한 가설이다.

원저자: Matthew Farrell, Taro Toyoizumi

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matthew Farrell, Taro Toyoizumi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신의 뇌를 고도의 기술을 갖춘 사무실이라고 상상해 보세요. 이 사무실에는 당신의 의사결정을 돕기 위해 협력하는 두 개의 뚜렷한 부서가 있습니다: **피질(Cortex, "경영진 사무실")**과 **피질하(Subcortex, "현장 행동팀")**입니다.

이 논문은 다음과 같은 단순하지만 강력한 아이디어를 탐구합니다: 경영진 사무실(피질)은 매우 똑똑하지만 책상 공간(메모리)이 매우 제한적인 반면, 현장 행동팀(피질하)은 유연성은 떨어지지만 저장 공간은 무한하다는 것입니다.

다음은 이들의 관계를 간단한 게임을 통해 설명한 내용입니다.

게임: 선택의 나무

연구진은 '나무' 모양의 정신적 게임을 설정했습니다.

당신은 줄기(뿌리)에서 시작합니다.
가지를 따라 내려가기 위해 일련의 선택을 해야 합니다.
가지의 맨 끝(잎)에는 보상(예: 쿠키)이 있을 수 있습니다.
문제는 이 나무가 매우 거대하며, "경영진 사무실(피질)"은 한 번에 몇 개의 특정 경로만을 기억할 수 있다는 점입니다. 모든 가지를 다 외울 수는 없습니다.

두 부서

현장 행동팀 (모델 프리/피질하): 이 팀은 시행착오를 통해 배웁니다. "왼쪽으로 가면 쿠키를 얻고, 오른쪽으로 가면 아무것도 얻지 못한다." 이들은 작동하는 방식을 반복하는 데 능숙하지만, 규칙이 바뀌면 학습 속도가 느립니다. 쿠키가 거기 있다는 것을 확신하려면 쿠키를 여러 번 먹어봐야 합니다.
경영진 사무실 (모델 기반/피질): 이 팀은 나무 전체의 지도를 그리려고 노력합니다. 단순히 쿠키를 기다리는 것이 아니라, 나무가 어떻게 구성되어 있는지 이해하려고 합니다. "왼쪽으로 가면 막다른 길에 부딪힐 확률이 70%이지만, 쿠키로 가는 길을 찾을 확률은 30%이다." 이 방식은 매우 강력하지만, "책상 공간(메모리)"이 제한되어 있기 때문에 나무의 모든 부분을 다 그릴 수는 없습니다. 이들은 어떤 부분을 그릴지 선택해야 합니다.

핵심 발견: 제한된 책상 공간을 사용하는 방법

논문은 다음과 같이 질문합니다: 만약 경영진 사무실이 몇 개의 가지만을 기억할 수 있다면, 어떤 가지를 그려야 할까요?

연구진은 그 제한된 책상 공간을 채우기 위한 두 가지 서로 다른 전략을 테스트했습니다.

전략 A: "쿠키 사냥꾼" (MAXREWARD)

경영진 사무실은 오직 지금 당장 쿠키로 직접 연결되는 가지들만을 그립니다.

장점: 현재의 보상을 얻는 데 매우 효율적입니다.
단점: 만약 쿠키가 갑자기 나무의 다른 곳으로 이동하면, 이 팀은 꼼짝달싹 못 하게 됩니다. 기존의 지도를 지우고 처음부터 다시 그려야 합니다. 이들은 적응하는 데 느립니다.

전략 B: "탐험가" (MAXREACH)

경영진 사무실은 잠시 쿠키가 어디에 있는지는 무시합니다. 대신, 나무의 줄기(시작점)와 가장 가까운 가지들을 그립니다.

장점: 환경의 "일반적인 구조"에 대한 포괄적인 이해를 구축합니다. 이들은 시작점에서 어느 곳으로든 갈 수 있는 방법을 알고 있습니다.
단점: 현재 쿠키가 없는 경로를 그리는 데 시간을 낭비할 수도 있습니다.
마법 같은 점: 쿠키가 새로운 위치로 이동했을 때, 탐험가 팀은 준비가 되어 있습니다. 이미 시작점 근처의 주요 경로들을 그려 놓았기 때문에, 처음부터 다시 시작할 필요 없이 즉시 새로운 경로를 찾아낼 수 있습니다.

결론: 언제 무엇을 사용해야 하는가?

연구 결과, 변화하는 세상에서는 전략 B (탐험가)가 더 나은 경우가 많다는 것이 밝혀졌습니다.

환경이 안정적이라면(쿠키가 같은 자리에 있다면) "쿠키 사냥꾼"이 승리합니다. 하지만 쿠키가 자주 움직이는 환경(현실 세계에서 흔히 일어나는 일)이라면, 특정 보상에만 집중하기보다 환경의 일반적인 구조를 배우는 데 집중하는 "탐험가"가 승리합니다.

이것이 뇌에 의미하는 바

저자들은 이것이 왜 우리의 뇌가 이런 방식으로 설계되었는지를 설명한다고 제안합니다:

**피질(경er Office)**은 세상의 일반적인 구조를 배우는 데 특화되어 있습니다. 이들은 지도를 만듭니다. 지도를 계속 그리기 위해 모든 가지에 쿠키가 있을 필요는 없습니다. 그저 나무가 어떻게 자라는지만 알면 됩니다.
**피질하(현장 행동팀)**는 보상 기반 학습에 특화되어 있습니다. 이들은 쿠키로 이어지는 구체적인 경로에 집중합니다.

이러한 분리는 뇌가 효율적으로 작동하게 합니다. 피질은 모든 보상 위치를 기억하려고 애쓰며 제한된 메모리를 낭비하지 않습니다. 대신, 피질은 유연한 지도를 만들고, 피질하는 구체적인 "보상이 어디에 있는가?"에 대한 세부 사항을 처리합니다.

테스트 방법

논문은 또한 이를 실제 사람들에게 테스트할 수 있는 방법을 제시합니다. 만약 당신이 누군가가 이 나무 게임을 하는 것을 관찰한다면:

만약 그가 "쿠키 사냥꾼"이라면, 보상이 이동하는 즉시 어려움을 겪을 것입니다.
만 만약 그가 "탐험가"라면, 이미 게임의 시작 부분 근처의 주요 경로들에 주목하고 있었기 때문에 새로운 보상 위치에 빠르게 적응할 것입니다.

요약하자면: 변화하는 세상에서 살아남기 위해서는, 오늘 어디에 보물이 있는지를 암기하는 것보다 그 영토의 지도를 배우는 것이 더 낫습니다.

기술 요약: 기억 제약 조건 하에서의 학습에 대한 피질 및 피질하의 역할

문제 정의
본 논문은 고출력, 자원 집약적인 피질 처리(유연한 모델 기반 추론과 연관됨)와 저비용, 자동화된 피질하 프로세스(모델 프리 학습과 연관됨) 사이의 계산적 트레이드오프를 다룹니다. 뇌가 자원 효율성을 위해 이러한 시스템들을 통합한다는 가설이 존재하지만, 기존의 이론적 프레임워크들은 종종 모델 기반(MB) 모듈의 메모리 자원을 명시적으로 제한하지 못합니다. 많은 복잡한 환경에서 상태 전이 확률의 수는 고차원 사고 기능의 메모리 용량을 초과합니다. 저자들은 메모리 용량이 제한된 MB 학습자가 MF(모델 프리) 학습자와 함께 학습할 때 자원을 어떻게 할당해야 하는지 조사합니다. 구체적으로, MB 시스템이 현재 보상과 직접 관련된 전이를 추적하는 데 우선순위를 두어야 하는지, 아니면 더 넓은 환경 구조를 추적하는 데 우선순위를 두어야 하는지를 묻습니다.

방법론
저자들은 비결정론적 전이가 있는 트리 구조 환경을 사용하여 이론적 프레 프레임워크를 제안합니다.

환경: 에이전트가 루트 상태 $s_0$ 에서 시작하여 리프 상태로 이동하는 깊이 $d$ 를 가진 정규 트리입니다. 보상은 리프 상태에만 할당됩니다. 환경은 두 단계로 나뉩니다: 1단계(고정된 보상 패턴)와 2단계(이동된 보상 패턴).
학습자:
- 모델 프리 (MF): $\lambda$ 와 같은 추가 파라미터 없이 보상이 트리를 통해 즉각적으로 역방향으로 전파될 수 있도록 하는 후방 전파 업데이트를 사용하는 SARSA(0) 스타일의 규칙을 사용합니다.
- 모델 기반 (MB): 추정된 전이 확률 $\hat{P}$ 를 기반으로 Q-값을 계산하기 위해 동적 계획법(dynamic programming)을 사용합니다. 결정적으로, MB 학습자는 메모리 용량 $m$ 에 의해 제한되며, 이는 추적하고 추정할 수 있는 엣지(전이)의 수를 제한합니다.
메모리 할당 전략: 메모리 제한 $m$ $m$ 내에서 어떤 엣지를 추적할지 선택하는 두 가지 뚜렷한 전략을 평가합니다:
1. MAXREWARD: 보상과 관련된 엣지(양의 가치로 이어지는 궤적 상의 엣지)를 우선시하며, 루트와의 근접성을 타이브레이커(tie-breaker)로 사용합니다.
2. MAXREACH: 임의의 목표 상태로 항해하는 능력을 극대화하기 위해, 즉각적인 보상 연관성과 관계없이 루트 상태( $s_0$ )에 가장 가까운 엣지를 우선시합니다.
평가: 성능은 에피소드당 평균 보상으로 측정됩니다. 또한, 가설 세워진 전략과 생성된 데이터를 비교하기 위해 '일관성(consistency)' 지표를 도입하여, 특정 트리 레벨에서의 행동 선택에 대한 미세한 분석을 수행합니다.

주요 결과

정적 vs. 동적 환경에서의 트레이드오프:
- 1단계(안정적인 보상)에서는 MAXREWARD가 현재 보상 구조를 활용하는 데 집중하기 때문에 MAXREACH와 비슷하거나 더 우수한 성능을 보입니다.
- 2단계(보상 위치가 이동한 후)에서는 MAXREACH가 상당한 우위를 점합니다. 루트 근처의 일반적인 구조를 추적하기 때문에, 보상이 이동했을 때도 유효해지는 전이 확률에 대한 지식을 유지합니다. 반면, MAXREWARD는 1단계에서 보상이 없는 엣지들을 버렸기 때문에 이 전이들을 다시 학습해야 하며, 이로 인해 일시적인 성능 저하가 발생합니다.
메모리 용량 효과: 메모리 용량 $m$ 이 충분히 높으면 두 전략의 성능이 수렴합니다. 그러나 엄격한 제약 조건 하에서는 전략의 선택이 에이전트의 비정상적(non-stationary) 환경에 대한 적응력을 결정합니다.
일관성 시그니처: 전략 일관성 분석은 뚜렷한 시간적 시그니처를 드러냅니다. MAXREACH 에이전트의 데이터와 MAXREWARD 가설을 비교할 때(및 그 반대의 경우), 2단계의 보상 이동 직후에 첫 번째 단계(루트 레벨)의 행동 일관성이 급격히 떨어졌다가 서서히 회복됩니다. 이는 두 학습 모드를 구분할 수 있는 구체적이고 테스트 가능한 시그니처를 제공합니다.

의의 및 주장
본 논문은 학습 중 피질과 피질하 시스템의 기능적 해리에 대한 이론적 토대를 제공한다고 주장합니다:

기능적 특수화: 저자들은 피질(MB)이 일반적인 환경 구조(MAXREWARD)의 학습을 지원하는 반면, 피질하 회로(MF)는 보상 기반 학습에 특화되어 있다고 제안합니다.
신경생물학적 타당성: 이 프레임워크는 왜 피질 영역이 선조체(striatum)에 비해 더 드문도파민 투사를 받는지에 대한 설명을 제공합니다. 만약 피질이 즉각적인 보상과 독립적으로 구조적 학습에 집중한다면, 반복적인 보상 경험을 통해 가치를 업데이트해야 하는 MF 시스템보다 직접적인 보상 신호가 덜 필요할 것입니다.
실험적 테스트 가능성: 저자들은 이러한 가설을 실험 데이터로 테스트하는 방법을 상세히 설명합니다. 동물의 행동이 MAXREWARD 또는 MAXREACH 전략과 얼마나 일치하는지 측정함으로써, 연구자들은 피험자가 보상 활용을 우선시하는지 아니면 구조적 학습을 우선시하는지 식별할 수 있으며, 특히 환경 변화 후 루트 레벨에서의 일관성 저하를 관찰함으로써 이를 확인할 수 있습니다.
AI에 대한 시사점: 이 연구는 효율적인 AI 시스템이 유사한 자원 제한적 아키텍처를 통해 이득을 얻을 수 있음을 시사합니다. 즉, 고비용의 계획 모듈은 일반적인 구조에 집중하고, 저비용의 모듈은 즉각적인 보상 최적화를 담당하게 하는 방식입니다.

저자들은 현재 모델이 토이 환경(toy environment)과 테이블 방식(tabular methods)을 사용하고 있음을 인정하며 겸허한 태도를 유지합니다. 그들은 향후 연구에서 파라메트릭 모델, 더 복잡한 신호 통합, 그리고 과업이 숙달됨에 따라 MB에서 MF로 제어권을 넘겨주는 메커니즘을 탐구해야 한다고 언급합니다.