Rapid value learning reveals generalized and context-dependent codes in frontal cortex

기술 요약: 빠른 가치 학습은 전두엽 피질의 일반화 및 맥락 의존적 코드를 드러낸다

문제 및 동기
의사결정 신경과학 분야는 방법론적 단절에 직면해 있다: 인간 신경영상 연구는 대개 과제에 익숙하지 않은(task-naïve) 참가자들의 가치 표상을 관찰하는 반면, 비인간 영장류(NHP)의 단일 뉴런 기록은 광범위하게 훈련된 피험체를 대상으로 한다. 널리 퍼져 있으나 검증되지 않은 가정 중 하나는, 인간에게서 빠르게 나타나는 이러한 가치 표상이 NHP에서 관찰되는 과도하게 훈련된(overtrained) 표상과 동일할 것이라는 점이다. 그러나 전두엽 피질(FC)의 반응은 신선함(novelty), 경험, 그리고 과제 상태에 의해 조절되는 것으로 알려져 있다. 가치 기반 계산이 새로운 자극과 과도하게 훈련된 자극에 대해 서로 다른 신경 코드에 의존하는지, 그리고 유연한 선택을 지원하기 위해 전두엽 뉴런에서 가치 연합이 얼마나 빠르게 습득되는지는 여전히 불분명하다. 또한, 시간차 강화 학습(TDRL)은 가치 신호가 보상에서 예측 가능한 단서로 후방 이동(backward shift)할 것을 예측하지만, 이러한 역동성이 전대상피질(ACC) 및 안와전두피질(OFC)과 같은 전두엽 영역에서 세션 내 학습을 지원할 만큼 충분히 빠르게 일어나는지는 알려져 있지 않다.

방법론
본 연구는 훈련 이력과 보상 가치의 효과를 분리하도록 설계된 과제를 수행하는 두 마리의 마카크 원숭이(Macaca mulatta)로부터 ACC와 OFC의 단일 뉴런 활동을 기록하였다.

• 과제 구조: 각 세션은 **조건 형성 단계(Conditioning phase)**와 **선택 단계(Choice phase)**로 구성된다.
  • 조건 형성 단계: 피험자는 10개의 새로운 단서-가치 연합을 이차 조건 형성을 통해 학습한다. 새로운 단서는 5가지의 보상 크기 또는 확률 중 하나를 예측한다. 결정적으로, 각 새로운 단서는 가치를 명시적으로 나타내는 과도하게 훈련된 이차 강화물(색상 바)과 함께 제시되어, 크기와 확률 정보를 모두 빠르게 습득할 수 있게 한다.
  • 선택 단계: 피험자는 다음 세 가지 중 하나를 자유롭게 선택한다: (1) 당일 학습한 두 개의 새로운 단서 (Novel trials), (2) 이전에 수천 번 경험한 두 개의 단서 (Overtrained/OT trials), 또는 (3) 각각 하나씩의 조합 (Mixed trials).
• 뉴런 기록: ACC(area 24c)에서 156개, OFC(areas 11/13)에서 160개의 뉴런을 기록하였다.
• 분석: 저자들은 선택된 가치, 선택의 신선함, 그리고 보상 속성에 대한 뉴런의 선택성을 정량화하기 위해 일반 선형 모델(GLM)을 사용하였다. 또한, 조건 간(Novel vs. OT, Magnitude vs. Probability) 가치 코드의 유사성을 평가하기 위해 t-통계량의 교차 상관을 활용하였으며, RPE(보상 예측 오차)와 유사한 학습 징후(예: 이차 강화물에서 새로운 단서로의 가치 코딩 이동)를 탐지하기 위해 시간적 역동성을 분석하였다.

주요 결과

1. 빠른 습득: 새로운 단서와 관련된 가치 신호는 ACC에서는 47회의 단서 제시 이내에, OFC에서는 710회 제시 이내에 빠르게 나타났다. 이 시간 척도는 피험자가 3~5회 제시 이내에 우연 수준 이상의 성과를 보이는 행동 적응과 일치했다.
2. 일반화된 코드 vs. 맥락 의전적 코드:
   • ACC: 뉴런들은 **일반화된 가치 코드(generalized value code)**를 사용했다. 선택된 가치의 표상은 Novel 및 OT 시행 간에 매우 높은 상관관계를 보였으며, 보상 속성(크기 및 확률) 전반에 걸쳐 일반화되었다. ACC 뉴런은 두 가지 유형의 시행 모두에서 가치를 인코딩할 가능성이 더 높았다.
   • OFC: 뉴런들은 **맥락 의존적 코딩(context-dependent coding)**을 보였다. OFC는 두 가지 유형 모두에서 가치를 인코딩했지만, 모집단 구조는 달랐다: Novel 시행과 OT 시행을 위해 서로 다른 하위 집단이 동원되었다. OFC의 가치 코딩은 (특히 OT 시행에서) 과제 차원(속성)에 따라 더 분리되어 있었다(attribute-dependent).
3. 독립적인 신선함 코딩: 두 영역 모두 가치와 독립적으로 선택의 신선함(Novel vs. OT)을 인코딩했다. 그러나 OFC 뉴런은 ACC 뉴런보다 신선함을 인코딩할 가능성이 유의미하게 높았다. 결정적으로, 신선함 신호는 선택된 가치 신호보다 약 130ms 앞서 나타났는데, 이는 신선함이 후속되는 가치 계산을 위한 맥락적 가이드(scaffold)를 제공함을 시사한다.
4. ACC에서의 RPE 기반 학습 역동성:
   • 시간적 이동: ACC에서는 새로운 단서에서 가치 코딩이 나타남에 따라(Late trials), 이는 이전에 이차 강화물에서 관찰되었던 패턴(Early trials)을 반영했다.
   • 강화물에서의 감소: 새로운 단서에서 가치 코딩을 습득한 ACC 뉴런은 시간이 지남에 따라 이차 강화물에서의 가치 코딩이 유의미하게 감소했는데, 이는 보상이 단서에 의해 완전히 예측됨에 따라 발생하는 RPE 이론과 일치한다.
   • 대립 코딩(Opponent Coding): ACC의 단서-가치 학습자들은 선택 단계 동안 대립 코딩(선택 시와 결과 발생 시의 부호가 반대임)을 보였으며, 이는 RPE 코딩의 특징이다. OFC 뉴런은 이러한 특정 역동성을 보이지 않았다.

주요 기여

• 방법론적 연결: 본 연구는 전두엽 피질의 가치 표상이 단 몇 차례의 시행(4~7회) 내에 나타날 수 있음을 입증함으로써, 훈련된 NHP의 단일 뉴런 데이터와 태생적(naïve) 상태의 인간 신경영상 데이터를 비교하는 것의 타당성을 뒷받침한다(학습 시간 척도를 고려한다는 전제하에).
• 지역적 해리: 본 연구는 빠른 학습 과정에서 ACC와 OFC 사이의 기능적 해리를 확립한다: ACC는 경험 수준에 관계없이 공통 통화(common-currency)의 일반화된 가치 코드를 유지하는 반면, OFC는 경험 의존적인 하위 집단에 의존하며 신선함을 강력하게 인코딩한다.
• 습득 메커니즘: 본 논문은 전두엽에서 RPE 기반 학습 역동성(가치 신호의 시간적 전이 및 예측된 보상에 대한 반응 감소)이 며칠이 아닌 초 단위에서 분 단위의 시간 척도에서 발생한다는 전기생리학적 증거를 제공한다.

의의 및 주장
저자들은 이러한 발견이 방법, 종, 그리고 훈련 이력을 가로질러 가치 표상을 비교하기 위한 필요 조건(빠른 습득)과 충분 조건(일반화된 형식)을 확립한다고 주장한다. 구체적으로, 그들은 ACC에서의 빠른 학습 메커니즘이 과도하게 훈련된 표상과 일치하여 종 간 유사성을 지원하는 반면, OFC의 신경 코드는 신선함과 훈련 이력에 매우 민감하다는 점을 강조한다. 이는 NHP의 표준적인 과도 훈련 프로토콜이 인간의 유연한 새로운 의사결정에 중요한 맥락 의존적 코딩 메커니즘(예: OFC의 경우)을 가릴 수 있음을 시사한다. 결과적으로, 전두엽의 가치 코딩은 단일한 형태가 아니며, 행동 지향적인 일반화된 코드(ACC)와 맥락에 민감하고 신선함에 의해 조절되는 코드(OFC)를 모두 포함하며, 이 두 가지 모두 적응적 의사결정에 필수적임을 보여준다.