Cholinergic modulation of reinforcement learning and prefrontal value computations under uncertainty

본 연구는 비페리덴으로 무스카린성 아세틸콜린 수용체를 차단하면 학습 속도를 증가시켜 고불확실성 하에서 강화 학습을 손상시키며, 이는 더 노이즈가 많은 확률 추정으로 이어지고 학습된 보상 가치에 대한 측두전전두피질의 표현을 소거함을 보여준다.

핵심

당신의 뇌가 도시를 통과하는 최상의 경로를 찾으려 노력하는 첨단 내비게이션 시스템이라고 상상해 보세요. 때로는 지도가 명확하고 도로가 예측 가능하지만, 다른 때는 도시가 공사 중이고 표지판이 없으며 교통 흐름이 몇 분마다 변하기도 합니다. 이 연구는 이러한 혼란스럽고 불확실한 상황에서 뇌의 특정 화학 전달 물질인 아세틸콜린이 이 내비게이션 시스템을 위한 "보정 노브" 역할을 어떻게 수행하는지 탐구합니다.

연구자들이 무엇을 어떻게 수행하고 무엇을 발견했는지 간단히 요약해 보겠습니다:

실험: "보정 노브"를 낮추기
연구자들은 건강한 남성 그룹에게 비페리덴이라는 약물을 투여했습니다. 이 약물은 아세틸콜린 신호의 볼륨을 낮추는 임시 디머 스위치라고 생각하세요. 그들은 이 화학 물질이 줄어졌을 때 학습과 의사결정에 어떤 일이 일어나는지 확인하고자 했습니다.

테스트: 두 가지 다른 시나리오
참가자들은 뇌파를 측정하는 헬멧을 쓴 채 두 가지 유형의 게임을 플레이했습니다:

1. "안정된 손" 게임 (도박 과제): 이는 확률이 변하지 않는 동전 던지기에 베팅하는 것과 같습니다. 앞면이나 뒷면 중 하나를 선택하기만 하면 됩니다.

   • 결과: 아세틸콜린이 낮아졌을 때, 사람들은 이 게임을 평소와 정확히 같은 방식으로 플레이했습니다. 새로운 학습이 필요하지 않았기 때문에 이 화학 물질은 중요하지 않았습니다.

2. "이동하는 모래" 게임 (학습 과제): 이는 신호등이 무작위로 색을 바꾸는 도시를 항해하거나, 레버를 당길 때마다 당첨 확률이 변하는 슬롯머신과 같습니다.

   • 결과: 여기서 흥미로운 일이 발생했습니다. 화학 물질이 낮아진 상태에서 참가자들은 최근의 운에 지나치게 민감해졌습니다. 만약 연속으로 몇 번 이기면, 그들은 즉시 확률이 훌륭하다고 가정하고 계속 베팅했습니다. 만약 지면, 그들은 당황하여 전략을 너무 빠르게 변경했습니다. 그들은 "냉철한 정신"을 잃고 운의 연속과 실제 패턴 사이의 차이를 구별하지 못했습니다.

"이유": 노이즈가 있는 계산기
연구자들은 컴퓨터 모델을 사용하여 이것이 왜 발생했는지 파악했습니다. 그들은 아세틸콜린이 충분하지 않으면 뇌의 "확률"을 위한 내부 계산기가 노이즈가 발생한다는 사실을 발견했습니다.

• 정상적인 뇌: "세 번 이겼지만, 확률은 여전히 까다롭다. 나는 안정적으로 유지할 것이다."
• 약물에 의해 변형된 뇌: "세 번 이겼다! 확률이 이제 완벽해야 한다! 모든 것을 베팅할 것이다!"
  뇌는 단일 사건으로부터 너무 빠르게 학습하여 미래에 대한 추정을 신뢰할 수 없게 만들었습니다.

뇌파: 침묵하는 라디오
게임을 하는 동안 연구자들은 뇌의 전기적 활동을 관찰했습니다. 그들은 의사결정의 CEO 역할을 하는 뇌의 앞부분 (전전두피질) 에서 특정 라디오 신호 (고베타 주파수) 가 상황의 "학습된 확률"을 방송한다는 사실을 발견했습니다.

• 약물 하에서: 이 라디오 신호는 완전히 침묵했습니다. 뇌는 옵션들의 계산된 가치를 방송하는 것을 멈췄습니다. 마치 CEO 가 팀에 업데이트를 제공하는 것을 멈추고, 모든 사람들이 최근의 노이즈에 기반하여 추측하게 만든 것과 같았습니다.

핵심 결론
이 연구는 아세틸콜린이 세상이 예측 불가능할 때 침착하고 정확하게 머무르기 위한 뇌의 도구임을 시사합니다. 이는 우리가 단일한 운 좋은 승리나 패배의 소음을 무시하고 잘 계산된 전략을 고수하도록 돕습니다. 이 화학 물질이 낮아지면 우리의 뇌는 반응적이고 불안정해져, 불확실한 상황에서의 모든 반전과 변화에 과잉 반응하게 됩니다.

기술 요약

기술적 요약: 불확실성 하의 강화 학습 및 전두엽 가치 계산에 대한 콜린성 조절

문제 제기
신경조절물질인 아세틸콜린은 불확실성 조건 하에서 학습 과정을 지배하는 데 중요한 역할을 한다는 가설이 제기되어 왔습니다. 그러나 무스카린성 아세틸콜린 수용체가 다양한 불확실성 수준에 걸쳐 보상 유도 학습과 의사결정에 영향을 미치는 구체적인 메커니즘은 아직 완전히 규명되지 않았습니다. 본 연구는 이러한 인지 과정에서 무스카린성 전달의 인과적 역할을 조사하며, 특히 그 차단이 행동 적응과 가치의 신경적 표현에 미치는 영향을 검토합니다.

방법론
본 연구는 43 명의 건강한 남성 참가자를 대상으로 한 피험자 내 설계 및 위약 대조 설계를 사용했습니다. 참가자들은 무스카린성 아세틸콜린 수용체를 일시적으로 차단하기 위해 무스카린성 길항제인 비페리덴 4mg 을 투여받았습니다. 실험 프로토콜은 두 가지 명확한 과제로 구성되었습니다:

1. 도박 과제: 학습이 요구되지 않는 의사결정을 평가하도록 설계됨.
2. 학습 과제: 선택 결과의 조건이 빈번하게 전환되는 시나리오를 포함하여 다양한 불확실성 수준과 관련된 옵션 가치를 포함함.

과제 수행 중 신경 역학을 포착하기 위해 뇌자도 (MEG) 가 기록되었습니다. 행동 데이터는 학습률과 확률 민감도를 정량화하기 위해 강화 학습 모델을 사용하여 분석되었습니다. 신경 데이터는 특히 고베타 (20~30Hz) 대역의 전력에 초점을 맞춰 학습된 보상 확률의 측두 전두엽 표현을 구체적으로 검토되었습니다.

주요 결과
비페리덴 투여는 과제의 요구 사항에 따라 분리 가능한 효과를 나타냈습니다:

• 행동적 발견: 학습이 요구되지 않는 도박 과제에서는 비페리덴이 의사결정에 유의미한 영향을 미치지 않았습니다. 반면, 학습 과제에서는 비페리덴이 참가자들의 확률에 대한 민감도를 감소시켰습니다. 이 감소는 선택 결과의 조건이 빈번하게 전환될 때 가장 두드러졌습니다.
• 모델링 통찰: 강화 학습 모델링은 관찰된 행동 변화가 확률 추정의 노이즈 증가에 의해 주도되었음을 시사했습니다. 구체적으로, 비페리덴은 보상받은 선택에 대한 학습률을 증가시켜 불확실한 맥락에서 확률 추정의 안정성을 저하시켰습니다.
• 신경적 발견: 행동적 변화는 특정 신경적 변화와 병행되었습니다. 비페리덴 하에서, 일반적으로 고베타 (20~30Hz) 주파수 대역에서 관찰되는 학습된 보상 확률의 측두 전두엽 표현이 소멸되었습니다.

주요 기여
본 연구는 불확실한 환경에서 학습률의 보정에 무스카린성 아세틸콜린 전달이 직접적으로 연결된다는 경험적 증거를 제공합니다. 약리학적 조작, 행동 모델링, MEG 를 결합함으로써 저자들은 무스카린성 차단이 학습 중 확률 추정의 안정성을 방해하며, 이는 정적 의사결정과 구별되는 과정임을 입증했습니다. furthermore, 이 연구는 측두 전두엽 피질에서 보상 확률에 대한 고베타 전력 표현의 소실이라는 특정 신경 지문을 해당 콜린성 조절의 상관관계로 규명했습니다.

의의 및 주장
저자들은 무스카린성 아세틸콜린 전달이 매우 불확실한 맥락에서 학습을 통제하는 데 필수적이라고 결론지었습니다. 구체적으로, 이 시스템은 신중하게 보정된 조정에 대한 인지적 요구가 가장 높은 상황에서 결정적으로 작용하는 것으로 보입니다. 이러한 발견은 환경적 조건이 변동적일 때 안정적인 확률 추정과 적절한 학습률을 유지하기 위해서는 건전한 무스카린성 신호 전달이 필요하며, 이는 복잡하고 불확실한 상황에서의 적응적 행동을 지원함을 시사합니다.