Accumulation of neural state transitions in dorsomedial striatum predicts patch foraging decisions

본 연구는 쥐의 등측선조체 뉴런이 마지막 보상 이후 경과한 시간과 환경적 보상률을 통합하여 고갈되는 자원을 언제 포기할지 결정하는 보상 재설정 및 임계값 도달 누적 메커니즘을 통해 패치 채집 의사결정을 인코딩함을 보여준다.

핵심

만약 여러분이 무한정 먹을 수 있는 뷔페에 있다고 상상해 보세요. 맛있는 음식이 가득한 접시를 들고 있지만, 그것이 무한하지 않다는 것을 알고 있습니다. 어느 시점에 여러분은 결정을 내려야 합니다: 이 특정 요리를 계속 먹을까, 아니면 일어나서 새로운 음식을 찾아갈까?

이것이 이 논문에서 과학자들이 연구한 핵심 문제입니다. 그들은 시간이 지남에 따라 찾기 어려워지는 보상 (예: 음식) 을 주는 행동을 언제 멈출지 뇌가 어떻게 결정하는지 이해하고자 했습니다.

그들이 발견한 내용을 간단히 요약해 보면 다음과 같습니다:

뇌의 '보상 재설정' 버튼

연구자들은 쥐 뇌의 등쪽 내측 선조체(DMS) 라는 작고 구체적인 부분을 집중적으로 연구했습니다. 이 영역을 뇌의 '결정 타이머'라고 생각하세요.

쥐가 보상 (예: 음식 패치 안의 맛있는 간식) 을 찾을 때, 뇌에서 흥미로운 일이 발생합니다:

1. 재설정: 쥐가 보상을 받을 때마다 DMS 의 특정 신경 세포 군집이 '재설정 버튼'을 누릅니다.
2. 카운트다운: 재설정 직후, 이 신경 세포들은 카운트다운을 시작합니다. 단순히 무작위로 시간을 재는 것이 아니라 매우 특정한 리듬을 가지고 있습니다.
3. 타일링: 서로 다른 시점에 출발하는 달리기 선수들이 있는 릴레이 경주를 상상해 보세요. 쥐의 뇌에서는 서로 다른 신경 세포들이 보상을 받은 후 서로 다른 시점에 '카운트다운'을 시작합니다. 어떤 것은 즉시 시작하고, 어떤 것은 1 초 뒤, 또 어떤 것은 2 초 뒤에 시작합니다. 이들이 함께 전체 시간대를 커버하여 마지막 간식을 먹은 후 정확히 얼마나 시간이 흘렀는지를 추적하는 연속적인 신호를 만듭니다.

'누적' 미터

새로운 보상이 없이 시간이 지남에 따라 이 신경 세포들은 물이 양동이에 차오르듯 신호를 쌓아 올립니다.

• 기다림의 비용: 뇌는 너무 오래 기다리는 것은 '비싸다'는 것을 압니다. 쥐가 다른 곳에서 음식을 찾을 수 있기 때문입니다. 환경이 음식으로 가득 차 있다면 (보상률이 높다면), 뇌는 더 빨리 초조해집니다. 음식이 희소하다면 뇌는 더 오래 기다립니다.
• 임계값: 양동이의 '물'이 계속 올라가다가 특정 '넘침 선'(임계값) 에 도달합니다.
• 결정: 물이 그 선에 닿는 순간, 쥐는 "좋아, 마지막 한 입 이후로 충분히 기다렸다. 이 패치를 떠나 새로운 곳을 찾아갈 때다"라고 결정합니다.

큰 그림

이 논문은 쥐가 단순히 추측하거나 스톱워치로 초를 세우는 것이 아니라고 주장합니다. 대신, 뇌는 정교한 계산을 수행합니다:

• 마지막 보상 이후 얼마나 시간이 흘렀는지를 추적합니다.
• 현재 환경에서 시간의 가치에 따라 이 타이머를 조정합니다 (음식을 찾기 쉬운가 어려운가?).
• 이 시간을 측정하기 위해 연속적으로 발화하는 신경 세포 팀을 사용합니다.
• 신호가 특정 한계에 도달하면, 쥐는 멈추고 다음 단계로 이동합니다.

요약하자면, 등쪽 내측 선조체는 동물이 성공을 극대화하기 위해 정확히 언제 작업을 포기해야 하는지 알 수 있도록 도와주는 지능형 조절 가능한 타이머처럼 작용합니다. 이는 더 나은 기회가 근처에 있을 수 있는데도 '메마른' 패치에 시간을 낭비하지 않도록 보장합니다.

기술 요약

기술 요약: 배측 내측 선조체의 신경 상태 전이 누적이 패치 포식 결정을 예측함

문제 제기
이 연구가 다루는 핵심 과제는 시간적으로 분산된 보상을 수반하는 활동에 필요한 의사결정 과정, 즉 무엇을 할지뿐만 아니라 언제 멈출지도 결정하는 문제입니다. 최적 포식 이론 (OFT) 은 패치 이탈이 패치에 투자된 총 시간에 의해 지배되어야 한다고 주장하지만, 종을 초월한 경험적 관찰들은 총 투자량보다는 최근 보상에 대한 민감성을 자주 보여줍니다. 이는 뇌가 패치 포식 중 보상률을 최적화하기 위해 목표 지향적 의사결정과 간격 타이밍을 어떻게 통합하는지에 대한 이해의 기능적 격차를 만들어냅니다. 배측 내측 선조체 (DMS) 는 이러한 수렴하는 두 기능을 매개하는 중요한 신경 기질로 확인되었습니다.

방법론
이러한 의사결정의 신경 기전을 규명하기 위해, 연구진은 자유롭게 움직이는 생쥐의 DMS 내 신경세포에서 세포외 기록을 수행했습니다. 피험자들은 고갈되는 자원 환경을 시뮬레이션하도록 설계된 패치 포식 과제를 수행했습니다. 실험 설계는 패치 체류 시간, 보상 타이밍, 환경적 보상률과 같은 특정 행동 지표와 관련하여 신경 활동을 분석할 수 있도록 했습니다. 연구진은 보상 사건 및 후속 행동적 이탈에 대한 신경 발화의 시간적 역동성을 특징화하는 데 중점을 두었습니다.

주요 기여 및 결과
이 연구는 패치 이탈 결정을 지배하는 DMS 내의 특정 계산 기전을 규명합니다:

• 행동 전략: 생쥐들은 엄격하게 총 시간 투자 모델을 따르지 않았습니다. 대신, 그들은 '보상 재설정' 전략을 사용했습니다. 이탈 결정은 주로 마지막 보상 이후 경과된 시간에 의해 주도되었으며, 패치 전체 체류 시간과 더 넓은 환경적 보상률 맥락에 기반하여 체계적으로 조정되었습니다.
• 신경 역동성: DMS 의 개별 뉴런은 각 보상 사건 이후 특징적인 지연을 두고 이산적인 발화율 전이를 나타냈습니다. 결정적으로, 이러한 전이 시간은 개체군 전체에 걸쳐 분포하여 보상 후 간격을 효과적으로 '타일링'했습니다.
• 누적 - 임계값 신호: 개체군 활동은 매번 보상과 함께 재설정되는 누적 - 임계값 신호를 생성했습니다. 이 누적의 속도는 정적이지 않았습니다. 시간의 비용에 민감했습니다. 구체적으로, 누적 속도는 환경적 보상률이 높은 조건에서와 보상이 패치 내에서 더 늦게 발생할 때 증가했습니다.
• 의사결정 부호화: 누적된 신호는 패치 이탈 시점에 일관된 임계값에 정확히 도달했습니다. 이 임계값 교차는 동물의 의도된 정지 시간을 부호화하여, 마지막 보상 이후 경과 시간, 추구 활동 개시 이후 경과 시간, 그리고 환경적 보상률을 효과적으로 통합했습니다.

의의 및 주장
이 논문은 DMS 내에서 시간 비용 가변적, 보상 재설정, 누적 - 임계값 계산이라는 새로운 기전을 규명했다고 주장합니다. 이 기전은 세 가지 서로 다른 시간적 및 맥락적 변수를 통합하는 역할을 합니다:

1. 환경적 보상률.
2. 추구 개시 이후 경과 시간.
3. 최근 보상 발생 이후 경과 시간.

이러한 요소들을 종합함으로써 DMS 는 고갈되는 추구를 포기할 최적의 시기를 결정합니다. 이 발견들은 DMS 가 단순히 시간이나 보상을 개별적으로 추적하는 것이 아니라, 포식 행동에서 '언제 멈출지'라는 문제를 해결하기 위해 이러한 변수들을 역동적으로 통합한다는 것을 시사합니다. 이 연구는 패치 포식 맥락에서 목표 지향적 의사결정과 간격 타이밍을 연결하는 특정 신경 계산을 규명한 것으로 이러한 결과를 겸손하게 제시합니다.