Reward predictability shapes decision making states and exploitative control in marmosets

당신이 가장 맛있는 베리를 찾기 위해 숲속을 걷고 있다고 상상해 보세요. 때때로 당신은 최고의 베리 군락지가 어디인지 정확히 알고 있어서, 그 길을 고수하며 계속 베리를 줍기도 합니다 (이것은 **이용(exploitation)**입니다). 또 다른 때는, 혹시 더 좋은 곳이 숨겨져 있을지 모르니 새로운 구역을 확인하러 길을 벗어나기도 합니다 (이것은 **탐색(exploration)**입니다).

이 논문은 작고 사회적이며 인간과 유전적으로 매우 유사한 영리한 원숭이인 마모셋(marmosets)이, 언제 아는 것을 고수하고 언제 새로운 것을 시도할지를 어떻게 결정하는지에 관한 것입니다.

연구자들이 수행한 내용과 발견한 점을 다음과 같이 쉽게 나누어 설명합니다:

1. 원숭이를 위한 새로운 "체육관"
이전에는 이 원숭이들의 의사결정을 연구하는 것이 어려웠습니다. 종종 원숭이들을 서식지 밖으로 데려와야 했고, 보상을 갈구하도록 물 섭취를 제한해야 했으며, 짧고 스트레스가 많은 상황에서 테스트를 진행해야 했습니다.
연구진은 원숭이들의 실제 사육장 안에 자동화된 새로운 "체육관"을 구축했습니다. 이것은 마치 고성적 터치스크린 게임 콘솔과 같아서, 원숭이들이 스트레스를 받거나 물 섭고 제한 없이, 원할 때 언제든 원하는 만큼 오랫동안 플레이할 수 있습니다. 이를 통해 연구진은 원숭이들의 자연스러운 의사결정 습관을 장기간에 걸쳐 연구할 수 있었습니다.

2. 훈련 게임
원숭이들은 화면을 통해 일련의 게임을 수행했습니다:

• 역전 학습 (Reversal Learning): 빨간 버튼을 누르면 항상 간식이 나오다가, 갑자기 규칙이 바뀌어 파란 버튼을 눌러야 간식이 나오는 게임을 상상해 보세요. 원숭이들은 전략을 바꾸는 법을 배워야 했습니다.
• "두 팔의 밴딧 (Two-Armed Bandit)": 이것은 마지막 단계이자 가장 어려운 테스트였습니다. 마치 두 개의 레버가 있는 슬롯머신과 같았습니다. 때때로 한쪽 레버가 더 자주 보상을 주었지만, 규칙은 까다롭고 무작위로 변했습니다. 어떤 힌트나 단서도 없어 어떤 레버가 더 나은지 알려주지 않았기에, 원숭이들은 직접 시도해 봄으로써 스스로 알아내야 했습니다.

3. 원숭이의 사고 방식 ("정신적 모드")
연구진은 원숭이의 뇌를 이해하기 위해 컴퓨터 모델을 사용했습니다. 그 결과, 원숭이들이 단순히 무작위로 선택하는 것이 아니라, 두 가지 뚜렷한 "정신적 모드" 사이를 전환한다는 것을 발견했습니다:

• "고수하기" 모드 (이용 - Exploitation): 원숭이가 확신이 있을 때, 보통 잘 작동했던 선택지를 고수합니다.
• "무엇이든 시도하기" 모드 (탐색 - Exploration): 원숭이가 불확실할 때, 새로운 정보를 수집하기 위해 다양한 옵션을 테스트하기 시작합니다.

4. 핵심 발견: 예측 가능성이 게임의 판도를 바꾼다
가장 흥ens로운 발견은 보상이 얼마나 예측 가능한가에 관한 것이었습니다.

• 세상이 예측 가능할 때 (결정론적 - Deterministic): 잘못된 선택이 항상 간식을 주지 않는다면, 원숭이는 자신의 실수를 즉시 깨닫습니다. 이는 마치 전구가 켜지는 것과 같아서, 그들은 경로를 매우 빠르게 수정했습니다.
• 세상이 예측 불가능할 때 (확률적 - Probabilistic): 잘못된 선택을 했더라도 운 좋게 가끔 간식을 받는다면, 원숭이는 자신이 실수를 하고 있다는 것을 깨닫는 데 더 오랜 시간이 걸렸습니다.

연구는 환경이 예측 가능할 때 원숭이들이 "고수하기" 모드에서 더 많은 시간을 보내며 오류를 훨씬 더 빠르게 수정한다는 것을 보여주었습니다. 반면, 세상이 혼란스럽고 예측 불가능할 때, 그들은 "무엇이든 시도하기" 모드에서 더 많은 시간을 보냈습니다.

요약하자면
이 논문은 우리가 원숭이들이 어떻게 배우고 결정하는지를 관찰하는 새로운 방법을 제시합니다. 이는 원숭이들의 뇌에 탐색과 이용을 조절하는 특정 "스위치"가 있으며, 게임의 규칙이 얼마나 명확한가(예측 가능성 vs 무작위성)가 이 스위치를 전환하는 방식을 완전히 바꾼다는 것을 보여줍니다. 이는 우리와 매우 유사한 종의 지능적인 의사결정 메커니즘을 이해하기 위한 청사진입니다.