Explore-exploit instability reveals computational decision-making heterogeneity in early psychosis

이 연구는 초기 정신병 환자가 보상 학습 결핍이 아닌 불확실성 민감도와 결정 노이즈 증가로 인해 탐색과 활용 간 전환이 불안정해지며, 이를 통해 인지적 하위 유형을 식별하고 표적 개입의 가능성을 제시했습니다.

핵심

🎮 배경: 보물 찾기 게임 (불안정한 보물상자)

연구진은 참가자들에게 가상의 게임을 시켰습니다.

• 상황: 화면에 3 개의 상자가 있습니다. 각 상자 안에는 보물 (점수) 이 들어있을 확률이 매번 조금씩 변합니다. (예: 오늘 1 번 상자가 보물일 확률이 높다면, 내일은 2 번 상자가 높게 변할 수도 있습니다.)
• 목표: 최대한 많은 보물을 얻으세요.
• 전략:
  1. 이용 (Exploit): 지금 가장 보물이 많을 것 같은 상자를 계속 열기.
  2. 탐험 (Explore): 혹시 다른 상자에 더 많은 보물이 있을까 봐 다른 상자를 열어보기.

이 게임의 핵심은 **"언제까지 같은 상자를 계속 열어야 할까? 언제 다른 상자를 찾아봐야 할까?"**를 판단하는 것입니다.

---

🔍 발견 1: 정신병 환자들은 왜 자꾸 상자를 바꾸나?

일반인 (대조군) 과 정신병 환자 (EP 그룹) 는 게임에서 얻은 총 점수는 비슷했습니다. 하지만 행동 패턴은 확연히 달랐습니다.

• 일반인: "아, 이 상자가 보물이 많네?"라고 판단하면, 그 상자를 꽤 오랫동안 꾸준히 엽니다.
• 정신병 환자: "아, 이 상자가 보물이 많네?"라고 판단해도, 방금 보물을 얻었는데도 불구하고 갑자기 "혹시 저 상자가 더 좋을까?"라고 생각하며 상자를 계속 바꿉니다.

비유하자면:
맛있는 식당에서 밥을 먹고 있는데, "혹시 저기 다른 식당이 더 맛있지 않을까?"라는 생각이 들어 밥을 다 먹기도 전에 자리에서 일어나 다른 식당으로 이동하는 것과 같습니다. 결국 총점은 비슷하지만, 너무 자주 자리를 옮겨서 최적의 선택을 놓치는 것입니다.

---

🧠 발견 2: 왜 자꾸 자리를 옮길까? (두 가지 원인)

연구진은 "아마도 보물을 찾는 법을 못 배워서 그런가?"라고 생각했지만, 아니었습니다. 환자들은 보물이 어디에 있는지 잘 학습했습니다. 문제는 **'학습'이 아니라 '불안'과 '혼란'**에 있었습니다.

컴퓨터 모델링을 통해 두 가지 원인을 찾아냈습니다.

1. "과도한 불확실성 민감도" (Uncertainty Sensitivity)

• 비유: 과민한 경보 시스템.
• 설명: 일반인은 "이 상자가 80% 확률로 보물이 있네"라고 생각하면 안심하고 계속 엽니다. 하지만 환자들은 "아직 20% 는 모르잖아! 혹시 지금 이 상자가 변해서 다른 상자가 더 좋아졌을지도 몰라!"라고 불확실성을 과장해서 받아칩니다.
• 결과: "아직 확실하지 않아!"라는 생각이 들자마자, 보물이 잘 나오는 상자를 버리고 새로운 상자를 찾아 나서는 것입니다.

2. "의사결정 소음" (Decision Noise)

• 비유: 손이 떨리는 화가.
• 설명: 뇌의 결정 시스템에 '잡음 (노이즈)'이 섞여 있습니다. 논리적으로 "이 상자가 최고야"라고 판단했더라도, 그 잡음 때문에 우연히 다른 상자를 선택하게 됩니다.
• 결과: 계획대로 행동하지 못하고, 이유 없이 자꾸 방향을 틀게 됩니다.

---

🎭 발견 3: 정신병 환자도 모두 같지 않다? (3 가지 유형)

가장 흥미로운 점은 정신병 환자라고 해서 모두 똑같은 문제를 가진 것이 아니라는 것입니다. 연구진은 환자들을 **세 가지 유형 (서브타입)**으로 나눴습니다.

| 유형 | 이름 | 특징 (비유) | 증상 및 특징 |
| :--- | :--- | :--- | : |
| 유형 1 | 정상형 (Normative) | 안정적인 탐험가 | 게임 전략이 일반인과 비슷함. 하지만 조울증 (양극성 장애) 진단을 받은 환자가 많았으며, 기분 관련 증상이 두드러짐. |
| 유형 2 | 불안감수형 (Uncertainty-Sensitive) | 과민한 감지기 | 보물을 잘 찾지만, 불확실성을 너무 예민하게 감지함. "혹시?"라는 생각이 너무 많아 자꾸 상자를 바꿈. 정신과 입원 이력이 많은 환자가 많음. |
| 유형 3 | 소음형 (High Decision-Noise) | 혼란스러운 탐험가 | 의사결정 시스템에 잡음이 많아 논리적으로 생각해도 자꾸 실수함. **부정적 증상 (무기력, 감정 마비)**이 심하고, 보물을 찾는 능력 (학습) 이 떨어짐. |

핵심 메시지:
단순히 "정신병 환자다"라고 분류하는 것보다, **"어떤 종류의 뇌 작동 방식을 가지고 있는가?"**를 파악하는 것이 훨씬 중요합니다. 유형 2 는 학습 능력은 좋지만 불안해서 자꾸 움직이고, 유형 3 은 뇌의 잡음 때문에 아예 제대로 못 하는 것입니다.

---

💡 결론 및 의의: 왜 이 연구가 중요할까?

1. 진단보다 '메커니즘'이 중요하다: 같은 정신병 진단을 받아도, 뇌가 결정을 내리는 방식 (메커니즘) 은 사람마다 다릅니다.
2. 맞춤형 치료의 가능성:
   • 불안감수형 (유형 2) 환자에게는 "불확실성을 덜 느끼게 하는" 치료나 훈련이 필요할 수 있습니다.
   • 소음형 (유형 3) 환자에게는 "집중력을 높이고 뇌의 잡음을 줄이는" 약물이 더 효과적일 수 있습니다.
3. 미래: 이 연구는 환자들의 뇌가 어떻게 작동하는지 '지문 (Fingerprint)'처럼 분석하여, 누구에게 어떤 치료가 가장 잘 맞을지 예측할 수 있는 길을 열었습니다.

한 줄 요약:

"정신병 환자들이 자꾸 결정을 바꾸는 이유는 '보물을 못 찾아서'가 아니라, **'너무 불안해서' 혹은 '뇌가 너무 시끄러워서'**입니다. 그리고 이 두 가지 원인을 가진 환자들은 서로 다른 증상을 보이므로, 개별적인 뇌 작동 방식에 맞춰 치료해야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 정신병 스펙트럼 장애 (조현병, 양극성 장애 등) 는 증상, 질병 경과, 치료 반응에서 상당한 임상적 및 신경생리학적 이질성을 보입니다. 이러한 이질성은 병리 기전을 이해하고 개인화된 치료 전략을 개발하는 데 큰 장벽이 됩니다.
• 문제: 기존 연구들은 정신병 환자가 보상 학습 결함으로 인해 과도한 선택 전환 (choice switching) 을 보인다고 보았으나, 정확한 계산적 메커니즘 (학습률 결함인지, 결정 노이즈인지, 불확실성 민감도인지) 은 명확하지 않았습니다.
• 목표: 계산적 정신의학 (Computational Psychiatry) 프레임워크를 활용하여, 초기 정신병 (Early Psychosis, EP) 환자와 대조군의 목표 지향적 의사결정 과정에서 발생하는 '탐험 (Exploration)'과 '활용 (Exploitation)'의 균형을 어떻게 깨뜨리는지, 그리고 그 이면에 숨겨진 미세 인지 과정 (microcognitive processes) 을 규명하는 것.

2. 연구 방법론 (Methodology)

• 참가자: 초기 정신병 (EP) 환자 75 명과 대조군 68 명 (총 143 명). 두 그룹은 성별을 제외하고 인구통계학적 특성이 일치하도록 매칭되었습니다.
• 과제: 3-armed Restless Bandit Task (3-armed 불안정 밴딧 과제) 사용.
  • 3 개의 옵션 (Gabor 패치) 이 매번 독립적이고 무작위로 변하는 보상 확률 (0 또는 +1) 을 가짐.
  • 참가자는 보상을 극대화하기 위해 알려진 최선의 선택을 유지 (활용) 하거나 새로운 정보를 얻기 위해 선택을 변경 (탐험) 해야 함.
  • 총 200 회 (fMRI 세션) 및 300 회 (fMRI+EEG 세션) 의 시도가 수행됨.
• 계산적 모델링 접근법:
  1. 은닉 마르코프 모델 (HMM): 참가자의 선택 시퀀스를 분석하여 잠재 상태 (탐험 상태 vs 활용 상태) 를 추론하고, 상태 간 전환 확률을 계산.
  2. 베이지안 학습자 모델 (Kalman Filter): 고정된 학습률을 사용하는 기존 강화학습 (RL) 모델과 달리, 불확실성 (uncertainty) 을 추정하고 이를 기반으로 학습률을 적응적으로 조절하는 모델 적용.
     • 주요 파라미터: 불확실성 민감도 ($\phi$), 결정 노이즈 (Inverse temperature, $\beta^{-1}$), 고집성 (Perseveration, $\omega$).
  3. 모델 비교: 다양한 RL 변형 모델 (비대칭 학습, 듀얼 상태 RL 등) 과 베이지안 모델을 비교하여 최적의 모델 선정 (AIC/BIC 기준).
• 하위 유형 분류 (Subtyping):
  • 계산적 파라미터 (불확실성 민감도, 결정 노이즈) 와 인지 테스트 (처리 속도, 언어 기억, 실행 기능) 데이터를 기반으로 계층적 군집화 (Hierarchical Clustering) 수행.
  • 진단군 (EP vs 대조군) 에 무관하게 데이터의 내재적 구조에 따라 하위 유형을 도출.

3. 주요 결과 (Key Results)

가. 행동적 결과

• 전반적 수행: EP 그룹과 대조군은 전체 보상 획득량에서는 유의미한 차이가 없었음.
• 선택 전환: EP 그룹은 대조군에 비해 선택 전환 (switching) 빈도가 유의하게 높았음. 이는 보상을 받았을 때 (win-switch) 나 최선의 선택을 벗어날 때 (incorrect switch) 모두 발생.
• 전략적 특징: EP 그룹은 최적의 선택을 유지하는 횟수가 적었으며, 이는 보상 학습 결함보다는 적합한 옵션을 너무 일찍 포기하고 탐험으로 전환하는 불안정성에서 기인함.

나. 계산적 메커니즘 규명

• HMM 분석 결과: EP 그룹은 '활용 (Exploit)' 상태에서 '탐험 (Explore)' 상태로 전환할 확률이 대조군보다 높았음. 특히 보상을 받은 직후에도 과도하게 전환하는 경향을 보임. 이는 보상 학습 능력의 결여가 아니라, 유리한 전략을 유지하는 능력의 불안정성을 시사.
• 모델 비교 결과: 고정 학습률 RL 모델보다 불확실성 민감도 ($\phi$) 와 결정 노이즈 ($\beta^{-1}$) 를 포함하는 베이지안 학습자 모델이 EP 그룹의 행동을 가장 잘 설명함.
• 주요 파라미터 차이:
  • 불확실성 민감도 ($\phi$): EP 그룹이 대조군보다 유의하게 높음 (환경의 불확실성을 과대평가하여 과도한 탐험을 유발).
  • 결정 노이즈 (Decision Noise): EP 그룹에서 경향성 있게 높음 (학습된 가치에 덜 의존하고 무작위성이 증가).
  • 고집성 (Perseveration): 두 그룹 간 유의미한 차이 없음.

다. 계산적 하위 유형 (Computational Subtypes)

군집 분석을 통해 진단과 무관하게 3 가지 뚜렷한 하위 유형을 식별함:

1. Subtype 1 (Normative, 규범적): 낮은 불확실성 민감도, 낮은 노이즈, 우수한 인지 기능. (대조군 과대표, EP 내에서도 양극성 장애 비율 높음).
2. Subtype 2 (Uncertainty-sensitive, 불확실성 민감형): 높은 불확실성 민감도, 느린 처리 속도, 낮은 기억력. (EP 과대표, 정신과 입원 이력 많음).
3. Subtype 3 (High decision-noise, 고결정노이즈형): 높은 결정 노이즈, 광범위한 인지 결함, 보상 학습 결함. (EP 과대표, 부정적 증상 (Negative symptoms) severity 와 강한 상관관계).

라. 임상적 연관성

• 기능 저하: EP 그룹 내에서 '탐험으로의 전환'이 많을수록 실제 생활 기능 (real-world functioning) 이 저하됨.
• 증상: 높은 결정 노이즈는 부정적 증상의 심각도와 관련이 있었음.
• 진단 이질성: 동일한 진단 (예: 조현병) 을 가진 환자라도 계산적 하위 유형에 따라 증상 프로필과 인지 특성이 달랐음.

4. 주요 기여 및 의의 (Key Contributions & Significance)

1. 기존 가설의 수정: 초기 정신병의 과도한 선택 전환이 단순히 '보상 학습 결함' 때문이 아니라, 불확실성 민감도 과다와 결정 노이즈 증가에 기인한 '활용 전략의 불안정성'임을 계산적 모델링을 통해 규명함.
2. 정밀 정신의학 (Precision Psychiatry) 의 실현: 진단명 (Diagnosis) 만으로는 설명되지 않는 이질성을 계산적 하위 유형 (Computational Subtypes) 으로 세분화함. 이는 B-SNIP(Bipolar-Schizophrenia Network on Intermediate Phenotypes) 의 생물학적 하위 유형과도 유사한 패턴을 보임.
3. 표적 치료의 가능성:
   • Subtype 2 (불확실성 민감형): 불확실성 처리 메커니즘 (예: 전두엽 - 측두엽 회로, 안와전두피질 등) 을 표적으로 한 중재 필요.
   • Subtype 3 (고결정노이즈형): 도파민/노르에피네프린 시스템 조절을 통한 결정 노이즈 감소 중재 필요.
4. 측정 가능성: 이러한 미세 인지 과정 (microcognitive processes) 은 개별적으로 측정 가능하며, 치료 반응을 예측하는 바이오마커로 활용될 잠재력이 있음.

5. 결론

이 연구는 초기 정신병 환자들의 의사결정 불안정성이 단일 원인이 아니라, 불확실성 민감도와 결정 노이즈라는 두 가지 독립적인 계산적 메커니즘에 의해 주도됨을 보여주었습니다. 또한, 이러한 메커니즘의 차이로 인해 형성된 계산적 하위 유형이 각기 다른 임상적 증상 프로필과 연관되어 있음을 규명함으로써, 진단 중심의 접근을 넘어 메커니즘 기반의 개인화된 치료 전략 수립에 중요한 기초를 제공했습니다.