Beyond model-free Pavlovian responding: a two-stage Pavlovian-instrumental transfer paradigm

이 연구는 새로운 2 단계 파블로프 - 도구적 전이 (PIT) 패러다임을 통해 단일 레버 PIT 가 주로 모델 프리가 아닌 유연한 모델 기반 학습 메커니즘을 통해 작동하며, 이는 마음 방황과 같은 내부 주의 상태에 의해 선택적으로 조절됨을 입증했습니다.

핵심

🎰 1. 실험의 배경: "카지노의 두 가지 학습 모드"

연구자들은 참가자들에게 가상의 카지노 게임을 시켰습니다. 이 게임은 크게 두 단계로 나뉩니다.

• 1 단계 (입구): 두 명의 카지노 직원이 등장합니다. (예: "안녕하세요"라고 인사하는 A 씨와 B 씨)
• 2 단계 (슬롯머신): 직원이 우리를 두 개의 슬롯머신 중 하나로 데려갑니다.
  • A 씨는 80% 확률로 '행운의 슬롯머신'으로, 20% 확률로 '불운의 슬롯머신'으로 데려갑니다.
  • B 씨는 그 반대로 움직입니다.
• 결과: 슬롯머신에서 돈을 따거나 잃습니다.

이제 중요한 질문입니다. "직원이 A 씨였을 때 돈을 탔다면, 다음에 A 씨가 나타났을 때 우리는 어떻게 반응할까요?"

여기서 우리 뇌는 두 가지 다른 방식으로 학습할 수 있습니다.

1. 무작위 학습 (Model-Free, "자동반사"):

   • 비유: "어제 A 씨를 만나서 돈을 따봤어! A 씨 = 돈!"이라고 외우는 방식입니다.
   • 특징: 직관적이고 빠르지만, 상황 (직원이 데려간 슬롯머신의 종류) 을 고려하지 않습니다. 만약 A 씨가 실수로 불운한 슬롯머신으로 데려갔는데 돈을 잃었다면, "A 씨는 나쁜 거야!"라고 단순히 생각하게 됩니다.

2. 모델 기반 학습 (Model-Based, "전략가"):

   • 비유: "어제 A 씨를 만났는데, 행운의 슬롯머신으로 데려갔고 돈을 탔어. 하지만 오늘 A 씨는 행운의 슬롯머신 대신 불운한 슬롯머신으로 데려갔네? 그럼 A 씨가 나쁜 건 아니고, 오늘 운이 안 좋았거나 슬롯머신 상태가 안 좋은 거겠지."
   • 특징: 상황의 구조 (직원과 슬롯머신의 연결 규칙) 를 이해하고, 과거의 경험을 바탕으로 미래를 추론합니다. 조금 더 복잡하고 뇌의 에너지를 많이 쓰지만, 유연합니다.

---

🔍 2. 연구의 핵심 발견: "우리는 생각보다 더 똑똑하게 반응한다"

과거 연구들은 우리가 이런 조건형성 (직관적 반응) 을 할 때, 대부분 **무작위 학습 (자동반사)**만 사용한다고 믿었습니다. 하지만 이 연구는 틀렸다는 것을 증명했습니다.

• 발견 1: 우리는 '전략가' 모드도 사용합니다.
  참가자들은 직관적으로 반응하는 것뿐만 아니라, **"아, 오늘 직원이 실수로 다른 슬롯머신으로 데려갔구나"**라고 상황을 파악하고 반응했습니다. 즉, 단순한 습관이 아니라 상황을 이해하는 고차원적인 사고를 통해 반응했다는 뜻입니다.

• 발견 2: 집중력이 떨어지면 '전략가' 모드가 꺼집니다.
  연구진은 실험 중간중간 "지금 딴생각 (Mind Wandering) 을 하고 있나요?"라고 물었습니다.

  • 결과: 참가자들이 딴생각을 많이 할수록, **전략가 모드 (모델 기반 학습)**는 사라졌습니다. 하지만 **자동반사 모드 (무작위 학습)**는 그대로 유지되었습니다.
  • 비유: 운전할 때 집중하면 복잡한 도로 상황을 보고 우회전을 계획할 수 있지만 (전략가), 딴생각을 하면 그냥 무의식적으로 익숙한 길로만 가게 되는 것과 같습니다.

---

💡 3. 왜 이 연구가 중요한가요?

이 연구는 우리의 뇌가 단순히 "습관"에 갇혀 있는 것이 아니라, 상황을 이해하고 유연하게 대응할 수 있는 능력을 가지고 있음을 보여줍니다.

• 일상생활: 우리가 어떤 신호 (예: 스마트폰 알림 소리) 를 보고 무작정 반응할 때, 사실은 그 배경 (누가 보낸 메시지인지, 중요한 내용인지) 을 무의식적으로 계산하고 있을 수 있습니다.
• 정신건강: 중독이나 우울증 같은 문제는 종종 이 '자동반사 모드'가 너무 강해지거나, '전략가 모드'가 제대로 작동하지 않을 때 발생합니다. 이 연구를 통해 우리는 왜 어떤 사람들은 충동적인 행동을 멈추지 못하는지, 그리고 집중력을 높여 '전략가 모드'를 다시 켜는 치료법이 왜 중요한지 이해할 수 있게 되었습니다.

📝 한 줄 요약

"우리는 단순한 습관 (자동반사) 만으로 살아가는 것이 아니라, 상황을 파악하는 똑똑한 전략가 (모델 기반 학습) 로서 행동합니다. 하지만 딴생각을 하면 이 똑똑한 전략가는 잠들어버리고, 우리는 본능에만 의존하게 됩니다."

이 연구는 우리가 생각하는 것보다 우리 뇌의 학습 능력이 훨씬 더 정교하고, 우리의 '집중력'이 그 능력을 결정하는 핵심 열쇠임을 알려줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 파블로프 - 도구적 전이 (Pavlovian-Instrumental Transfer, PIT) 는 파블로프 조건 자극이 독립적으로 학습된 도구적 행동을 조절하는 현상입니다. 기존 연구들은 PIT 가 주로 모델 프리 (Model-free) 학습, 즉 자극과 결과 간의 직접적인 연합을 기반으로 한 자동적이고 반사적인 과정이라고 가정해 왔습니다.
• 문제점:
  1. 단일 레버 (Single-lever) 패러다임의 한계: 기존에 널리 사용되던 단일 레버 PIT 실험은 일반적 PIT(일반적 동기 부여) 와 특정 PIT(구체적 결과 예측) 를 구분하지 못하여, 모델 프리와 모델 기반 (Model-based) 학습 메커니즘을 계산적으로 분리해 내는 데 한계가 있었습니다.
  2. 인지적 과정의 부재: 파블로프 반응이 단순히 자동적인 연합에 의존하는지, 아니면 환경의 구조 (상태 전이 확률 등) 를 이해하는 모델 기반 추론을 통해 유연하게 조절되는지에 대한 명확한 증거가 부족했습니다.
  3. 주의 상태의 영향: '마음 방황 (Mind wandering)'과 같은 내적 주의 상태가 계산적으로 복잡한 모델 기반 학습을 선택적으로 방해하는지, 그리고 이것이 PIT 에 어떻게 영향을 미치는지 불명확했습니다.

2. 방법론 (Methodology)

연구진은 기존 단일 레버 PIT 를 확장한 새로운 2 단계 (Two-stage) 파블로프 학습 패러다임을 개발하여 모델 프리와 모델 기반 반응을 계산적으로 분리했습니다.

• 실험 과제 구조:

  1. 도구적 훈련 (Instrumental Training): 참가자는 카드 수집 게임 (공간바 누르기) 을 통해 특정 카드 (자극) 가 보상을 주고, 다른 카드는 손해를 준다는 것을 확률적으로 학습했습니다.
  2. 파블로프 훈련 및 전이 (Pavlovian Training & Transfer):
     • 2 단계 구조: 1 단계 자극 (카지노 직원 이미지) 이 2 단계 상태 (슬롯머신) 로 전이되며, 이는 최종 보상 (승/패) 으로 이어집니다. 전이 확률은 **일반적 (Common, 80%)**과 **희귀 (Rare, 20%)**로 구성되었습니다.
     • PIT 단계: 파블로프 학습 직후, 참가자는 도구적 행동 (카드 수집) 을 수행하되, 배경에 특정 자극 (CS) 이 제시되었습니다. 이때 실제 보상은 주어지지 않았으나 (명목상 소거), 참가자의 반응 속도가 파블로프 가치에 의해 영향을 받는지 측정했습니다.
     • 가치 질의 (Value Query): 각 시도 후, 참가자가 제시된 자극이 현재 '승'과 더 연관되었는지 '패'와 더 연관되었는지 명시적으로 판단하도록 요구했습니다.
  3. 주의 측정: 60 번 시도마다 '마음 방황' 정도를 평가하는 질문 (Thought probes) 을 통해 주의 집중 상태를 측정했습니다.

• 계산적 모델링:

  • 참가자의 PIT 반응 데이터를 모델 프리 (Temporal Difference Learning), 모델 기반 (Bellman Equation 기반 전이 인식), 하이브리드 강화학습 모델에 피팅하여 어떤 학습 전략이 행동을 가장 잘 설명하는지 비교했습니다.
  • 행동 지표:
    • 모델 프리 지표: 제시된 자극 (CS) 과 결과 (US) 의 직접적 연합 (CS-일치 효과).
    • 모델 기반 지표: 전이 구조 (일반적/희귀) 와 자극 - 결과 관계의 상호작용 (CS-일치 × 전이 유형 상호작용).

• 표본 크기 결정: 베이지안 순차적 테스트 (Bayesian Sequential Testing) 를 사용하여 모델 기반 효과에 대한 강력한 증거가 확보될 때까지 (N=71) 데이터를 수집했습니다.

3. 주요 결과 (Key Results)

• 행동적 결과 (Query 및 PIT):

  • 모델 기반 학습의 우세: 참가자들의 가치 판단 (Query) 과 PIT 반응 모두에서 **모델 기반 행동 지표 (전이 유형과 자극의 상호작용)**가 유의하게 나타났습니다. 즉, 참가자들은 단순히 경험한 자극의 결과뿐만 아니라, 자극과 결과 사이의 확률적 전이 구조를 추론하여 행동을 조절했습니다.
  • 모델 프리 증거의 부재: 모델 프리 지표 (단순 자극 - 결과 연합) 에 대한 증거는 불확실하거나 미미했습니다.
  • 시뮬레이션: 계산적 모델 비교 결과, 모델 기반 RL 모델이 참가자의 데이터를 가장 잘 설명했으며 (BIC 기준), 71 명 중 52 명에게서 모델 기반 전략이 우세한 것으로 나타났습니다.

• 주의 상태 (Mind Wandering) 의 영향:

  • 선택적 방해: 자발적 보고된 '마음 방황' 수준이 높을수록 모델 기반 행동 지표는 감소했으나, 모델 프리 지표에는 영향을 미치지 않았습니다.
  • 특성적 경향: 마음 방황 성향 (자발적/의도적) 이 높은 개인일수록 모델 기반 학습 능력이 낮았습니다. 이는 모델 기반 학습이 작업 기억 및 실행 기능과 같은 인지 자원을 필요로 하며, 주의가 산만해지면 이 자원이 고갈되어 모델 기반 통제가 약화됨을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 실험 패러다임 개발: 단일 레버 PIT 실험에서도 계산적으로 모델 프리와 모델 기반 반응을 분리할 수 있는 2 단계 파블로프 - 도구적 전이 패러다임을 처음 제안했습니다.
2. 파블로프 반응의 재해석: 파블로프 반응이 단순히 자동적이고 반사적인 모델 프리 과정만은 아니며, 유연한 모델 기반 추론에 의해 조절될 수 있음을 입증했습니다. 이는 기존 "단일 레버 PIT 는 모델 프리이다"라는 가설을 도전합니다.
3. 인지 상태와 학습 메커니즘의 연결: 마음 방황과 같은 내적 주의 상태가 모델 기반 학습을 선택적으로 저해한다는 것을 PIT 영역에서 처음 규명했습니다. 이는 도구적 학습 (Two-step task) 에서의 기존 발견을 파블로프 영역으로 확장한 것입니다.
4. 임상적 함의: 중독, 강박증, 우울증 등 다양한 정신 질환에서 파블로프 반응의 이상은 모델 기반/프리 시스템의 불균형과 관련될 수 있음을 시사하며, 이를 정밀하게 측정할 수 있는 도구를 제공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 파블로프 학습이 단순한 자극 - 반응 연합을 넘어, 환경의 구조를 이해하고 추론하는 고차원적인 인지 과정을 포함할 수 있음을 보여줍니다. 특히, 주의 집중 상태가 이러한 고차원적 학습을 조절하는 핵심 변수임을 규명함으로써, 정신 질환에서의 비적응적 행동 (예: 중독에서의 충동적 행동) 이 단순히 습관 (모델 프리) 때문만이 아니라, 주의 결핍으로 인한 모델 기반 통제의 붕괴 때문일 수 있다는 새로운 관점을 제시합니다.

향후 연구에서는 이 패러다임을 활용하여 신경 기저 (편도체, 선조체 등) 의 역할을 규명하고, 다양한 임상 집단에서 모델 기반/프리 전략의 불균형을 치료 표적으로 삼는 가능성을 탐구할 수 있을 것입니다.