Stimulus prior and reward probability differentially affect response bias in perceptual decision making

이 논문은 쥐를 대상으로 한 실험을 통해 보상 비율 변화가 자극 제시 비율 변화보다 반응 편향에 훨씬 더 강력한 영향을 미치며, 기존 결정 기준 학습 모델들이 이러한 차이를 설명하지 못하므로 향후 모델은 자극의 사전 확률이나 전체 분포를 명시적으로 반영해야 함을 시사합니다.

핵심

🎧 연구의 핵심: "귀신 같은 쥐들의 선택"

상상해 보세요. 쥐 두 마리가 있습니다. 한 마리는 오른쪽 귀로 소리를 듣고, 다른 한 마리는 왼쪽 귀로 소리를 듣습니다. 쥐는 소리가 들리면 "오른쪽" 아니면 "왼쪽" 중 하나를 선택해야 하고, 맞으면 맛있는 물 한 모금을 보상으로 받습니다.

연구자들은 쥐들이 이 결정을 내릴 때, 단순히 소리를 잘 구분하는 능력 (감도) 만으로 결정하는지, 아니면 보상의 유혹이나 소리가 나오는 빈도에 따라 편향 (Bias) 을 두는지 궁금해했습니다.

이때 '판단 기준 (Criterion)'이라는 것을 상상해 보세요. 마치 저울의 중심점 같은 것입니다.

• 중심점에 가까우면: 소리가 들리면 그냥 직관대로 답합니다.
• 중심점이 한쪽으로 쏠리면: "아, 이쪽이 더 많이 나오네?" 혹은 "이쪽이 더 많이 상을 주네?"라고 생각해서, 소리가 조금만 들려도 그쪽으로 답을 내립니다.

이 연구는 바로 이 '저울의 중심점'이 어떻게 움직이는지를 파헤친 것입니다.

---

🧪 실험 1 & 2: "빈도 vs 보상, 누가 더 강력한가?"

연구자들은 쥐들에게 두 가지 상황을 만들어 주었습니다.

1. 빈도 조작 (SPR): 특정 소리가 자주 나오는 상황 (예: 80% 는 A 소리, 20% 는 B 소리).
2. 보상 조작 (RR): 특정 소리에 대한 보상 확률을 높인 상황 (예: A 소리를 맞추면 80% 확률로 물, B 소리는 20% 확률로 물).

🔍 놀라운 발견:
두 상황 모두 쥐들이 더 유리한 쪽으로 편향되게 만들었습니다. 하지만 보상 (물) 을 조작했을 때의 영향력이 훨씬 더 강력했습니다!

• 비유:
  • 빈도 조작: "이 길은 매일 100 대가 지나가는데, 저 길은 10 대만 지나가네." (통계적 사실)
  • 보상 조작: "이 길은 지나가면 100 만 원이 걸려있는데, 저 길은 1 천 원이 걸려있네." (현실적 유혹)
  • 쥐들은 통계적 사실보다 **현실적 유혹 (보상)**에 훨씬 더 민감하게 반응하여 판단 기준을 빠르게 바꿨습니다.

---

🧠 모델 분석: "쥐들의 뇌는 어떤 공식을 쓸까?"

연구자들은 쥐들의 행동을 설명할 수 있는 세 가지 가상의 공식을 만들어 비교해 보았습니다.

1. KDB 모델: "상한이 맞으면 기준을 조금씩 옮긴다." (과거의 전통적인 이론)
2. DT 모델: "보상 비율에 따라 기준을 옮긴다." (비율에 민감한 이론)
3. RL 모델 (강화학습): "행동마다 점수를 매기고, 점수가 높은 쪽을 고른다." (인공지능이 배우는 방식)

🔍 결과:

• 보상 조작 실험 (RR): 세 모델 모두 쥐들의 행동을 꽤 잘 설명했습니다. 특히 보상 조작 시, 쥐들의 학습 속도가 10 배 이상 빨라졌습니다.
• 빈도 조작 실험 (SPR): 모델들이 설명하는 속도가 실제 쥐들보다 훨씬 느렸습니다.
• 가장 큰 문제 (실험 3): 빈도와 보상을 서로 반대 방향으로 조작했을 때 (예: A 소리는 자주 나오지만 보상은 적게, B 소리는 드물게 나오지만 보상은 많이), 어떤 모델도 쥐들의 행동을 완벽히 설명하지 못했습니다.

💡 결론: 쥐들은 단순히 "보상만" 계산하는 게 아니라, "어떤 소리가 얼마나 자주 나오는가"라는 정보 자체를 뇌에 따로 저장하고 있었을 것입니다. 기존 모델들은 이 '빈도 정보'를 제대로 반영하지 못해서 실패한 것입니다.

---

💧 실험 4 & 5: "보상의 양 (밀도) 이 학습 속도에 영향을 줄까?"

연구자들은 "보상이 자주 주어지면 (보상 밀도 높음) 학습이 빨라질까?"라고 궁금해했습니다.

• 상황: 보상의 비율은 똑같지만, 전체적으로 보상이 많이 나오는 날과 적게 나오는 날을 비교했습니다.
• 결과: 아무런 영향이 없었습니다!
  • 보상이 많이 나오든 적게 나오든, 쥐들이 새로운 규칙을 배우는 속도는 똑같았습니다.
  • 마치 "오늘은 상금이 100 만 원짜리 경품이 100 개나 있네" vs "100 원짜리 경품이 100 개 있네"인 상황과 비슷합니다. 쥐들은 경품의 '양'보다는 '비율'에 더 집중했습니다.

---

🌟 요약 및 시사점

이 연구는 우리에게 중요한 메시지를 줍니다:

1. 보상이 왕이다: 쥐 (그리고 아마도 인간) 는 "무엇이 자주 일어나는가"보다 **"무엇이 더 큰 보상을 주는가"**에 훨씬 더 민감하게 반응합니다.
2. 뇌는 이중 기록을 한다: 쥐들은 단순히 보상만 기억하는 게 아니라, "어떤 상황이 얼마나 자주 오는지"에 대한 정보도 따로 저장하고 있습니다.
3. AI 와 심리학의 교차점: 우리가 만든 인공지능 (강화학습) 이나 심리학 이론들은 아직 이 '빈도'와 '보상'이 서로 다른 방식으로 작용한다는 점을 완벽하게 설명하지 못합니다.

한 줄 요약:

"쥐들은 소리가 자주 나오는 것보다, 물이 더 많이 나오는 쪽으로 훨씬 더 빠르게 판단 기준을 바꿉니다. 그리고 그들은 보상의 '양'보다는 '비율'에 더 민감하게 반응하며, 뇌속에는 소리의 '빈도'와 '보상'을 따로따로 기록하는 복잡한 시스템을 가지고 있습니다."

이 연구는 우리가 어떻게 세상을 인지하고 결정을 내리는지에 대한 더 정교한 이해를 돕는 중요한 발걸음입니다.

기술 요약

이 논문은 지각적 의사결정 (perceptual decision making) 과정에서 자극 제시 확률 (Stimulus Presentation Probability, SPP) 과 보상 확률 (Reward Probability, RP) 이 반응 편향 (response bias) 및 결정 기준 (decision criterion) 학습에 미치는 영향을 비교 분석한 연구입니다. 신호 탐지 이론 (Signal Detection Theory, SDT) 을 기반으로 한 5 가지 실험을 통해 쥐를 대상으로 수행되었으며, 기존 모델들의 한계를 지적하고 새로운 통찰을 제시했습니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 문제 (Problem)

• 배경: 신호 탐지 이론 (SDT) 은 관찰자가 두 가지 자극을 구별할 때 고정된 결정 기준 (criterion) 을 사용하여 증거를 분류한다고 가정합니다. 그러나 실제 실험에서는 이 기준이 고정되지 않고 시도별 (trial-by-trial) 로 변동하며, 자극의 빈도나 보상의 크기/확률에 의해 영향을 받는 것이 알려져 있습니다.
• 문제점: 현재까지 자극 제시 확률 (SPP) 과 보상 확률 (RP) 이 기준 학습에 미치는 영향이 동일한지, 그리고 그 메커니즘이 어떻게 다른지는 명확히 규명되지 않았습니다. 또한, 기존 모델들 (고정된 학습률, steady-state 중심) 은 이러한 시도별 적응과 두 요인의 차이를 설명하는 데 한계가 있었습니다.
• 연구 질문:
  1. RP 와 SPP 조작이 기준 학습에 동일한 정도와 방식으로 영향을 미치는가?
  2. 보상 밀도 (Reward Density, 전체 보상률) 가 기준 학습 속도에 영향을 미치는가?

2. 방법론 (Methodology)

• 대상: 9 마리의 수컷 쥐.
• 과제: 두 가지 청각 자극 (S1, S2) 을 구별하여 두 개의 반응 옵션 (R1, R2) 중 하나를 선택하는 2-선택 강제 선택 (forced-choice) 과제. 정답 시 물 보상을 제공.
• 실험 설계 (5 개 실험):
  • 실험 1: SPP 를 비대칭적으로 조작 (RP 는 일정).
  • 실험 2: RP 를 비대칭적으로 조작 (SPP 는 일정).
  • 실험 3: SPP 와 RP 를 서로 상쇄되도록 조작 (예: S1 이 자주 나오지만 S2 에 더 높은 보상).
  • 실험 4: 보상 비율은 1:1 로 유지하되, 전체 보상 밀도 (Reward Density) 를 변화시킴.
  • 실험 5: 보상 비율과 보상 밀도를 동시에 조작하여 상호작용 효과 확인.
• 분석 및 모델링:
  • 데이터 분석: SDT 기준 (criterion) 추정을 위한 '세션당 하나의 기준 (OCPS)' 모델 적용.
  • 모델 비교: 3 가지 시도별 기준 학습 모델을 데이터에 피팅하고 시뮬레이션하여 비교.
    1. 수정된 KDB 모델: Kac, Dorfman, Biderman 의 모델을 기반으로 보상 시 기준을 이동시키고, 누출 (leak) 항을 도입하여 무한대로 발산하는 것을 방지.
    2. DT 모델 (Davison-Tustin): SDT 와 매칭 법칙 (Matching Law) 을 결합한 모델. 보상 비율에 대한 민감도 파라미터 ($a$) 를 포함.
    3. RL 모델 (강화학습): Lak et al. 의 모델을 기반으로 행동 가치 (action value) 와 감각 신뢰도 (sensory confidence) 를 곱한 Q-value 를 계산하여 선택.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. SPP 와 RP 의 차별적 영향 (실험 1, 2, 3)

• RP 가 SPP 보다 강력한 영향: 두 실험 모두에서 편향 (bias) 을 유발했으나, 보상 확률 (RP) 조작이 자극 제시 확률 (SPP) 조작보다 기준 변화에 훨씬 더 강력하고 빠르게 영향을 미쳤습니다.
  • 실험 1 (SPP 변형) 과 실험 2 (RP 변형) 에서 동일한 비율 (예: 4:1) 을 사용했을 때, RP 조건에서 쥐의 반응 편향이 더 극단적이었습니다.
  • 모델 피팅 결과, RP 조건에서의 학습률 (학습 속도) 이 SPP 조건보다 10 배 이상 높게 추정되었습니다.
• 모델의 실패 (실험 3): SPP 와 RP 를 서로 상쇄되도록 조작한 실험 3 에서, 이상적인 SDT 관찰자나 기존 모델 (KDB, DT) 은 중립적인 기준 ($c=0$) 을 예측했으나, 쥐들은 보상이 높은 쪽으로 편향되었습니다. 이는 기존 모델들이 자극의 사전 확률 (stimulus priors) 을 명시적으로 학습하거나 표현하지 못하기 때문에 발생한 것으로 판단됩니다.

B. 보상 밀도의 영향 (실험 4, 5)

• 학습률에 대한 일관된 영향 부재: 보상 밀도 (전체 보상률) 를 변화시켰을 때, 학습 속도가 체계적으로 변한다는 증거는 발견되지 않았습니다.
  • 실험 4 와 5 에서 단일 학습률 모델과 조건별 학습률 (multiple learning rates) 모델을 비교한 결과, 학습률 모델이 데이터 적합도 (BIC) 를 높였으나, 학습률 값과 보상 밀도 사이에 명확한 상관관계 (예: 보상이 적을수록 학습률이 높아짐) 는 확인되지 않았습니다.
  • 이는 보상 밀도 자체가 학습 속도를 직접 조절하는 주요 인자가 아니거나, 다른 요인 (RP 와 밀도의 상호작용 등) 이 개입하고 있음을 시사합니다.

C. 모델 비교 결과

• RL 모델의 한계: RL 모델은 RP 조건 (실험 2) 에서는 잘 작동했으나, SPP 조건 (실험 1) 과 혼합 조건 (실험 3) 에서는 쥐의 점진적인 적응 행동을 재현하지 못했습니다. 이는 RL 모델이 고정된 자극 사전 확률 (prior) 을 가정하고 있어, 변화하는 SPP 를 학습하지 못하기 때문입니다.
• 모델의 필요 조건: 성공적인 모델은 단순히 보상 비율만 고려하는 것이 아니라, 자극의 사전 확률 (stimulus priors) 이나 전체 자극 분포를 명시적으로 표현하고 업데이트할 수 있어야 함을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 이론적 기여: 신호 탐지 이론의 핵심 가정인 '고정된 기준'과 '학습 메커니즘'에 대한 새로운 통찰을 제공했습니다. 특히, 보상 확률과 자극 확률이 동일한 최적 기준을 예측함에도 불구하고, 생물학적 주체는 이를 다르게 학습하고 반응한다는 것을 실험적으로 증명했습니다.
• 모델링 방향: 기존 SDT 기반 모델이나 단순 강화학습 모델은 자극의 빈도 변화에 대한 적응을 설명하지 못합니다. 향후 모델은 자극 분포 (stimulus distribution) 나 사전 확률 (priors) 을 동적으로 학습하고 표현하는 메커니즘을 포함해야 합니다.
• 실용적 의미: 지각적 의사결정 연구에서 보상 구조와 자극 빈도를 분리하여 고려해야 하며, 특히 보상 확률 조작이 학습에 미치는 영향이 자극 빈도 조작보다 훨씬 강력하다는 점을 실험 설계 시 고려해야 합니다.

요약하자면, 이 연구는 쥐의 지각적 의사결정에서 보상 확률이 자극 빈도보다 기준 학습에 훨씬 더 강력한 영향을 미치며, 기존 모델들이 이 차이를 설명하지 못하므로 자극의 확률적 특성을 명시적으로 학습하는 새로운 모델이 필요함을 입증했습니다.